在最近一次服务器数据迁移时出现了一个奇怪的问题,由于本身服务器之间网络通信情况会导致不定期的网络中断,所以采用了rsync加守护进程的方式不断重试同步数据,但是最近两天突然发现目标机器上的磁盘空间突然不再变化,但是查看rsync进程和守护进程都还在,所以去查看同步日志发现一直在报一个罕见的错误:
此时这个错误已经累计了很多,导致日志文件都很大了,马上断掉了数据同步进程和守护进程,开始排查问题
1 怀疑是rsync的通信出现了问题,然后检查主机间网络通信情况和经过加命令参数测试都无法解决
2 网上查找资料发现,报这个错有可能是在目标机器上写入文件出错导致的,所以去目标机器上看了眼df,发现磁盘空间还有很多
data目录明明还有24t的空间,怎么会无法写入呢,此时在data目录下写入一个测试文件试试
赫然发现报了磁盘没有空间的错
此时第一反应是磁盘阵列出现了问题,去机房查看有没有坏的磁盘,查看后发现一切正常,此时已经满脸问号了...
继续搜索资料,发现有可能是inode节点满导致的这种情况,查看后发现果然如此
data目录的inode已经占满导致的,经查看原始机器上的inodes数量共给了19亿个,目标机只给了4亿多,除了格盘重新迁移没找到其他的解决办法...
卸载掉挂载点,重新格式化为xfs文件系统后应该就够用了
宝剑锋从磨砺出,梅花香自苦寒来.