MySQL报错MY-011730写入失败，远程修复思路分享

开始）

最近在处理一个客户的数据库问题时，遇到了一个让人比较头疼的MySQL错误：MY-011730，这个错误信息通常伴随着“write to file failed”之类的描述，就是MySQL服务器想往磁盘上写点东西，但是没写成功，这种情况在远程维护服务器时尤其麻烦，因为你没法直接碰那台机器，所有操作都得靠命令行，下面我就把我当时排查和解决的思路分享一下,希望能给遇到类似情况的朋友一点参考。

当我看到MY-011730这个错误时，我脑子里闪过的第一个念头不是立刻去查某个具体的配置，而是先搞清楚“MySQL到底想写什么文件，写到哪里去失败了”，因为写入失败的原因太多了，盲目动手可能会走弯路，我通常会立刻去查看MySQL的错误日志文件，这是最直接的信息来源，错误日志的位置一般在MySQL的配置文件my.cnf（或my.ini）里，通过log-error参数指定，如果找不到，可以用mysql --help | grep "my.cnf"先找到配置文件,再看里面怎么写的。

通过SSH连上服务器后，我用了tail -f /var/log/mysql/error.log这样的命令（具体路径按实际情况改）实时盯着日志，同时尝试复现一下问题，比如让客户执行一个会触发写入的操作，这时候，错误日志里除了MY-011730这个错误代码，通常会有更详细的描述，我那次遇到的情况是，错误信息明确指出是在写入所谓的“双写缓冲区”文件时失败了，这里稍微解释一下，双写缓冲区是InnoDB存储引擎的一个安全机制，为了防止数据页在写入过程中发生部分写问题，简单理解就是它先把数据写到一个临时地方，确认没问题再写到最终位置，这个缓冲区对应的文件通常是ibdata系列文件或者单独的.ibd文件。

既然知道了是写这些文件失败，接下来的排查方向就清晰了，主要集中在磁盘和文件系统层面,我总结了以下几个最常见的罪魁祸首和对应的排查命令：

第一，磁盘空间满了，这是最经典的原因，没地方了自然写不进去，检查起来很简单，用df -h命令看看MySQL数据目录所在的分区使用率是不是100%了，如果真是满了，就得赶紧清理空间，可以看看是不是有大的日志文件没清理（比如通用查询日志、慢查询日志如果开启了的话），或者有没有可以安全删除的旧备份文件，临时救急的话，也可以试试清理一下MySQL的二进制日志，用PURGE BINARY LOGS BEFORE ...命令,但操作前最好确认一下这些日志是否还需要用于复制或恢复。

第二，磁盘空间没满，但是索引节点用尽了，这种情况稍微隐蔽一点，可以用df -i命令来查看，如果索引节点使用率是100%，说明虽然可能还有磁盘空间，但文件系统已经无法创建新的文件条目了，这通常是因为文件系统里存在大量的小文件，解决方法和磁盘满类似,也是要找地方清理文件。

第三，文件权限问题，MySQL的运行用户（通常是mysql）必须有对数据目录及其下属文件（尤其是那些ibdata文件、redo log文件、undo表空间文件等）的读写权限，可以用ls -l /path/to/datadir看看文件和目录的属主和权限是否正确，如果不正确，需要用chown和chmod命令修正，但改权限要非常小心,改错了可能导致MySQL完全启动不了。

第四，可能是系统内存不足，触发了OOM Killer，如果服务器物理内存和交换空间都耗尽了，Linux内核的OOM Killer可能会为了保全系统而杀掉一些进程，包括MySQL，或者即使没被杀，在内存极度紧张的情况下，写操作也可能异常，可以用free -h看看内存使用情况，并用dmesg | grep -i kill命令检查系统日志，看最近有没有进程被OOM Killer终止的记录，如果真是内存问题，可能需要优化MySQL的内存相关配置（比如innodb_buffer_pool_size）,或者给服务器增加内存。

第五，硬件或文件系统本身故障，虽然不常见，但磁盘坏道或者文件系统损坏也有可能，可以运行fsck命令来检查和修复文件系统（注意：运行fsck前务必确保文件系统已卸载，否则可能导致严重损坏！对于数据库服务器，这通常意味着需要停机），用smartctl工具检查磁盘的SMART健康状态也是一个好习惯。

在我处理的那个案例里，经过一步步排查，最后发现问题是出在第三点，也就是权限上，客户的服务器之前被其他运维人员动过，不知道什么原因，某个关键的ibdata文件的属主被改成了root，而MySQL进程是以mysql用户身份运行的，导致没有写入权限，用chown mysql:mysql命令把文件属主改回来之后，问题立刻就解决了，整个排查过程大概花了半个小时，大部分时间是在谨慎地确认每一步,避免误操作。

总结一下远程修复MY-011730这类写入错误的思路，其实就是一条：顺着“写什么 -> 写到哪里 -> 为什么写不进去”这个路径，利用系统命令（df, ls, dmesg等）和MySQL错误日志提供的信息，由表及里、从常见到罕见地进行排查，重点要关注磁盘空间、inode、文件权限和系统资源这几个方面，远程操作不像在现场，每一步命令敲下去都要心里有数，因为一旦操作失误，可能会让问题变得更复杂，希望这个分享能对大家有所帮助。 结束）