数据库深入探索Redis持久化原理

Redis是一个内存数据库，为了保证数据的持久化，redis提供了两种持久化方式RDB和AOF，下面我们就分别来看下这两种持久化方式的实现原理。

RDB(默认)

RDB是通过快照方式完成的，当满足一定条件时，redis会自动将内存中的数据持久化到磁盘。

触发快照的时机

• 符合自定义配置的快照规则。(在redis.conf中配置，下面会详细介绍)
• 执行save或者bgsave命令
• 执行flushall命令
• 执行主从复制操作(第一次)

原理图

• 在快照进行的过程中，也就是生成文件的过程中，不会对原有的rdb文件进行修改，直到快照生成完毕，直接将老的替换成新的，保证rdb文件任何时刻都是完整的。
• 我们可以通过定时备份rdb文件来实现redis数据的备份，rdb是压缩的二进制文件，占用空间小，有利于传输

###快照设置规则 save {多少秒内} {数据变化了多少}

例如:save 100 1:在100秒内，至少有一个键被修改就进行快照;save 200 4:在200秒内，至少4个键被修改就进行快照。

RDB的优缺点

• 缺点:使用RDB进行持久化，在redis突然异常退出的时候，会丢失最后一次快照之后的数据。但是，可以根据组合设置自动快照的方式，降低数据损失，确保在接受范围内。如果数据较为重要，可以使用AOF方式
• 优点:使用RDB方式可以最大化redis性能，在快照过程中，我们可以看到主进程只需要fork出一个子进程即可，剩下的工作全部由子进程完成，父进程无需进行任何的磁盘I/O操作。但是，如果数据集较大，在fork子进程的时候比较耗时，会导致redis在一段时间内停止处理请求。

AOF方式

默认情况下，redis是没有开启AOF(append only file)的。在开始AOF之后，redis每接收到一条更改redis数据的命令，就会将该命令写入硬盘中的AOF文件。很明显，该过程会降低redis的性能，但大部分情况下是能够接受的，同时，使用性能较好的硬盘可以提高AOF性能

AOF配置方式

# 开启appendonly参数appendonly true# 设置AOF文件位置dir ./# 设置AOF文件名称，默认是appendonly.aofappendfilename appendonly.aof

原理图

RESP协议

Redis客户端使用RESP协议与Redis服务端进行通信，该协议是专门为redis设计的，但是也可以用于其他C-S项目。

• 间隔符号:在Linux中是\\r\\n,在Windows中是\\n
• 简单字符串以'+'开头
• 错误Errors，以'-'开头
• 整数类型Integer,以':'开头
• 大字符串以'$'开头
• 数组类型Arrays,以'*'开头

AOF原理说明

redis通过将所有的写入命令记录到AOF文件中，来持久化数据。而将命令记录到AOF文件的过程，可以分成三个阶段:

• 命令传播
• 缓存追加
• 文件写入和保存

命令传播

redis将执行完的命令，命令参数，命令参数格个数等内容发送到AOF程序。当redis客户端执行命令的时候，通过连接，将协议文本发送到redis，redis接收到协议文本之后，根据内容，选择适当的命令函数，将协议文本转换成Redis字符串对象，在命令函数执行完成后，将命令参数发送到AOF程序。

缓存追加

AOF程序接收到命令参数之后，会将其从字符串对象转换成协议内容，再将协议内容追加到AOF缓存中。AOF缓存是在redisServer结构的aof_buf中，新的内容会被追加到aof_buf末尾。aof_buf保持着所有未被写入到AOF文件的协议文本。

文件写入和保存

将AOF缓存内容写入到AOF文件，并保持到磁盘。 当服务器的常规函数被执行，或者事件处理器被执行的时候，flushAppendOnlyFile函数将会被执行。会有以下两个过程。

• WRITE:将AOF缓存中的内容写入到AOF文件
• SAVE:调用fsync或者fdatasync函数，将AOF文件保存到磁盘中

AOF一共有三种保存模式

• AOF_FSYNC_NO:不保存。在这种模式下，每次调用flushAppendOnlyFile函数，write会被执行，而save会被忽略。而save只有在以下三种条件下会触发，redis关闭，aof功能关闭，系统的写缓存被刷新(可能是缓存满了，或者定期执行保持操作)。这三种情况下执行save操作会引起redis主线程的阻塞。
• AOF_FSYNC_EVERYSEC(默认):每秒保存一次。save每秒被执行一次，但是save由后台子线程完成，不会导致redis主线程阻塞。
• AOF_FSYNC_ALWAYS:每执行一个命令保存一次。这种情况下，每执行一个命令write和save都会被执行，而且save操作由主线程完成，会导致redis的阻塞。安全性较高，性能较差，因此不推荐使用。

AOF的文件优化

Redis可以在AOF文件过大的时候，在后台(子进程)对AOF文件进行重写。重写之后的新文件，包含恢复当前数据集所需的最小命令集合。重写，并不会对AOF文件进行读取和写入，针对的是数据库中的当前键。

优化前set s1 1set s1 2set s1 3优化后set s1 3

AOF文件优化原理

AOF的重写是通过子进程实现的，因此，主线程是继续工作的，有可能对新的数据进行修改，有可能会导致数据库的数据和重写之后的数据不一致。redis通过增加一个AOF重写缓存来解决这个问题，当fork出子进程之后，新的命令不仅会追加到现有的AOF文件中，还会添加一份数据到这个缓存当中。

重写过程分析(需要保证从写的操作是绝对安全的)

Redis创建新的AOF文件之后，会继续将命令添加到原有的AOF文件中，即使数据库突然宕机了，原有的AOF文件和文件内容也不会有损失。而当新的AOF文件创建完毕之后，会直接把旧的替换掉，往新的AOF文件中添加命令。

当子进程在进行重写时，主进程会完成下列工作

• 处理请求，将新的命令继续添加到AOF文件中，同时将命令添加到AOF重写缓存中。保证数据的一致行，避免出现数据丢失。
• 当子进程重写完毕之后会向主进程发送一个完成信号，这时主进程会把重写缓存中的内容添加到新的AOF文件中，这样新的AOF文件，数据库，旧的AOF文件的内容就完全一致了。然后对新的AOF文件改名，覆盖原有的AOF文件。

这样程序就完成了新旧AOF文件的替换工作。而当处理完成之后，主进程就会继续接受请求。整个重写过程中只有最后的缓存写入和改名替换的操作会导致主进程阻塞，其他时候不会影响redis的正常工作，把AOF重写对redis的性能影响降到最低。

优化触发条件

#当前的AOF文件超过上次重写时AOF文件大小百分几的时候进行重写，如果没有重写过，则以启动时AOF文件的大小为准auto-aof-rewrite-percentage 100#限制允许重写的最小的AOF文件，也就是文件小于这个值的时候不需要进行重写优化auto-aof-rewrite-min-size 64mb

在 经济管理的日常工作中，常常需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。