Toggle Navigation
首页
Golang
PHP
Laravel
Magento
Linux
数据库
MySQL
Redis
Mongodb
热门知识
程序与生活
架构师之路
静态站点
GitHub
主页
对Redis持久化的探讨与理解
对Redis持久化的探讨与理解
11-01
Mark
367
### 对Redis持久化的探讨与理解 目前Redis持久化的方式有两种:RDB和AOF。 首先,我们应该明确持久化的数据有什么用,答案是用于重启后的数据恢复。Redis是一个内存数据库,无论是RDB还是AOF,都只是其保证数据恢复的措施。所以Redis在利用RDB和AOF进行恢复的时候,都会读取RDB或AOF文件,重新加载到内存中。 > RDB就是Snapshot快照存储,是默认的持久化方式。 可理解为半持久化模式,即按照一定的策略周期性的将数据保存到磁盘。对应产生的数据文件为dump.rdb,通过配置文件中的save参数来定义快照的周期。 下面是默认的快照设置: ``` save 900 1 #当有一条Keys数据被改变时,900秒刷新到Disk一次 save 300 10 #当有10条Keys数据被改变时,300秒刷新到Disk一次 save 60 10000 #当有10000条Keys数据被改变时,60秒刷新到Disk一次 ``` Redis的RDB文件不会坏掉,因为其写操作是在一个新进程中进行的。当生成一个新的RDB文件时,Redis生成的子进程会先将数据写到一个临时文件中,然后通过原子性rename系统调用将临时文件重命名为RDB文件。这样在任何时候出现故障,Redis的RDB文件都总是可用的。同时,Redis的RDB文件也是Redis主从同步内部实现中的一环。 - 第一次Slave向Master同步的实现是:Slave向Master发出同步请求,Master先dump出rdb文件,然后将rdb文件全量传输给slave,然后Master把缓存的命令转发给Slave,初次同步完成。 - 第二次以及以后的同步实现是:Master将变量的快照直接实时依次发送给各个Slave。 但不管什么原因导致Slave和Master断开重连都会重复以上两个步骤的过程。 Redis的主从复制是建立在内存快照的持久化基础上的,只要有Slave就一定会有内存快照发生。 可以很明显的看到,RDB有它的不足,就是一旦数据库出现问题,那么我们的RDB文件中保存的数据并不是全新的。 从上次RDB文件生成到Redis停机这段时间的数据全部丢掉了。 > AOF(Append-Only File)比RDB方式有更好的持久化性。 由于在使用AOF持久化方式时,Redis会将每一个收到的写命令都通过Write函数追加到文件中,类似于MySQL的binlog。当Redis重启是会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。 对应的设置参数为: $ vim /opt/redis/etc/redis_6379.conf appendonly yes #启用AOF持久化方式 appendfilename appendonly.aof #AOF文件的名称,默认为appendonly.aof appendfsync always 每次收到写命令就立即强制写入磁盘,是最有保证的完全的持久化,但速度也是最慢的,一般不推荐使用。 appendfsync everysec 每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,是受推荐的方式。 appendfsync no 完全依赖OS的写入,一般为30秒左右一次,性能最好但是持久化最没有保证,不被推荐。 AOF的完全持久化方式同时也带来了另一个问题,持久化文件会变得越来越大。 比如我们调用INCR test命令100次,文件中就必须保存全部的100条命令,但其实99条都是多余的。 因为要恢复数据库的状态其实文件中保存一条SET test 100就够了。 为了压缩AOF的持久化文件,Redis提供了bgrewriteaof命令。 收到此命令后Redis将使用与快照类似的方式将内存中的数据以命令的方式保存到临时文件中,最后替换原来的文件,以此来实现控制AOF文件的增长。 由于是模拟快照的过程,因此在重写AOF文件时并没有读取旧的AOF文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的AOF文件。 对应的设置参数为: $ vim /opt/redis/etc/redis_6379.conf no-appendfsync-on-rewrite yes 在日志重写时,不进行命令追加操作,而只是将其放在缓冲区里,避免与命令的追加造成DISK IO上的冲突。 auto-aof-rewrite-percentage 100 当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时,自动启动新的日志重写过程。 auto-aof-rewrite-min-size 64mb 当前AOF文件启动新的日志重写过程的最小值,避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。 到底选择什么呢?下面是来自官方的建议: - 通常,如果你要想提供很高的数据保障性,那么建议你同时使用两种持久化方式。 - 如果你可以接受灾难带来的几分钟的数据丢失,那么你可以仅使用RDB。 很多用户仅使用了AOF,但是我们建议,既然RDB可以时不时的给数据做个完整的快照,并且提供更快的重启,所以最好还是也使用RDB。因此,我们希望可以在未来(长远计划)统一AOF和RDB成一种持久化模式。 在数据恢复方面: RDB的启动时间会更短,原因有两个: - 一是RDB文件中每一条数据只有一条记录,不会像AOF日志那样可能有一条数据的多次操作记录。所以每条数据只需要写一次就行了。 - 另一个原因是RDB文件的存储格式和Redis数据在内存中的编码格式是一致的,不需要再进行数据编码工作,所以在CPU消耗上要远小于AOF日志的加载。
最新文章
Golang内存问题处理
WebSocket详解
Gopher面试中的Coding(三)
Golang用os/signal包实现平滑重载配置文件
Nginx实现负载均衡的几种方式
Golang中子goroutine与主协程同步的四种实现
Dockerfile文件详解
Golang开发微信公众号
最热文章
Magento实现下载csv数据表格
1323
Magento上传文件、缩略图和导出CSV
1237
Laravel带有条件搜索的分页
1147
Magento优化 – MySQL读写分离
1099
Magento后台添加rule规则
1051
Magento常用模块分享
867
Magento 建立自己的shell命令
810
10个实用的PHP正则表达式
798
热门标签
下载
上传
导出
laravel分页
读写分离
rule
规则
模块
shell
正则
Collection
binlog
命名空间
微信公众号
Git
解锁
锁表
string
处理
composer
事务处理
读写
架构
系统
表分割
redis sentinel
函数
time
日志分析
进阶
事务处理
缓存
package
交叉编译
schedule
HTTPS
fmt
golang
channel
事务
分布式锁
日志过滤
日志分割
mongodb
git服务器
gogs
多数据库
Dockerfile
json
php
protobuf
版本号
concat
发展方向
Gopher面试
get
post
goroutine
负载均衡
重载配置
rpc
算法
模型关系
laravel
mongodb
docker
elasticsearch
golang算法
写文件
defer
panic
redis
代码部署
主从配置
curl
Dataflow
package
Shell
生成插件
直接下载
并发
量级
protobuf
数据类型
参数
错误传递
队列
Go指针
成长
方法
websocket
grpc
路上
风景
protobuf
Redis持久化
yum
内存泄漏