Redis集群CentOS系统配置企业级数据备份方案以及数据恢复的操作(以及错误的数据恢复步骤详解)

1. 设置每小时保存一份 /var/redis/6379/dump.rdb 文件至指定目录(我这边存放在 /usr/local/redis_backup 目录下),并删除48小时前的文件。

    为了后面能够定时执行该数据备份任务,我们在 /usr/local/redis_backup 目录下创建一个rdb_backup.sh脚本文件,内容如下。

#!/bin/sh

# date +%Y%m%d%H 是CentOS的时间用法,得到年月日时,如2021040708,
# 更完整的有 date +%Y%m%d%H%M%S%Z
cur_date=`date +%Y%m%d%H`

# $cur_date使用变量值。这边先移除当前时间段的目录
rm -rf /usr/local/redis_backup/$cur_date
mkdir /usr/local/redis_backup/$cur_date
# 备份rdb文件
cp /var/redis/6379/dump.rdb /usr/local/redis_backup/$cur_date

# 删除48小时前备份的rdb文件
del_date=`date -d -48hour +%Y%m%d%H`
rm -rf /usr/local/redis_backup/$del_date

2. 这边我们先直接手动执行该sh脚本文件,先赋予文件执行权限,并执行,如下。

3. 同理,我们再创建一个rdb_backup_daily.sh脚本用于每天保存一份rdb文件,并且仅仅保留最近一个月的文件,脚本代码如下。

#!/bin/sh

# 这边不用再加上小时了
cur_date=`date +%Y%m%d`
rm -rf /usr/local/redis_backup/$cur_date
mkdir /usr/local/redis_backup/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis_backup/$cur_date

# 这边也不用加上小时,并且改为一个月
del_date=`date -d -1month +%Y%m%d`
rm -rf /usr/local/redis_backup/$del_date

4. 最后,我们使用crontab定时执行文件备份脚本文件,在终端输入 crontab -e 后输入如下内容,然后 :wq 保存退出即可。

0 * * * * sh /usr/local/redis_backup/rdb_backup.sh
0 0 * * * sh /usr/local/redis_backup/rdb_backup_daily.sh

退出后有如下提示信息,网上的意思有没安装crontab,也有说是没有执行select-editor选择编辑器。

但是我们 crontab -l 指令可以看到我们的定时任务 ,所以提示没有问题,暂时忽略。

 

5. 数据恢复方案

5. 1 如果是redis进程被结束或者主机宕机了,那么重启后,可根据aof文件直接数据恢复。因为aof文件是append-only方式,所以即使损坏,也只是后期加入的数据有问题,那么可以使用 redis安装目录/src/redis-check-aof --fix 将有损坏的数据指令删除,直至其它指令正常,此时aof文件可正常执行。

5.2 如果是aof或rdb文件完全损坏不可用或者丢失,需要使用备份文件来恢复数据,错误恢复数据操作如下图。

5.3 上图展示了错误的数据恢复操作,为什么会造成上面的错误呢?原因是开启aof后,Redis只从aof备份文件恢复数据,如果找不到aof文件,那么就利用Redis的数据创建aof文件,而不会从rdb中读取数据恢复,等到我们进行相应操作或者将Redis服务shutdown后,Redis会将缓存中的空数据保存至aof和rdb文件(覆盖我们拷贝过来的rdb文件),也就解释了上图为什么我们关闭Redis服务后,aof和rdb文件中内容都为空。所以正确的设置Redis从rdb文件恢复数据的操作如下:

5.3.1 先关闭Redis服务(如果还在运行),通过 redis-cli shutdown 指令关闭redis服务,通过指令 ps -ef | grep redis 查看Redis是否关闭。

 

5.3.2 暂时关闭conf文件中的aof功能,先通过 vi /etc/redis/6379.conf 指令打开配置文件,然后设置 appendonly 为 no ,操作如下。

5.3.3 拷贝一份rdb文件至 /var/redis/6379 目录下,并确认该备份文件有相关数据,如下。

5.3.4 进入 /etc/init.d 目录,通过 ./redis_6379 start 指令启动Redis服务,并查看相关数据成功,如下。

5.3.5 注意:此时如果直接redis-cli shutdown,然后手动修改配置文件打开aof配置,再启动Redis服务,你会发现又获取不到数据了。

5.3.6 为什么又会获取不到数据呢?还是因为我们开启aof功能后,Redis又从aof备份文件恢复数据,但是没有找到aof文件,那么直接基于Redis内存数据创建aof文件,内存为空,之后保存的备份文件也为空,因此后续重启Redis服务也得不到数据。所以在执行完5.3.4步骤后,我们在确认Redis从rdb备份文件恢复数据后,直接在redis终端通过 config set appendonly yes 进行热修改,打开aof备份功能,然后Redis数据就能写入aof文件中。缺点是热修改的配置参数没有被持久化修改,但是此时aof文件已经保存了Redis数据,我们可以关闭redis,然后修改配置文件,设置 appendonly 为 yes,进行aof备份功能的持久化配置,最后重启redis从aof备份文件恢复数据即可。

 

 

热门文章

暂无图片
编程学习 ·

exe4j详细使用教程(附下载安装链接)

一、exe4j介绍 ​ exe4j是一个帮助你集成Java应用程序到Windows操作环境的java可执行文件生成工具,无论这些应用是用于服务器,还是图形用户界面(GUI)或命令行的应用程序。如果你想在任务管理器中及Windows XP分组的用户友好任务栏…
暂无图片
编程学习 ·

AUTOSAR从入门到精通100讲(126)-浅谈车载充电系统通信方案

01 引言 本文深入研究车载充电系统策略,设计出一套基于电动汽车电池管理系统与车载充电机的CAN通信协议,可供电动汽车设计人员参考借鉴。 02 电动汽车充电系统通讯网络 电动汽车整车控制系统中采用的是CAN总线通信方式,由一个整车内部高速CAN网络、内部低速CAN网络和一个充电…
暂无图片
编程学习 ·

CMake(九):生成器表达式

当运行CMake时,开发人员倾向于认为它是一个简单的步骤,需要读取项目的CMakeLists.txt文件,并生成相关的特定于生成器的项目文件集(例如Visual Studio解决方案和项目文件,Xcode项目,Unix Makefiles或Ninja输入文件)。然…
暂无图片
编程学习 ·

47.第十章 网络协议和管理配置 -- 网络配置(八)

4.3.3 route 命令 路由表管理命令 路由表主要构成: Destination: 目标网络ID,表示可以到达的目标网络ID,0.0.0.0/0 表示所有未知网络,又称为默认路由,优先级最低Genmask:目标网络对应的netmaskIface: 到达对应网络,应该从当前主机哪个网卡发送出来Gateway: 到达非直连的网络,…
暂无图片
编程学习 ·

元宇宙技术基础

请看图: 1、通过AR、VR等交互技术提升游戏的沉浸感 回顾游戏的发展历程,沉浸感的提升一直是技术突破的主要方向。从《愤怒的小鸟》到CSGO,游戏建模方式从2D到3D的提升使游戏中的物体呈现立体感。玩家在游戏中可以只有切换视角,进而提升沉浸…
暂无图片
编程学习 ·

flink的伪分布式搭建

一 flink的伪分布式搭建 1.1 执行架构图 1.Flink程序需要提交给 Job Client2.Job Client将作业提交给 Job Manager3.Job Manager负责协调资源分配和作业执行。 资源分配完成后,任务将提交给相应的 Task Manage。4.Task Manager启动一个线程以开始执行。Task Manage…
暂无图片
编程学习 ·

十进制正整数与二进制字符串的转换(C++)

Function one: //十进制数字转成二进制字符串 string Binary(int x) {string s "";while(x){if(x % 2 0) s 0 s;else s 1 s;x / 2;}return s; } Function two: //二进制字符串变为十进制数字 int Decimal(string s) {int num 0, …
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统: 微信小程序——辩论管理前台涉及技术:WXML 和 WXS…
暂无图片
编程学习 ·

树莓派驱动DHT11温湿度传感器

1,直接使用python库 代码如下 import RPi.GPIO as GPIO import dht11 import time import datetimeGPIO.setwarnings(True) GPIO.setmode(GPIO.BCM)instance dht11.DHT11(pin14)try:while True:result instance.read()if result.is_valid():print(ok)print(&quo…
暂无图片
编程学习 ·

ELK简介

ELK简介 ELK是三个开源软件的缩写,Elasticsearch、Logstash、Kibana。它们都是开源软件。不过现在还新增了一个 Beats,它是一个轻量级的日志收集处理工具(Agent),Beats 占用资源少,适合于在各个服务器上搜集日志后传输给 Logstas…
暂无图片
编程学习 ·

Linux 基础

通常大数据框架都部署在 Linux 服务器上,所以需要具备一定的 Linux 知识。Linux 书籍当中比较著名的是 《鸟哥私房菜》系列,这个系列很全面也很经典。但如果你希望能够快速地入门,这里推荐《Linux 就该这么学》,其网站上有免费的电…
暂无图片
编程学习 ·

Windows2022 无线网卡装不上驱动

想来 Windows2022 和 windows10/11 的驱动应该差不多通用的,但是死活装不上呢? 搜一下,有人提到 “默认安装时‘无线LAN服务’是关闭的,如果需要开启,只需要在“添加角色和功能”中,选择开启“无线LAN服务…
暂无图片
编程学习 ·

【嵌入式面试宝典】版本控制工具Git常用命令总结

目录 创建仓库 查看信息 版本回退 版本检出 远程库 Git 创建仓库 git initgit add <file> 可反复多次使用&#xff0c;添加多个文件git commit -m <message> 查看信息 git status 仓库当前的状态git diff 差异对比git log 历史记录&#xff0c;提交日志--pret…
暂无图片
编程学习 ·

用Postman生成测试报告

newman newman是一款基于nodejs开发的可以运行postman脚本的工具&#xff0c;使用Newman&#xff0c;可以直接从命令运行和测试postman集合。 安装nodejs 下载地址&#xff1a;https://nodejs.org/en/download/ 选择自己系统相对应的版本内容进行下载&#xff0c;然后傻瓜式安…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…