Linux企业运维——Redis部署+redis主从复制+redis主从自动切换（基于sentinel哨兵模式

一、redis是什么？

1.Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）

2.常用指令

config get *##查看配置select 1##选择数据库flushdb ##清空当前数据库flushall ##清空所有数据库move key 1##移动keydel key##删除rename oldkey newkey##改名expire key 10 ##设置过期时间persist key ##设置持久化keys user*##查询exists key##判断是否存在

二、redis的编译、安装

https://redis.io/downloadtar zxf redis-5.0.8.tar.gzmake && make installutils/install_server.sh

1、server1的redis配置

server1主机，安装并编译redis。

tar zxf redis-6.2.4.tar.gzcd redis-6.2.4/makemake install

运行自带的安装程序，安装失败，文件中有操作系统的判断会导致失败，修改文件，重新安装

cd utils/ls./install_server.sh##运行自带的安装程序，失败vim install_server.sh ##将下文部分注释///#if [ "${_pid_1_exe##*/}" = systemd ]#then# echo "This systems seems to use systemd."# echo "Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!"# exit 1#fi///./install_server.sh##成功

重新安装，出现提示回车即可

此时切换到配置目录下，可以看到自动生成了配置文件，查看端口，端口开启。修改该配置文件，重启服务。

cd /etc/redisls##6379.confnetstat -antlp##6379vim 6379.conf///75 #bind 127.0.0.1 -::1##链接redis 时只能通过本地localhost (127.0.0.1）来链接，而不能用网络ip(192.168..)链接，因为处于保护模式，只能本地链接，所以将该设定注释94 protected-mode no##设定关闭保护模式////etc/init.d/redis_6379 stop/etc/init.d/redis_6379 startnetstat -antlp | grep :6379

2、server2的redis安装

在server2主机，使用另一种方式来配置redis。

首先，同样先解压，然后使用systemd支持进行构建，但此时缺少依赖gcc，安装依赖，重新make，仍然失败，提醒缺少依赖jemalloc。此时要删除redis目录，删除c环境下生成的缓存，重新解压，make，提醒缺少systemd，安装后继续make，成功，make install

###server2ls./install_server.shtar zxf redis-6.2.4.tar.gzcd redis-6.2.4/make ##进行构建，失败，需要c编译器yum install -y gccmake ##还是需要下载依赖jemalloccdrm -rf redis-6.2.4##删除c环境下生成的缓存tar zxf redis-6.2.4.tar.gz##重新解压cd redis-6.2.4/make ##重新makeyum install -y systemd-devel##安装systemdmake ##重新makemake install

此时，切换到utils目录下，运行自带的安装程序，将服务文件复制到目录自动存放启动文件的配置位置，重载配置文件，重启服务。

cd utils/./install_server.shcp systemd-redis_server.service /usr/lib/systemd/system/redis.service##目录自动存放启动文件的配置位置systemctl daemon-reload ##重载配置文件systemctl start redis.service

三、redis主从复制

1、在server2修改redis.service文件，建立配置文件和数据文件存放的目录，编辑配置文件，同时设定server2主机为server1主机的slave端，即主从复制设定，重载配置文件，重启服务。

cd /usr/lib/systemd/system/vim redis.service ##注意仔细修改该文件///[Unit]Description=Redis data structure serverDocumentation=https://redis.io/documentation#Before=your_application.service another_example_application.service#AssertPathExists=/var/lib/redisWants=network-online.targetAfter=network-online.target[Service]#ExecStart=/usr/local/bin/redis-server --supervised systemd --daemonize no## Alternatively, have redis-server load a configuration file:ExecStart=/usr/local/bin/redis-server /etc/redis/redis.conf#LimitNOFILE=10032#NoNewPrivileges=yes#OOMScoreAdjust=-900#PrivateTmp=yesType=forking#TimeoutStartSec=infinity#TimeoutStopSec=infinity#UMask=0077#User=redis#Group=redis#WorkingDirectory=/var/lib/redis///mkdir /etc/redismkdir /var/lib/rediscd cd redis-6.2.4/cp redis.conf /etc/redis/vim /etc/redis/redis.conf ///94 protected-mode no##关闭保护模式75 #bind 127.0.0.1 -::1##注释，允许网络ip链接redis257 daemonize yes##以守护进程的方式运行302 logfile "/var/log/redis.log"##日志存放目录454 dir /var/lib/redis##数据文件放置的目录2052 slaveof 172.25.173.5 6379##主从复制///systemctl daemon-reload systemctl restart redis

2、此时在server1主机上插入数据，可以在server2主机上看到，即主从复制设定成功。

127.0.0.1:6379> set name westosOK127.0.0.1:6379> get name"westos"127.0.0.1:6379>

[root@server2 redis]# redis-cli127.0.0.1:6379> get name"westos"127.0.0.1:6379>

四、redis主从自动切换（基于sentinel哨兵模式）

主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用，哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

部署步骤

1、在server3安装redis，在server3主机进行配置。解压，安装gcc，make，删除c环境下生成的缓存，重新解压，make install，修改安装文件，运行自带的安装程序

server3lstar zxf redis-6.2.4.tar.gzcd redis-6.2.4/yum install -y gccyum install -y systemd-develmakemake installcd utils/vim install_server.sh ///#if [ "${_pid_1_exe##*/}" = systemd ]#then# echo "This systems seems to use systemd."# echo "Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!"# exit 1#fi///./install_server.sh

2、修改配置文件，重启服务，进入redis，info可以看到role:slave master_host:172.25.173.5，即，当前主机server3为server1的从机。

vim /etc/redis/6379.conf ///2052 slaveof 172.25.173.5 637994 protected-mode no75 #bind 127.0.0.1 -::1////etc/init.d/redis_6379 restartredis-cli> info

3、在server1主机中，配置sentinel，并复制到server2和server3中

配置哨兵模式，即高可用###server1cd redis-6.2.4/cp sentinel.conf /etc/redis/cd /etc/redis/vim sentinel.conf ///sentinel monitor mymaster 172.25.173.5 6379 2##master为server1，2表示需要两票通过，这台主机就被认定宕掉sentinel down-after-milliseconds mymaster 10000##连接超时为10s///scp sentinel.conf server2:/etc/redis/scp sentinel.conf server3:/etc/redis/redis-sentinel /etc/redis/sentinel.conf ##可以看到两个slave端

此时在server2和server3，可以看到一个master和两个slave端，并且相互连接

4、重新ssh连接server1，info查看当前为master，有两个slave端，然后关闭当前主机

redis-cli> info> shutdown

5、在原来的server1中，可以看到本机down，并且新的slave为1和3，即新的master为2，而且此时的slave1是挂掉的

6、在新连接的server1中，连接到server2，info查看到当前为master，有一个slave端，因为server1当前为挂掉状态。

###server1(新)redis-cli -h 172.25.173.6##连接到2> info ##可以看到role:master connected_slaves:1，一个slave端

7、重新开启server1，info查看，当前为slave状态，并且master端为server2主机。即就是，当master宕机时，sentinel自动切换master主机成功

systemctl restart redis_6379.serviceredis-cli> info

五、集群

Redis 的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台 Redis 服务器都存储相同的数据，很浪费内存，所以在redis3.0上加入了 Cluster 集群模式，实现了 Redis 的分布式存储，也就是说每台 Redis 节点上存储不同的内容

1、手动构建集群

在server1主机（master），重启redis，开启AOF模式，建立medis目录，并建立集群7001～7006目录，切入7001，修改配置文件，启动服务。将配置文件复制到其他几个实例目录中，根据情况做修改。

###server1(master)systemctl restart redis_6379.servicevim /etc/redis/6379.conf///appendonly yes##开启AOF模式///cd /usr/localmkdir rediscd redis/mkdir 700{1..6}cd 7001vim redis.confport 7001##不同的文件此处不同cluster-enabled yes##开启集群cluster-config-file nodes.conf##集群配置文件cluster-node-timeout 5000##节点超时appendonly yes##开启AOF模式daemonize yes##用守护线程的方式启动redis-server redis.conf ##启动服务cp redis.conf ../7002/##复制配置文件到7002cp redis.conf ../7003/cp redis.conf ../7004/cp redis.conf ../7005/cp redis.conf ../7006/7002~7006相同ps ax

2、使用redis-cli来进行集群的交互，使用客户端连接任意一个节点,使用－c表示以集群的方式登录，－p指定端口。info查看，当前为master，没有slave端。创建集群主从节点，–cluster-replicas 参数为数字，1表示每个主节点需要1个从节点，然后检查集群，查看集群信息

redis-cli -c -p 7001> inforedis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1redis-cli --cluster check 127.0.0.1:7001##检查集群redis-cli --cluster info 127.0.0.1:7001##集群信息查看

3、脚本构建

cd redis-6.2.4/cd utils/create-cluster/./create-cluster start##开启实例Starting 30001~30006ps ax./create-cluster stop##停止所有实例，使用手动构建的集群来做接下来的实验ps ax

2、自动切换

1、由上图可知，7004为7002的slave。当连接7002端口，并关掉当前节点，7004会自动切换为主节点，此时没有从节点。开启7002，此时7002成为从节点，检查集群，可以看到7004有一个从节点7002

redis-cli -c -p 7002> SHUTDOWNps ax##7002消失redis-cli --cluster check 127.0.0.1:7001##7004 0 slavescd ..cd 7002redis-server redis.conf ps ax##redis-server *:7002 [cluster]redis-cli --cluster check 127.0.0.1:7001##7004 1 slaves为7002

3、添加节点和分片

先和之前一样创建两个节点

cd /usr/local/redismkdir 700{7,8}cd 7007cp ../7001/redis.conf .vim redis.conf ///port 7007cluster-enabled yescluster-config-file nodes.confcluster-node-timeout 5000appendonly yesdaemonize yes///redis-server redis.conf 7008相同ps ax

将7007节点加入集群中，但是并没有分配slot，所以这个节点并没有真正的开始分担集群工作，所以要进行分片。重新分片基本上意味着将哈希槽从一组节点移动到另一组节点，并且像群集创建一样

redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7001##将节点加入了集群中,但是并没有分配slot,所以这个节点并没有真正的开始分担集群工作redis-cli --cluster check 127.0.0.1:7001##7007 0 slaves slots: (0 slots) masterredis-cli --cluster reshard 127.0.0.1:7001##重新分片分片操作How many slots do you want to move (from 1 to 16384)? 1000##移动的插槽数量What is the receiving node ID?##接收节点的IDSource node #1: all##从哪些节点获取这些密钥，键入all以从所有其他主节点获取哈希槽Do you want to proceed with the proposed reshard plan (yes/no)? yes##确定是否要继续重新分片，输入yes

redis-cli --cluster check 127.0.0.1:7001

检查集群，此时7007节点有1000哈希槽，没有从节点，于是把7008 节点加入到7001 节点的集群中，并且当做node_id为 6124a3bb3f26f85ddad86b50fed9e57d5088d048 的从节点。如果不指定 --cluster-master-id 会随机分配到任意一个主节点。检查集群，此时7007有一个从节点

redis-cli --cluster check 127.0.0.1:7001##7007 1000 slots | 0 slavesredis-cli --cluster add-node 127.0.0.1:7008 127.0.0.1:7001 --cluster-slave --cluster-master-id 6124a3bb3f26f85ddad86b50fed9e57d5088d048##把7008 节点加入到7001 节点的集群中，并且当做node_id为 6124a3bb3f26f85ddad86b50fed9e57d5088d048 的从节点。##如果不指定 --cluster-master-id 会随机分配到任意一个主节点。redis-cli --cluster check 127.0.0.1:7001##7007 1 slaves

六、redis+mysql 的缓存服务器

1、在server1主机

server1要提前安装nginx+php，这里以前实验已经安装，不再过多阐述。

安装进程管理工具psmisc，便于使用killall命令，关掉redis所有进程

yum install -y psmisc##便于使用killall命令killall redis-serverps ax##没有redis、nginx、php的进程

安装软件包php、gearmand、libevent-devel、libgearman相关软件包

yum install -y *.rpm#全部安装systemctl daemon-reload systemctl start php-fpm #开启php

将测试页test.php移动到nginx的发布目录下，修改主从ip

[root@server1 rhel7]# cp test.php /usr/local/nginx/html/

2、在server2主机中（redis）

开启redis，info查看信息，如果server2为server1的从机。修改配置文件/etc/redis/redis.conf，删除关于主从的设定，重启redis。info查看server2此时为master主机

3、在server3主机中（mariadb数据库）

在server3主机，停掉rdis，并且取消开机自启。删除redis环境变量并且生效，安装mariadb 还原mysql的配置文件，删除mysql所有数据文件，开启mariadb

/etc/init.d/redis_6379 stopchkconfig redis_6379 off##取消开机自启vim .bash_profile///PATH=$PATH:$HOME/bin///source .bash_profile yum install -y mariadb-server.x86_64 vim /etc/f///[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sock[mysqld_safe]log-error=/var/lib/mysql/mysqld.logpid-file=/var/lib/mysql/mysqld.pid///systemctl start mariadb

进入数据库，可以看到test库，将本地文件test.sql文件导入，进入数据库，可以看到导入的数据，并授权redis用户

mysqlshow databases;mysql < test.sql#将test库内容导入mysql> use test> show tables;> select * from test;##test1~test9> grant all on test.* to redis@'%' identified by 'westos'; #授权systemctl restart mariadb.service

在浏览器访问172.25.173.5/test.php

此数据只能同步复制，不能异步复制，只能在redis上改写和读取数据，mysql端更改不生效，即数据不一致，因为客户端读的时候去找redis缓存；客户端写的时候去找mysql

七、redis如何与mysql保持数据一致

1、Gearman是什么与Gearman工作原理

Gearman提供了一个通用的应用程序框架，用于将工作转移到更适合于工作的其他机器或流程。它允许你并行工作，负载平衡处理，并在语言间调用函数。它可用于从高可用性网站到传输数据库复制事件的各种应用程序

一个Gearman驱动的应用程序由三部分组成：一个客户端，一个工作者和一个作业服务器。客户端负责创建要运行的作业并将其发送到作业服务器。作业服务器将找到可以运行作业并转发作业的合适工作人员。工作人员执行客户端请求的工作，并通过作业服务器向客户端发送响应。Gearman提供您的应用程序调用的客户端和工作者API来与Gearman作业服务器（也称为gearmand）交谈，因此开发人员不需要处理网络或作业的映射。在内部，gearman客户端和工作者API使用TCP套接字与作业服务器进行通信

2、在server3安装数据库的开发包

通过 lib_mysqludf_json UDF 库函数将关系数据映射为 JSON 格式，拷贝 lib_mysqludf_json.so 模块。进入数据库，查看mysql 的模块目录，注册 UDF 函数，查看函数

server3（mariadb） yum install -y unzip unzip lib_mysqludf_json-master.zip cd lib_mysqludf_json-master/yum install -y gcc gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/进入mysql查看mysqlmysql> show global variables like 'plugin_dir';

3、注册UDF函数

mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';mysql> select * from mysql.func;

4、server3下载解压gearman，并解决依赖性进行编译

tar zxf gearman-mysql-udf-0.6.tar.gz cd gearman-mysql-udf-0.6/./configure --libdir=/usr/lib64/mysql/plugin/ server1主机上的rhel7包中含有以下rpm安装包yum install -y libgearman* libevent* #libevent-devel-2.0.21-4.el7.x86_64.rpm#libgearman-1.1.12-18.el7.x86_64.rpm#libgearman-devel-1.1.12-18.el7.x86_64.rpm ./configure --libdir=/usr/lib64/mysql/plugin/ 再次检测make 编译make install 安装注册UDF函数，并查看mysql mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so'; mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';mysql> select * from mysql.func;SELECT gman_servers_set('172.25.173.5:4730'); 指定gearman的服务信息

5、编辑mysql触发器，重新导入数据库

vim test.sql##编写 mysql 触发器mysql -pwestos < test.sql mysql> SHOW TRIGGERS FROM test;##查看触发器

注释第一段，开启第二段

6、在server1中启动服务及worker任务

systemctl start gearmand##启动gearman服务php -m | grep gearman#查看服务php -m | grep redisnetstat -antlp#查看4370端口是否开启cd /root/rhel7/ #切换环境到worker.php目录中vim worker.php #编写 gearman 的 worker 端///7 $redis->connect('172.25.173.6', 6379);///cp worker.php /usr/localcd /usr/localnohup php worker.php &#运行worker.php并打入后台ps ax#查看是否开启 worker.php

7、在server3更新 mysql 中的数据

###server3> use test> update test set name='hhhh' where id=1;##更新 mysql 中的数据

在server2进行查看

###server2redis-cli ##查看 redis> get 1##hello

在浏览器可以查看，此时server1端已经同步了server3中mysql经由server2中redis上传的数据

Linux企业运维——Redis部署+redis主从复制+redis主从自动切换（基于sentinel哨兵模式）+集群+redis+mysql 的缓存服务器+配置 gearman 实现数据同步