Redis是一个开源(BSD许可)，内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如字符串，散列，列表，集合，带有范围查询的排序集，位图，超级日志，具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区。您可以对这些类型运行原子操作，例如附加到字符串;递增哈希值;将元素推送到列表中;计算集合交集， 并集和差异;或者在排序集中获得排名最高的成员。
为了实现其出色的性能，Redis使用内存数据集。根据您的使用情况，您可以通过 每隔一段时间将数据集转储到磁盘或通过将每个命令附加到日志来保留它。如果您只需要功能丰富的网络内存缓存，则可以选择禁用持久性。
Redis还支持简单到设置的主从异步复制，具有非常快速的非阻塞第一次同步，自动重新连接以及在网络分割上的部分重新同步。其他功能包括：交易发布/订阅、Lua脚本、钥匙的生存时间有限、LRU逐出钥匙、自动故障转移
您可以使用大多数编程语言中的Redis。Redis是用ANSI C编写的，适用于大多数POSIX系统，如Linux，* BSD，OS X，没有外部依赖性。Linux和OS X是Redis开发和测试的两个操作系统，我们建议使用Linux进行部署。
lua脚本可以将redis客户端的多个命令打包送到服务器一起执行，保证原子性
redis为什么这么快？
(一)纯内存操作
(二)单线程操作，避免了频繁的上下文切换(多线程需要占用更多的CPU资源)
(三)采用了非阻塞I/O多路复用机制
操作系统的5中IO模型
redis的数据结构为key---value存储，Key：是String，Value有5个数据类型
1)String: 字符串2)Hash： 类似于map、可以放对象3)List：linkedlist格式 支持重复的元素4)Set：不允许重复且无序5)Sortedset：不允许重复，且元素有顺序
1)缓存数据(数据查询，商品内容……)
2)任务队列(秒杀、抢购、12306……)
3)应用排行榜、热门列表、 最新动态
4)数据过期处理
5)分布式集群架构中session的处理
6)时效性、访问频率、计数器
7)社交列表、记录用户判定信息
8)交集、并集和差集、消息队列
可参考博文： http://blog.720ui.com/2017/redis_core_use
https://www.cnblogs.com/jasonZh/p/9513948.html
启动方式：
cd /usr/localcd redis-4.0.8cd src1、src目录下的http://www.nhpp.cn/news/redis-server，这个需要一直保持启动，当其他操作的时候，ctrl+c退出，redis也退出了。不太方便
2、后台启动1)到redis目录2)vim redis.conf 将daemonize no该为yes3)到src目录 ：通过配置文件启动redis: http://www.nhpp.cn/news/redis-server http://www.nhpp.cn/redis.conf
3、使用redis脚本设置开机自动启动：启动脚本 redis_init_script 位于Redis的 /utils/ 目录下。了解就可以了，我们学习使用第二种就够了
关闭：
在src目录下：http://www.nhpp.cn/news/redis -cli -p 6379 shutdown
当然也可以用kill -9 进程号
** 在Linux系统中，客户端的连接**
在src目录下：http://www.nhpp.cn/news/redis -cli -h 127.0.0.1 -p 6379
-h是ip地址 -p是端口号，这儿是默认本机加6379可以省略http://www.nhpp.cn/news/redis-cli
通用指令keys *查看所有keyflushall情况数据库
| lpush key value [value...] | l是left的缩写 表示从链表左边(链表头)放入数据 || lrange key start end | 查看start---end中的数据，左包右包 end -1表示到最后 || rpush key value [value...] | 右边插入数据 r是right的缩写 || lpop key | 弹出左边第一个元素 || rpop key | 弹出右边第一个元素 || llen key | 查看链表的总长度 || blpop key [key...] timeout | 左侧阻塞式弹出 || brpop key [key...] timeout | 右侧阻塞式弹出 || lpushx | 和lpush类似，但是lpushx会校验key是否存在，若key不存在则不进行任何操作 || rpushx | 和rpush类似，但是lpushx会校验key是否存在，若key不存在则不进行任何操作 || rpoplpush key1 key2 | 弹出key1的右边的元素 放入key2左边(医院体检业务，排队做了一项，继续排队做第二项) || brpoplpush | 阻塞版本 || lindex key index | 获取key中index位置的值，负数就反过来数，-1为最后一个 || lrem key count value | count>0从左边删除count个valuecount<0从右边删除count个valuecount=0删除所有的value |
| sadd key element [element...] | set集合中添加元素 || smembers key | 查看集合所有的元素 || sismember key element | 查看元素是否属于该集合，1存在 0不存在 || srem key element [element...] | 删除集合元素 || scard key | 查看集合元素数量 || srandmember key [n] | 随机获取集合中某一个元素n是正数：返回n个不重复的数n是负数：返回n个可能重复的数 || spop key [n] | 默认弹出一个元素,或者弹出指定个数的元素 || sinter key1 key2 | 多个集合的交集 || sdiff key1 key2.... | 返回第一个集合有 后面集合都没有的元素(差集) || sunion key1 key2 key3…. | 所有集合的并集 || sinterstore set set1 set2 | 找到set1与set2的交集 存放在set中 |
| zadd key score member1 score member2 | 添加元素 每个元素都会携带一个分数 || zrange key start end [withscores] | 根据下标查看元素 默认分数升序排序 || zrevrange key start end [withscores] | 类似上面，反取 || zrangebyscore key score1 socre2 | 取score1到score2分数 之间的元素 || zrevrangebyscore key max min [withscores] | 反取 || zrem key member | 删除元素 || **zcard key ** | 个数 || zscore key member | 查看某个元素的分数 || zrank key member | 查看某个元素在集合中的排名,默认按分数升序(排名从0开始的) || zrevrank key member | 反排名 || zincrby key increment member | 为某个元素加分 || **zcount key min max ** | 统计min到max分数间的个数 || zremrangebyscore key min max | 根据分数段删除 || zremrangebyrank key start end | 根据排名删除 || zinterstore destination numkeys key [key...] | 这里numkeys表示需要做交集的key的个数 || zunionstore destination numkeys key [key...] | 这里numkeys代表需要做并集的key的个数 |
org.springframework.bootspring-boot-starter-data-redisorg.projectlomboklombokcom.google.guavaguava27.0.1-jre
com.fasterxml.jackson.core jackson-core 2.9.8com.fasterxml.jackson.core jackson-annotations 2.9.8com.fasterxml.jackson.core jackson-databind 2.9.8
在需要redis的地方，将redisutil注入，调用对应的方法即可。
定期删除，redis默认每个100ms检查，是否有过期的key,有过期key则删除。需要说明的是，redis不是每个100ms将所有的key检查一次，而是随机抽取进行检查(如果每隔100ms,全部key进行检查，redis岂不是卡死)。因此，如果只采用定期删除策略，会导致很多key到时间没有删除。
于是，惰性删除派上用场。也就是说在你获取某个key的时候，redis会检查一下，这个key如果设置了过期时间那么是否过期了？如果过期了此时就会删除。
--》采用定期删除+惰性删除就没其他问题了么?不是的，如果定期删除没删除key。然后你也没即时去请求key，也就是说惰性删除也没生效。这样，redis的内存会越来越高。那么就应该采用内存淘汰机制。
**在redis.conf中有一行配置
maxmemory-policy volatile-lru
该配置就是配内存淘汰策略的**1)noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。应该没人用吧。2)allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key。推荐使用，大部分情况适用。3)allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个key。4)volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key。这种情况一般是把redis既当缓存，又做持久化存储的时候才用。不推荐5)volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个key。依然不推荐6)volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的key优先移除。不推荐
常见选择:allkeys-lru：如果我们的应用对缓存的访问符合幂律分布(也就是存在相对热点数据)，或者我们不太清楚我们应用的缓存访问分布状况，我们可以选择allkeys-lru策略。allkeys-random：如果我们的应用对于缓存key的访问概率相等，则可以使用这个策略。volatile-ttl：这种策略使得我们可以向Redis提示哪些key更适合被移除
定时删除,用一个定时器来负责监视key,过期则自动删除。虽然内存及时释放，但是十分消耗CPU资源。在大并发请求下，CPU要将时间应用在处理请求，而不是删除key,因此没有采用这一策略.
Redis持久化方案：1、RDB(默认的持久化方案：推荐使用的)Redis DataBase 生成快照文件xxx.rdb保存到磁盘1)自动执行a)需要查看配置文件i.save 900 1ii.save 300 10iii.save 60 10000满足三个条件中一个触发生成快照rdb文件b)启动服务器的时候，需要通过命令行启动i.进入reids的安装目录ii.Redis-server.exe redis.windows.conf
2)save命令 3)bgsave命令
其它配置(了解)stop-writes-on-bgsave-error yes 后台备份进程出错时,主进程停不停止写入?rdbcompression yes 导出的rdb文件是否压缩Rdbchecksum yes 导入rbd恢复时数据时,要不要检验rdb的完整性dbfilename dump.rdb 生成的rdb文件名dir http://www.nhpp.cn/news/ rdb文件的放置路径save “” 在那三个save下面加save “”表示禁用rdb
AOF是AppendOnly File的缩写，是Redis系统提供了一种记录Redis操作的持久化方案，在AOF生成的文件中，将真实记录发生在Redis上的操作，从而达到在Redis服务器重启或者当机之后，继续恢复之前数据状态的机制。1)打开AOFredis.conf中的appendonly yes就可以打开AOF功能appendfsync no:当设置appendfsync为no的时候，Redis不会主动调用fsync去将AOF日志内容同步到磁盘，所以这一切就完全依赖于操作系统的调试了。对大多数Linux操作系统，是每30秒进行一次fsync，将缓冲区中的数据写到磁盘上。appendfsync everysec当设置appendfsync为everysec的时候，Redis会默认每隔一秒进行一次fsync调用，将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略，再等一秒钟。也就是在两秒后再进行fsync，这一次的fsync就不管会执行多 长时间都会进行。这时候由于在fsync时文件描述符会被阻塞，所以当前的写操作就会阻塞。结论就是，在绝大多数情况下，Redis会每隔一秒进行一 次fsync。在最坏的情况下，两秒钟会进行一次fsync操作。这一操作在大多数数据库系统中被称为group commit，就是组合多次写操作的数据，一次性将日志写到磁盘。appendfsync always设置appendfsync为always时，每一次写操作都会调用一次fsync，这时数据是最安全的，当然，由于每次都会执行fsync，所以其性能也会受到影响2)AOF重写因为 AOF 持久化是通过保存被执行的写命令来记录数据库状态的，那么就会涉及到很多无用的命令，比如：set a bset a cset a d 其实就最后一条有意义Redis会fork一个进程来读取现在redis生成的AOF文件，然后在内存中去除冗余命令，在此过程中不会影响原来AOF文件的继续写入，如果有新的命令，会缓存在重写缓冲中，当重写完全结束后会替换掉原来的AOF文件重写触发条件:1.手动命令BGREWRITEAOF配置自动调用
1.宕机后，会优先加载AOF文件2.RDB保存的数据，AOF保存的命令，RDB文件比AOF小3.恢复速度RDB小，更快4.RDB一次写入的数据较多，时间间隔会比AOF长，出现宕机丢失的数据会更多
各有优劣，如果能综合就好了，所幸的是在redis4.0后，通过下面配置aof-use-rdb-preamble就可以开启两者混合持久化，取长补短
解决方案：** 先更新数据库，再删缓存，同时，利用消息队列，防止删缓存失败导致的脏数据**。步骤如下：
(1)更新数据库数据(2)数据库会将操作信息写入binlog日志当中(3)订阅程序提取出所需要的数据以及key(4)另起一段非业务代码，获得该信息(5)尝试删除缓存操作，发现删除失败(6)将这些信息发送至消息队列(7)重新从消息队列中获得该数据，重试操作。
备注说明：上述的订阅binlog程序在mysql中有现成的中间件叫canal，可以完成订阅binlog日志的功能。至于oracle中，博主目前不知道有没有现成中间件可以使用。另外，重试机制，博主是采用的是消息队列的方式。如果对一致性要求不是很高，直接在程序中另起一个线程，每隔一段时间去重试即可，这些大家可以灵活自由发挥，只是提供一个思路。
可参考：https://blog.csdn.net/hjm4702192/article/details/80518922
缓存雪崩我们可以简单的理解为：由于原有缓存失效，新缓存未到期间(例如：我们设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。
解决办法：1、并发量较小时，在从数据库获取数据的时候加锁排队2、高并发时，给每一个缓存数据增加相应的缓存标记，记录缓存的是否失效，如果缓存标记失效，则更新数据缓存。3.由于redis过期时间设置得比较统一，导致缓存大面积过期这个就对缓存失效时间进行考虑，比如多少秒加个随机数等，避免大面积失效就可以了
redis在项目中是作为缓存使用，核心目的降低后台压力，增加响应速度。更极端的说在项目中设计redis的的初衷就是用来抗并发压力的，
举例说明比如:现在项目有100万并发量的可能，那么从成本考虑，会让mysql承担5万并发量，redis来承担剩下的95万并发。大家结合之前练习中想象一下缓存步骤：1.查询数据先从缓存中获取，获取为null；2.进入mysql查询，然后再缓存起来假如第二步在mysql中也没查询到呢，也就是查询到为null值，那么缓存的就是null值，下次再来查询依然得去数据库查询，如果超过5万个请求都是这样的情况，那么凉了，直接击垮mysql服务器，或者响应效率低，用户的查询请求直接打到mysql服务器。
** 解决方案：**
一、如果一个查询返回的数据为空(不管是数据不存在，还是系统故障)，我们仍然把这个空结果(value值使用自定义默认值代替)进行缓存，但它的过期时间会很短，最长不超过五分钟。通过这个直接设置的默认值存放到缓存，这样第二次到缓存中获取就有值了，而不会继续访问数据库，这种办法最简单粗暴！
二、降级：当系统承受不住外界的压力,可以通过限流的方式，保证核心业务的运行当系统承受不住外界的压力,可以通过关闭非核心服务的方式，保证核心业务的运行
三、布隆过滤器将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。
缓存预热就是系统上线后，提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据！
缓存预热解决方案：(1)直接写个缓存刷新页面，上线时手工操作下；
(2)数据量不大，可以在项目启动的时候自动进行加载；
(3)定时刷新缓存；
首先布隆过滤器是一种数据结构，类似于set、hash表等-->是完成在海量数据来判断某个值一定不存在，或者判断很大可能存在
安装使用插件在github上面有现成的，所以我们需要在linux先安装git，按命令做就行了，不需要记yum -y install gituseradd -m -d /home/git -s /usr/bin/git-shell gitmkdir -p /data/gitcd /data/gitgit init --bare project1.gitchown git.git project1.git –Rcd /home/gitmkdir .sshchmod 700 .sshtouch .ssh/authorized_keyschmod 600 .ssh/authorized_keyschown git.git .ssh –R
安装bloom filter:cd /usr/localgit clone git://github.com/RedisLabsModules/rebloomcd rebloommake然后再redis的redis.conf配置文件中添加loadmodule /usr/local/rebloom/rebloom.so
keys 正则表达式：会返回所有匹配的key但是数据量过大的情况下会造成服务卡顿、阻塞服务器，海量数据不能使用可以用scan命令来代替keys*命令: SCAN cursor [MATCH pattern] [COUNT count]
当游标数据返回0，则表示遍历结束
与mysql相同，redis也提供了主从的功能，更加非常简单。Mysql的一主多从不能达到主高可用，只能提高并发，高可用需要mysql集群，redis的主从通过哨兵机制可以达到高可用
高并发：单位时间类，可以接收的请求数量高可用：mysql服务器的质量
场景：
1.在生产中难以避免单台redis出现故障，保证高可用可以用主从2.单台redis官网说能抗住10w并发量，超过了10w，高并发，就可以主从3.QPS瓶颈Qps：每秒处理的查询次数TPS：每秒处理的事务数(从请求到获得数据，称为一个完整事务过程)大家记住第一个单词，Q就是query缩写，T就是transaction缩写
3.注意1.一个master可以有多个slave2.一个slave只能有一个master3.数据流向是单向的，master到slave
前面学习了redis的读写分离，主从复制， 读写分离，利用从节点来减轻主节点的压力。但是如果主节点因为一些原因，发生故障宕机，那么写操作就无法完成。这个时候可以考虑集群方式来保证主节点的高可用，也可以在很多从节点中选择一个来作为新的主节点(故障迁移)。redis就提供了哨兵机制(sentinel)，来自动完成故障迁移，就是就是当主节点发生故障时，自动在从节点中选取一个作为主节点。
哨兵最好为奇数个：找到哨兵的配置文件(注意：哨兵跟redis是独立的，这儿只是在一台机器上配置)
1.每10秒每个sentinel对master与slave节点执行info，通过info能发现master的slave节点确定主从关系
2.每2秒各个sentinel会交换对节点的看法以及sentinel自身的信息原理:在master中会有一个频道 _sentinel:hello每个sentinel都订阅了该频道，就会通过该频道发送对节点的看法以及sentinel自身的信息，也能搜到其他sentinel发送的信息
3.每一秒sentinel对其他sentinel以及主从中所有节点发送ping，心跳检测，作为正常或者宕机的判断依据
主观下线：第二句配置的30000，表示sentinel在每秒的定时任务发送ping以后，30秒都没有回复，那么sentinel就会认为该节点失败，这是它一个人的看法，所以叫主观下线
客观下线：在第一行配置的2，表示所有sentinel中有2个都认为该redis节点失败(主观下线)，那么就认为真的失败了，就可以继续后续操作了
原理就是发送sentinel is-master-down-by-addr(地址)到_sentinel:hello，其它订阅的就可以获得信息
目的:只需要一个sentinel完成故障转移就够了上面的sentinel is-master-down-by-addr(地址)还有一个作用，就是sentinel节点告诉其它sentinel我要当领导。
规则:1.每个做主观下线的sentinel发送命令到其它sentinel告知master节点信息，以及要求其它sentinel设置发送该命令的sentinel成为领导2.每个sentinel只会统一收到第一个命令的发送者成为领导，投一票3.如果有一个sentinel发现自己的票数超过sentinel集合半数并且超过了之前配置中的2，那么就会成为领导4.该算法可能会有多个sentinel被选为领导，这个时候就会过一段时间从新选举
1.sentinel会在slave中选取一个来做为新的master选择依据:(了解)1.会查看slave中是否配置的优先级slave-priority，选择优先级高的(运维人员可以根据机器的配置高低去配置优先级)2. 如果都没有配置那么就是相同的，会选择偏移量最大的slave节点(了解即可)3.选择runid最小的(就是redis运行的id，相当于一个标识符)
2.选择了新的master，sentinel就会对剩下的slave发送命令，去复制新的master，复制规则，如图，下面就是表示一个一个来3.sentinel还会继续监控挂掉的master，如果master复活了，会命令master去从属于新选举的master
因为CPU不是Redis的瓶颈。Redis的瓶颈最有可能是机器内存或者网络带宽。(以上主要来自官方FAQ)既然单线程容易实现，而且CPU不会成为瓶颈，那就顺理成章地采用单线程的方案了。
在使用mysql的时候，可以手动新建数据库，来分类存储不同的业务数据，同样的redis默认就有0-15的16个库，默认使用0号库切库操作:select 0……15
dbsize：查看当前库中多少个key
flushall：清空当前库
也可以在配置文件配置个数：databases 16
先看mysql的执行流程：
1.有sql语句请求查询的时候，首先到查询缓存cache中查找，如果有立刻返回，这是速度最快查询，因为查询缓存在内存中，
2.如果缓存没有，进入查询解析器，生成解析树(了解即可)
3.查询优化器(mysql对一些sql语句进行优化，比如我们之前的join驱动表)
4.生成执行计划(explain)
5.进入存储引擎，索引是存储引擎决定的，如果索引能返回数据就不需要去表里面查询了。
6.没有找到，进入表中全表扫描
结论：
通过mysql的执行流程可以看出，如果在内存中存在数据返回，是效率最高、速度最快的。因为mysql的核心是注重于数据的持久安全，因此能够基于内存的数据库(nosql)应运而生，我们学习其中最流行的redis。
1.在之前介绍redis时候，redis既能基于内存，也能持久化到磁盘，但是主打内存效率的redis，持久化功能远远比不上mysql。而大量数据都放入内存，需要很高的硬件支持，不太现实
2.Mysql有完善的事务机制，能满足项目需求，redis虽然也有事务，但是很多场景无法满足
3.Redis虽然有5种数据结构，但是过于复杂的数据关系，还是无法清晰表现，mysql通过行和列、表与表的关系，让数据与数据直接之间的关系一目了然。
所以在使用中都是redis+mysql。redis主管数据缓存到内存，用于提高查询效率，mysql主管数据存储到磁盘，用于保存重要不能丢失的数据
利用setex的原子操作(在分布式环境中，redis是共用的，所以可以使用setex的成功作为获得锁的标志)
在大数据时代，频繁地在应用和数据库之间进行读写操作在性能、速度、体验上已经远远不能满足用户、客户、开发人员的要求了，于是一种基于内存操作的数据库便应运而生。Redis 是一种基于内存的数据库，如何轻松理解并熟练操作 Redis 是一个有责任心、进取心程序员应该了解和掌握的技术。Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行各种刁难。在将面试问的Redis高级题目进行详细的梳理，并结合了解析在这免费分享给大家！
一、Redis基础概念相关问题
二、Redis 数据结构及指令相关问题
三、Redis 高并发处理策略相关问题
四、Redis 集群相关问题
五、Redis 缓存管理及持久化机制相关问题
六、Redis 应用场景设计相关问题
1. 什么是 Redis?
Redis 全称为：Remote Dictionary Server(远程数据服务)，是一个基于内存且支持持久化的高性能 key-value 数据库。具备以下几个基本特征：
1. 多数据类型
2. 持久化机制
3. 主从同步
2. Redis 的特点有哪些？
1. Redis 本质上是一个 key-value 类型的数据库
2. 整个数据库都是在内存中进行操作，可定期刷新到磁盘进行持久化存储
3. 由于是在内存操作，读写能力非常好，每秒可以处理 10 万次读写操作
4. Redis 支持多种数据结构，提供了丰富的数据类型选择
5. Redis 同时支持数据备份，主从配置
6. Redis 的所有操作都是原子性的
3. Memcache 与 Redis 的区别都有哪些?
1. 存储方式不同：Memcache 把数据全部存在内存之中，断电后会丢失。Redis 所有数据加载在内存，但也会持久化到磁盘，保证数据的持久性。
2. 支持数据类型不同：Memcache 对数据类型支持相对简单，只支持 key-value 结构。Redis 有复杂的数据类型。
3. 底层模型不同：底层实现方式以及客户端通信应用协议不一样。 Redis 直接自己构建了 VM 机制。
4. 运行环境不同：Redis 目前官方只支持 Linux 上运行。
4. Redis 相比 Memcached 有哪些优势？
1. Memcached 所有的值均是简单的字符串，Redis 作为其替代者，支持更为丰富的数据类型
2. Redis 的速度比 Memcached 快很多
3. Redis 可以持久化其数据