年底了,来来你发年终奖了么?快速是不是很不爽?不管是被动毕业还是主动毕业,生活还得继续是来来不是? 作为程序员,那就离不开Redis,快速谁让不争气的来来磁盘还是那么慢呢?要过了面试这道坎,Redis必须掌握好。快速除了会用,来来还得了解它背后的快速原理。 
为啥?来来因为大家现在都在养蛊。人生在世,快速诸多无奈。来来逆水行舟,快速不进则退。来来 如果你读过Redis相关的快速书籍,本文就帮你快速的来来撸一遍。没读过也不要紧,缺啥补啥。 redis能力: 1 0W/s QPS (redis-benchmark)1w+ 长链接 (netstat / ss)最复杂的Zset 6kw数据 写入1k/s 读取5k/s 平均耗时5ms持久化 (rdb)1. 基本概览学习一门新语言,重要的是掌握它的基本数据结构,香港云服务器以及这些数据结构的API。redis的这些数据结构,就类似一门语言。 Redis数据结构常用5种,一共10种。面试时一般回答5种即可,但其他5种是加分项。 String 字符串Hash 字典List 列表Set 集合ZSet 有序集合。性能参考:《redis的zset有多牛?请把耳朵递过来》Pubsub 发布订阅 (不推荐使用,坑很多)Bitmap 位图GEO 地理位置 (有限使用,附近的人)Stream 流(5.0) (与Kafka非常像)Hyperloglog 基数统计Redis的协议Redis是文本协议 RESP 以CRLF结尾(\r\n)RESP3 (redis6启用,增加客户端缓存)Redis底层数据结构数据量较小和大数据量的时候,往往不同,关注大数据量的主要结构。 String-sdsHash-(ziplist , dict)Set-(intset,dict)List-(ziplist,quicklist)ZSet-(ziplist+skiptable 跳表)Stream-(radix-tree 基数数)跳表的关注度比较大,在Java中,可以参考类似ConcurrentSkipListMap实现。 另:Java中有序Set叫做TreeSet,但是用红黑树实现的,注意区别。 Redis持久化方式生产环境,WordPress模板一般仅采用RDB模式。 RDBAOF (类似Binglog row模式)混合模式:RDB+AOFO(n)指令keys *hgetallsmemberssunion...建议在集合大小不确定的时候,使用scan hscan sscan zscan 替代。另外,像keys这种危险命令,最好使用RENAME指令给屏蔽掉。 性能优化unlink删除key -> 异步避免阻塞pipeline批量传输,减少网络RTT ->减少频繁网络交互多值指令(mset,hmset)-> 减少频繁网络交互关掉aof -> 避免io_wait扩展方式luaredis-modulemodule模式知道的人比较少,属于比较底层的开发。 2. 问题排查monitor指令 keyspace-events 订阅某些Key的事件。比如,删除某条数据的事件,底层实现基于pubsubslow log 顾名思义,满查询,非常有用--bigkeys启动参数 Redis大Key健康检查。使用的是scan的方式执行, 不用担心阻塞memory usage key、memory stats 指令info指令,关注instantaneous_ops_per_sec、used_memory_human、connected_clientsredis-rdb-tools rdb线下分析3. 淘汰策略如果你应聘的是redis dba,这道题答不出来,IT技术网直接淘汰。 被动删除 (只有被get到的时候,删除并返回NIL 属于惰性删除)主动删除 (100ms运行一次,随机删除持续25ms,类似Cron)->内存使用超过maxmemory,触发主动清理策略针对于第三种情况,有8种策略。注意,redis已经有LFU了。 默认volatile-lru 从设置过期数据集里查找最近最少使用volatile-ttl 从设置过期的数据集里面优先删除剩余时间短的Keyvolatile-random 从设置过期的数据集里面任意选择数据淘汰volatile-lfu 从过期的数据集里删除 最近不常使用 的数据淘汰allkeys-lruallkeys-lfuallkeys-random 数据被使用频次最少的,优先被淘汰no-enviction如果不设置maxmemory,Redis将一直使用内存,直到触发操作系统的OOM-KILLER。 4. 集群模式单机单机多实例主从(1+n)主从(1+n)& 哨兵(3或者基数个)Redis Cluster (推荐,但使用有限制)。参考:《与亲生的Redis Cluster,来一次亲密接触》互联网建议使用Redis Cluster,外包、项目随意。 具体搭建过程,请参考:《好慌,Redis这么多集群方案,要用哪种?》 大规模 twemproxycodis基于Netty Redis协议自研管理平台:CacheCloud5. Redis常见问题Redis使用场景缓存 (缓存一致性 缓存穿透 缓存击穿 缓存雪崩)分布式锁 (redlock)分布式限流SessionAPI举例: zset 排行榜,排序bitmap 用户签到,在线状态geo 地理位置,附近的人stream 类似kafka的消息流hyperloglog 每日访问ip数统计缓存一致性为什么有一致性问题? 写入。缓存和数据库是两个不同的组件,只要涉及到双写,就存在只有一个写成功的可能性,造成数据不一致。更新。更新的情况类似,需要更新两个不同的组件。读取。读取要保证从缓存中读到的信息是最新的,是和数据库中的是一致的。删除。当删除数据库记录的时候,如何把缓存中的数据也删掉?建议使用:Cache Aside Pattern 读请求: 先读cache,再读db变更操作: 先操作数据库,再 淘汰 缓存涉及到复杂的事务和回滚操作,可以把淘汰放在finally里。 问题:缓存淘汰失败!(概率很低 ,定时补偿) 缓存击穿影响,轻微。 高流量下 大量请求读取一个失效的Key -> Redis Miss -> 穿透到DB 解决方式:采用分布式锁,只有拿到锁的第一个线程去请求数据库,然后插入缓存 缓存穿透影响,一般。 访问一个不存在的Key-> Redis Miss -> 穿透到DB 解决方式: 给相应的Key设置一个Null值,放在缓存中BloomFilter预先判断缓存雪崩影响:严重。 大量Key同时失效 | 2.Redis当机 -> Redis Miss -> 压力打到DB 解决方式: 给失效时间加上相对的随机数保证Redis的高可用分布式锁redis的分布式锁,并不是那么简单。建议使用redisson的redlock。最基础的指令是setnx。 setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]分布式锁 关键点: 原子性锁超时死锁读写锁故障转移最简单的Redis分布式锁代码(不严谨)。 java端代码模拟lock和unlock。 public String lock(String key, int timeOutSecond){ for (; ; ) { String stamp = String.valueOf(System.nanoTime()); boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS); if (exist) { return stamp; } } } public void unlock(String key, String stamp){ redisTemplate.execute(script, Arrays.asList(key), stamp); }lua脚本unlock。 local stamp = ARGV[1] local key = KEYS[1] local current = redis.call("GET",key) if stamp == current then redis.call("DEL",key) return "OK" end6. Redis使用常用Java客户端lettuce SpringBoot默认,基于Netty的事件驱动模型jedis 老牌的客户端,使用commons-pool来完成线程池开发redisson 非常丰富的分布式数据结构,包括锁,分布式Map等。大量使用Lua脚本️详细分析:Redis都要老了,你还在用什么古董客户端? 使用规范根据公司情况自定义裁剪,没有万能的规范。更多: 这可能是最中肯的Redis规范了 使用连接池,不要频繁创建关闭客户端连接消息大小限制 消息体在10kb以下,可以使用snappy、msgpack等压缩避免大key和hot key不使用O(n)指令不使用不带范围的Zrange指令不使用database(容易覆盖数据)不使用高级数据结构(使用基本的5种)不使用事务操作禁止长时间monitorspringboot cache redis使用时更要注意规范性cache层抽象层次太高,如需要操作底层的数据结构,直接使用redisTemplateRedis是多线程?要看哪个阶段。数据操作阶段,一直是单线程的,哪怕是redis6。 这篇文章分析了这个过程:和 杠精 聊Redis多线程 :( End祝好运!如有帮助,请不吝赐赞。 作者简介:小姐姐味道 |