欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Redis6-过期淘汰、经典数据类型的实现

时间:2023-07-10
一、redis的缓存过期淘汰策略

redis配置文件中有一个maxmemory,配置内存大小。默认是64位无限制,32位最大3GB。官网推荐配置是物理内存的四分之三。

查看redis内存使用情况,info memory:

1、如果超过了最大内存怎么办 

当超过最大内存之后,设置的时候,会提示OOM,所以会出现内存淘汰策略(LRU)

redis的key当过期了之后,不一定会立刻删除,需要根据不同清情况分析。

redis的内存删除方式:

立刻删除:能够保证数据新鲜、内存空间释放,但是性能消耗很大惰性删除:过期后方位第一次删除,对内存不友好,但是性能消耗低定期删除:折中上面两个方式,定期清理过去数据,但是删除哪个数据、周期是多少需要确定

过期淘汰算法:

LRU(最近最少使用):优先淘汰最近未被使用的数据LFU(使用频率最少):优先淘汰最近使用最少的数据

redis6的过期淘汰策略(8种):

名称策略的解释noeviction默认策略,不淘汰数据allKeys-lru所有key中,使用LRU算法(推荐)allKeys-lfu所有key中,使用LFU算法allKeys-random所有key中,使用随机淘汰volatile-ttl设置过期key中,挑选出最早过期的key删除volatile-lru设置过期key中,使用LRU算法volatile-lfu设置过期key中,使用LFU算法volatile-random设置过期key中,使用随机淘汰二、redis经典五种属类型及底层实现

redis可以理解为都是所有的都是字典,key是String、value是redisObject。使用type命令可以看到bitmap类型是stirng、hyperloglog类型是string、GEO类型是zset。所以redis底层数据结构还是经典的五种类型。

RedisObject、五种数据类型、底层实现的关系:

在redis中,每个键值对都会对应一个dictEntry,存放了指向key、value、下一个dictEntry的指针,key是字符串但是使用redis自定义的SDS存放,而value存放在redisObject中。

redisObject的结构:

type:当前对象的数据类型encoding:当前对象底层存储的编码类型lru:采用LRU算法,记录对象最后访问的时间refcount:对象引用次数*ptr:指向真正底层数据结构的指针

2.1、String数据结构介绍

1、3大编码格式(为了精确的利用内存)

int:保存long型有符号整数,长度最多19位。embstr:redis封装的格式SDS(简单动态字符),超过long型&&长度小于44字节的字符串raw:redis封装的格式SDS(简单动态字符),保存长度大于44字符串

2、编码格式案例

3、SDS简单动态字符串简介

redis为什么不直接用c语言的字符串,而是自己建立了一套结构SDS,不满意效率。

c字符串获取长度,需要遍历char[],时间复杂度是o(N),SDS是o(1)内存重新分配问题,c字符串是char[]数组,扩容、缩容不方便c字符串遇到''就是结束,容易出现读取问题,二进制安全

SDS结构如下:

len:已用字节长度alloc:字符串最大字节长度flags:用来博鳌是SDS的类型,SDS8、SDS16、SDS32、SDS64buf[]:真正的字符串

4、源码分析

Redis在启动的时候,会建立1万个0~9999的redisObject变量作为共享对象,这就意味着set字符串键在0~10000的时候,不需要建立对象直接使用共享对象。

 

embstr和raw不同的地方在于,embstr是内存连续的,raw是重新申请了一块内存,所以embstr会减少内存碎片的产生。还有一点,对embstr进行append,则会转换成raw。

2.2、Hash数据结构介绍

hash-max-ziplist-entries:使用压缩表保存时,hash集合中最大元素个数

hash-max-ziplist-value:使用缩缩表保存时,hash集合中单个元素最大长度

通过上图可知,hash默认数据类型是压缩表,当集合个数太大或者元素长度太大的时候,才会使用hashtable进行保存。可以升级,无法降级。

综上所述,hash数据结构存在2种:ziplist、hashtbale(几乎等价java种的hashtable)

压缩表(ziplist):双向链表,但是不存储指针

是一种紧凑的编码格式,压缩了数据,减少内存空间,但是需要压缩、解压写入、读取。也就是读写率换取空间。内存利用率极高的原因是连续的内存。所以当数据比较小的时候,使用压缩表最合适。

header:

zlbytes:所占内存字节数,用于重新分配和计算zlendzltail:尾节点到起始地址有多少字节zllen :节点数量entry:节点

前一个节点长度:用这个字段和总长度,就能计算出每个节点的位置encodingentry-datazlend:0xff,用于标记压缩表的末端

优点:

普通列表存在2个指针,有些数据可能还么有指针大,所以优化掉了指针内存,通过长度推算位置列表内存一般不连续,遍历速度慢,ziplist把相关偏移量记录在节点中,可以跳到上一个或下一个节点列表长度不在遍历,时间复杂度是O(1)

HashTbale:OBJ_ENCODING_HT是哈希表机构或者称为字典结构

 

2.3、List数据结构介绍

在低版本(3.2之前)的Redis中,list采用底层的数据结构是ziplist+linkedlist,而高版本的Redis中list的底层数据结构是quicklist,而quicklist也用到了ziplist。

quicklist是ziplist和linkedlist的混合体,他将linkedlist按段切分,每一段使用ziplist来紧凑存储,多个ziplist使用双向指针串起来。

list-compress-depth:1表示quicklist两端各有一个节点不压缩,中间节点压缩list-max-ziplist-size:-1表示quicklist每个节点上的ziplist大小不能超过4K 

2.4、Set数据结构介绍

redis中用intset和hashset存储set,如果元素都是整型,就使用intset。否则使用hashset(数组+链表),其中key是元素,value是null。

2.5、ZSet数据结构介绍

Redis中使用ziplist和skiplist(跳表)来实现ZSet,当元素不满速上面的情况,就使用ziplist否则使用skiplist。

跳跃表(skiplist): 

由于普通的链表无法进行二分查找,因此借鉴数据库的索引思想,提取出链表中关键节点(索引),现在关键节点上查找,在进入下层链表查找。提取多层关键节点,就形成了skiplist。所以跳表=链表+多级索引(索引的索引),也就是给链表怎加索引,用空间换时间。

优化为,两两取首:

主要就是用多级索引能够快速查找,但是为什么是两两取首?既然决定了用空间,那么就让器粒度最低。

针对读多写少的情景,优点是查询块,缺点是浪费空间。 

2.6、小结

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。