一文聊聊Redis中的过期操作和过期策略

本篇文章带大家了解一下redis中的过期操作和过期策略,介绍一下redis中设置过期时间的四种方法、持久化中的过期键、过期键执行流程等,希望对大家有所帮助!

一文聊聊Redis中的过期操作和过期策略

如果在 Redis 中没有过期这个概念,这就意味着我们所有写入的键只要不主动删除就会一直保存在 Redis 中,而 Redis 又是一个基于内存的数据库,内存空间是非常有限的。【相关推荐:Redis视频教程

过期操作

过期设置

Redis 中设置过期时间主要通过以下四种方式:

  • expire key seconds:设置 key 在 n 秒后过期。
  • pexpire key milliseconds:设置 key 在 n 毫秒后过期。
  • expireat key timestamp:设置 key 在某个时间戳(精确到秒)之后过期。
  • pexpireat key millisecondsTimestamp:设置 key 在某个时间戳(精确到毫秒)之后过期。

可用命令 ttl key (以秒为单位)或 pttl key (以毫秒为单位)来查看 key 还有多久过期。

Redis 可以使用 time 命令查询当前时间的时间戳(精确到秒)。

字符串中几个直接操作过期时间的方法,如下列表:

  • set key value ex seconds:设置键值对的同时指定过期时间(精确到秒)。
  • set key value px milliseconds:设置键值对的同时指定过期时间(精确到毫秒)。
  • setex key seconds valule:设置键值对的同时指定过期时间(精确到秒)。

移除过期时间

使用命令: persist key 可以移除键值的过期时间。-1 表示永不过期。

Java 实现过期操作

使用 Jedis 来实现对 Redis 的操作,代码:

public class TTLTest {     public static void main(String[] args) throws InterruptedException {         // 创建 Redis 连接         Jedis jedis = new Jedis("xxx.xxx.xxx.xxx", 6379);         // 设置 Redis 密码(如果没有密码,此行可省略)         jedis.auth("xxx");         // 存储键值对(默认情况下永不过期)         jedis.set("k", "v");         // 查询 TTL(过期时间)         Long ttl = jedis.ttl("k");         // 打印过期日志         // 过期时间:-1         System.out.println("过期时间:" + ttl);         // 设置 100s 后过期         jedis.expire("k", 100);         // 等待 1s 后执行         Thread.sleep(1000);         // 打印过期日志         // 执行 expire 后的 TTL=99         System.out.println("执行 expire 后的 TTL=" + jedis.ttl("k"));     } }

更多过期操作方法,如下列表:

  • pexpire(String key, long milliseconds):设置 n 毫秒后过期。
  • expireAt(String key, long unixTime):设置某个时间戳后过期(精确到秒)。
  • pexpireAt(String key, long millisecondsTimestamp):设置某个时间戳后过期(精确到毫秒)。
  • persist(String key):移除过期时间。
public class TTLTest {     public static void main(String[] args) throws InterruptedException {         // 创建 Redis 连接         Jedis jedis = new Jedis("xxx.xxx.xxx.xxx", 6379);         // 设置 Redis 密码(如果没有密码,此行可省略)         jedis.auth("xxx");         // 存储键值对(默认情况下永不过期)         jedis.set("k", "v");         // 查询 TTL(过期时间)         Long ttl = jedis.ttl("k");         // 打印过期日志         System.out.println("过期时间:" + ttl);         // 设置 100s 后过期         jedis.expire("k", 100);         // 等待 1s 后执行         Thread.sleep(1000);         // 打印过期日志         System.out.println("执行 expire 后的 TTL=" + jedis.ttl("k"));         // 设置 n 毫秒后过期         jedis.pexpire("k", 100000);         // 设置某个时间戳后过期(精确到秒)         jedis.expireAt("k", 1573468990);         // 设置某个时间戳后过期(精确到毫秒)         jedis.pexpireAt("k", 1573468990000L);         // 移除过期时间         jedis.persist("k");     } }

持久化中的过期键

RDB 中的过期键

RDB 文件分为两个阶段,RDB 文件生成阶段和加载阶段。

1. RDB 文件生成

RDB 加载分为以下两种情况:

  • 如果 Redis 是服务器运行模式的话,在载入 RDB 文件时,程序会对文件中保存的键进行检查,过期键不会被载入到数据库中。所以过期键不会对载入 RDB 文件的主服务器造成影响;
  • 如果 Redis 是服务器运行模式的话,在载入 RDB 文件时,不论键是否过期都会被载入到数据库中。但由于主从服务器在进行数据同步时,从服务器的数据会被清空。所以一般来说,过期键对载入 RDB 文件的从服务器也不会造成影响。

RDB 文件加载的源码可以在 rdb.c 文件的 rdbLoad() 函数中找到,源码所示:

/* Check if the key already expired. This function is used when loading * an RDB file from disk, either at startup, or when an RDB was * received from the master. In the latter case, the master is * responsible for key expiry. If we would expire keys here, the * snapshot taken by the master may not be reflected on the slave.  * * 如果服务器为主节点的话, * 那么在键已经过期的时候,不再将它们关联到数据库中去 */ if (server.masterhost == NULL &amp;&amp; expiretime != -1 &amp;&amp; expiretime <h4 data-id="heading-6"><strong>AOF 中的过期键</strong></h4><p><strong>1. AOF 文件写入</strong></p><p>当 Redis 以 AOF 模式持久化时,如果数据库某个过期键还没被删除,那么 AOF 文件会保留此过期键,当此过期键被删除后,Redis 会向 AOF 文件追加一条 DEL 命令来显式地删除该键值。</p><p><strong>2. AOF 重写</strong></p><p>执行 AOF 重写时,会对 Redis 中的键值对进行检查已过期的键不会被保存到重写后的 AOF 文件中,因此不会对 AOF 重写造成任何影响。</p><p><strong><span style="font-size: 18px;">主从库的过期键</span></strong></p><p>当 Redis 运行在主从模式下时,<strong>从库不会进行过期扫描,从库对过期的处理是被动的</strong>。也就是即使从库中的 key 过期了,如果有客户端访问从库时,依然可以得到 key 对应的值,像未过期的键值对一样返回。</p><p><strong>从库的过期键处理依靠主服务器控制</strong>,主库在 key 到期时,会在 AOF 文件里增加一条 del 指令,同步到所有的从库,从库通过执行这条 del 指令来删除过期的 key。</p><h2 data-id="heading-8">过期策略</h2><blockquote>在 Redis 中我们可以给一些元素设置过期时间,那当它过期之后 Redis 是如何处理这些过期键呢?</blockquote><p><strong><span style="font-size: 18px;">过期键执行流程</span></strong></p><p>Redis 之所以能知道那些键值过期,是因为在 Redis 中维护了一个字典,存储了所有设置了过期时间的键值,我们称之为<strong>过期字典</strong>。</p><p><img src="https://img.php.cn/upload/image/392/844/256/1644372296414098.png" title="1644372296414098.png" alt="1.png"></p><p><strong><span   style="max-width:90%">过期键源码分析</span></strong></p><p>过期键存储在 redisDb 结构中,源代码在 src/server.h 文件中(基于 Redis 5):</p><pre class="brush:js;toolbar:false;">/* Redis database representation. There are multiple databases identified  * by integers from 0 (the default database) up to the max configured  * database. The database number is the 'id' field in the structure. */ typedef struct redisDb {     dict *dict;                 /* 数据库键空间,存放着所有的键值对 */     dict *expires;              /* 键的过期时间 */     dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/     dict *ready_keys;           /* Blocked keys that received a PUSH */     dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */     int id;                     /* Database ID */     long long avg_ttl;          /* Average TTL, just for stats */     list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */ } redisDb;

过期键数据结构如下图所示:

一文聊聊Redis中的过期操作和过期策略

过期策略

Redis 会删除已过期的键值,以此来减少 Redis 的空间占用,但因为 Redis 本身是单线的,如果因为删除操作而影响主业务的执行就得不偿失了,为此 Redis 需要制定多个(过期)删除策略来保证正常执行的性能。

定时删除

在设置键值过期时间时,创建一个定时事件,当过期时间到达时,由事件处理器自动执行键的删除操作

  • 优点:保证内存可以被尽快地释放。
  • 缺点:在 Redis 高负载的情况下或有大量过期键需要同时处理时,会造成 Redis 服务器卡顿,影响主业务执行。

惰性删除

不主动删除过期键,每次从数据库获取键值时判断是否过期,如果过期则删除键值,并返回 null

  • 优点:因为每次访问时,才会判断过期键,所以此策略只会使用很少的系统资源。
  • 缺点:系统占用空间删除不及时,导致空间利用率降低,造成了一定的空间浪费。

源码解析

惰性删除的源码位于 src/db.c 文件的 expireIfNeeded 方法中,源码如下:

int expireIfNeeded(redisDb *db, robj *key) {     // 判断键是否过期     if (!keyIsExpired(db,key)) return 0;     if (server.masterhost != NULL) return 1;     /* 删除过期键 */     // 增加过期键个数     server.stat_expiredkeys++;     // 传播键过期的消息     propagateExpire(db,key,server.lazyfree_lazy_expire);     notifyKeyspaceEvent(NOTIFY_EXPIRED,         "expired",key,db-&gt;id);     // server.lazyfree_lazy_expire 为 1 表示异步删除(懒空间释放),反之同步删除     return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :                                          dbSyncDelete(db,key); } // 判断键是否过期 int keyIsExpired(redisDb *db, robj *key) {     mstime_t when = getExpire(db,key);     if (when  when; } // 获取键的过期时间 long long getExpire(redisDb *db, robj *key) {     dictEntry *de;     /* No expire? return ASAP */     if (dictSize(db-&gt;expires) == 0 ||        (de = dictFind(db-&gt;expires,key-&gt;ptr)) == NULL) return -1;     /* The entry was found in the expire dict, this means it should also      * be present in the main dict (safety check). */     serverAssertWithInfo(NULL,key,dictFind(db-&gt;dict,key-&gt;ptr) != NULL);     return dictGetSignedIntegerVal(de); }

所有对数据库的读写命令在执行之前,都会调用 expireIfNeeded 方法判断键值是否过期,过期则会从数据库中删除,反之则不做任何处理。

一文聊聊Redis中的过期操作和过期策略

定期删除

每隔一段时间检查一次数据库,随机删除一些过期键

Redis 默认每秒进行 10 次过期扫描,此配置可通过 Redis 的配置文件 redis.conf 进行配置,配置键为 hz 它的默认值是 hz 10。

注意:Redis 每次扫描并不是遍历过期字典中的所有键,而是采用随机抽取判断并删除过期键的形式执行的。

定期删除流程

  • 从过期字典中随机取出 20 个键。

  • 删除这 20 个键中过期的键。

  • 如果过期 key 的比例超过 25%,重复步骤 1。

同时为了保证过期扫描不会出现循环过度,导致线程卡死现象,算法还增加了扫描时间的上限,默认不会超过 25ms。

一文聊聊Redis中的过期操作和过期策略

  • 优点:通过限制删除操作的时长和频率,来减少删除操作对 Redis 主业务的影响,同时也能删除一部分过期的数据减少了过期键对空间的无效占用。
  • 缺点:内存清理方面没有定时删除效果好,同时没有惰性删除使用的系统资源少。

源码解析

定期删除的核心源码在 src/expire.c 文件下的 activeExpireCycle 方法中,源码如下:

void activeExpireCycle(int type) {     static unsigned int current_db = 0; /* 上次定期删除遍历到的数据库ID */     static int timelimit_exit = 0;      /* Time limit hit in previous call? */     static long long last_fast_cycle = 0; /* 上一次执行快速定期删除的时间点 */     int j, iteration = 0;     int dbs_per_call = CRON_DBS_PER_CALL; // 每次定期删除,遍历的数据库的数量     long long start = ustime(), timelimit, elapsed;     if (clientsArePaused()) return;     if (type == ACTIVE_EXPIRE_CYCLE_FAST) {         if (!timelimit_exit) return;         // ACTIVE_EXPIRE_CYCLE_FAST_DURATION 是快速定期删除的执行时长         if (start  server.dbnum || timelimit_exit)         dbs_per_call = server.dbnum;     // 慢速定期删除的执行时长     timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;     timelimit_exit = 0;     if (timelimit  ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)                 num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;             // 从数据库中随机选取 num 个键进行检查             while (num--) {                 dictEntry *de;                 long long ttl;                 if ((de = dictGetRandomKey(db-&gt;expires)) == NULL) break;                 ttl = dictGetSignedInteger                 // 过期检查,并对过期键进行删除                 if (activeExpireCycleTryExpire(db,de,now)) expired++;                 if (ttl &gt; 0) {                     /* We want the average TTL of keys yet not expired. */                     ttl_sum += ttl;                     ttl_samples++;                 }                 total_sampled++;             }             total_expired += expired;             if (ttl_samples) {                 long long avg_ttl = ttl_sum/ttl_samples;                 if (db-&gt;avg_ttl == 0) db-&gt;avg_ttl = avg_ttl;                 db-&gt;avg_ttl = (db-&gt;avg_ttl/50)*49 + (avg_ttl/50);             }             if ((iteration &amp; 0xf) == 0) { /* check once every 16 iterations. */                 elapsed = ustime()-start;                 if (elapsed &gt; timelimit) {                     timelimit_exit = 1;                     server.stat_expired_time_cap_reached_count++;                     break;                 }             }             /* 每次检查只删除 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4 个过期键 */         } while (expired &gt; ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);     }     // ....... }

activeExpireCycle 方法在规定的时间,分多次遍历各个数据库,从过期字典中随机检查一部分过期键的过期时间,删除其中的过期键。

这个函数有两种执行模式,一个是快速模式一个是慢速模式,体现是代码中的 timelimit 变量,这个变量是用来约束此函数的运行时间的。快速模式下 timelimit 的值是固定的,等于预定义常量 ACTIVE_EXPIRE_CYCLE_FAST_DURATION,慢速模式下,这个变量的值是通过 1000000 * ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100 计算的。

Redis 使用的过期策略

Redis 使用的是惰性删除加定期删除的过期策略

更多编程相关知识,请访问:Redis视频教程!!

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享