如何高效存储和搜索海量键值对数据？

如何在高可搜索性下存储庞大键值对数据？

通常，海量键值对数据需要存储在表格化的关系型数据库中。但是，随着数据量的增加，搜索效率会急剧下降。本文介绍了一种表结构，可以有效地存储和搜索键值对数据。

表结构

主表：

• rel_id (int): 关系记录 ID
• obj_id (int): 对象 ID
• prop_id (int): 属性 ID
• val_type (int): 值类型

对象描述表：

• obj_id (int): 对象 ID
• obj_desc (string): 对象描述

属性描述表：

• prop_id (int): 属性 ID
• prop_desc (String): 属性描述

值类型表：

• rel_id (int): 关系记录 ID
• val_???? (对应类型的字段): 值

例如，值为 42 的长度属性存储为：

• 主表：1,1,1,2
• 属性描述表：1,”长度”
• 值是整数的表：1,42

搜索

通过在主表上创建索引，可以快速查找与给定对象 ID 和属性 ID 关联的键值对。可以通过连接值类型表检索特定类型的值。

优点

• 无限可扩展：可以使用多个值类型表来处理不同类型的值。
• 高搜索效率：索引允许快速查找数据。
• 可随时间变化：属性和值可以随着时间的推移而添加或删除。

缺点

• 单值存储：每个键值对只能存储单个值。
• 复杂性：需要多个表来存储数据。

对比维基数据

维基数据使用 json 来存储属性值，这可能会影响搜索效率。相比之下，本文介绍的表结构通过将属性和值存储在独立的表中，优化了搜索性能。