跳到正文
研踪PaperTrail
← 研踪 PaperTrail

软件学报:jos:7762 · 记录 #1

Lake-CRDT: 面向跨域多主湖仓的数据同步策略

来源日期 2026-11-18
来源记录日期 2026-11-18
雷达观测 2026-11-18 14:10
软件学报 ↗PDF ↗

摘要

跨域多主写入场景下, 湖仓系统需要在高时延、弱连接环境中实现多副本最终收敛, 同时保持与开放表格式事务语义兼容, 并抑制高频更新带来的小文件膨胀. 现有方案多分别侧重事务协调、变更流处理或存储层复制, 难以在不修改湖仓内核的前提下同时兼顾收敛、稳定判定与低代价写回. 为此, 提出面向跨域多主湖仓的数据同步策略Lake-CRDT. 该策略以支持Set-Add混合语义的操作型键值CRDT统一表示覆盖写入与增量更新, 利用HLC-Trie判定键前缀粒度的稳定前缀, 并通过兼容 Delta Lake原生提交接口的冷热分流写回机制, 将高频更新逐步归并为稳定状态. 阿里云跨区域环境与本地集群实验结果表明, 与Flink和Spark Streaming两类常见工程路径相比, 该策略在高并发与异构网络条件下表现出更高的吞吐、更好的扩展性以及更稳定的活跃文件控制能力. 在不修改Delta Lake内核的前提下, 所提策略为跨域多主湖仓提供了一种兼顾最终收敛、同步效率与存储代价的数据同步方案.

论文发现出处

这些页面提供论文线索,不代表同行评审或质量认证。

AI 论文解读

基于摘要 · 非全文审阅

此版本尚未生成 AI 解读。解读由后台任务生成并按论文版本保存,登录后共享已有结果。

发表信息与关联版本

软件学报 ↗

2026 · 正式发表 · DOI: 10.13328/j.cnki.jos.007762

版本差异

目前只收录了一个版本。收录下一版后,可以对照标题、作者、分类和摘要。

观测到的版本

平台记录号代表本站观测到的元数据变化,不是作者修订号。来源日期仅到月份或年份时,按该月或该年首日存档。

记录 #1 · 2026-11-18 · 最新观测版本

Lake-CRDT: 面向跨域多主湖仓的数据同步策略

跨域多主写入场景下, 湖仓系统需要在高时延、弱连接环境中实现多副本最终收敛, 同时保持与开放表格式事务语义兼容, 并抑制高频更新带来的小文件膨胀. 现有方案多分别侧重事务协调、变更流处理或存储层复制, 难以在不修改湖仓内核的前提下同时兼顾收敛、稳定判定与低代价写回. 为此, 提出面向跨域多主湖仓的数据同步策略Lake-CRDT. 该策略以支持Set-Add混合语义的操作型键值CRDT统一表示覆盖写入与增量更新, 利用HLC-Trie判定键前缀粒度的稳定前缀, 并通过兼容 Delta Lake原生提交接口的冷热分流写回机制, 将高频更新逐步归并为稳定状态. 阿里云跨区域环境与本地集群实验结果表明, 与Flink和Spark Streaming两类常见工程路径相比, 该策略在高并发与异构网络条件下表现出更高的吞吐、更好的扩展性以及更稳定的活跃文件控制能力. 在不修改Delta Lake内核的前提下, 所提策略为跨域多主湖仓提供了一种兼顾最终收敛、同步效率与存储代价的数据同步方案.

查看此版本解读 →查看此版本原文 ↗