小红书将业内最大数据湖迁至阿里云:0故障,迁移数据500PB

新识研究所 2024-11-07 19:40:55

去年11月开始,今年5月双跑,11月结束,小红书将业内最大数据胡迁至阿里云

11月6日,阿里云宣布,小红书技术团队成功将业界最大数据湖零故障迁移至阿里云。

据悉,目前月活用户已经超过3万的小红书数据湖中存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。

随着小红书的发展,处理数据难度增大,小红书决定将数据化搬迁到阿里云,该项目从2023年11月开始。彼时,小红书共有1500人参与迁云项目,计划一年内完成,该项目远超此前的业界体量最大的案例规模。

今年5月,项目正式进入双跑阶段,该阶段中每周需要解决新增500多个问题,到今年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

作者:朱永康

编辑:丁力

0 阅读:14

新识研究所

简介:新知识,新见解