【ITBEAR】小红书技术团队近日达成一项行业创举，成功将其庞大的数据湖无故障迁移至阿里云，此举在业界堪称前所未有。
作为月活用户超3亿的头部互联网企业，小红书的数据湖汇集了11年来的全部原始数据，包含多样化的数据结构。随着业务的迅猛扩展，公司对数据的实时处理能力提出了更高要求，而历史数据的离线处理也面临诸多挑战。
为了应对这些挑战，小红书于2023年11月启动了迁云项目，目标是在一年内将数据湖平稳迁移至阿里云。该项目的规模之大，即便是与业界之前的案例相比，也显得尤为突出。
迁云项目在2024年5月正式进入双跑阶段，这是切换至新环境前的关键测试期，对确保系统稳定性至关重要。在此期间，技术团队面临了海量的问题挑战，每周平均需应对500余个新增问题。
得益于阿里云团队的全力支持，小红书技术团队成功完成了割接任务，且全程未出现任何P2级别及以上的故障。这一成就标志着小红书在数据处理能力上迈上了新台阶。
至2024年11月，迁云项目圆满落幕。在整个过程中，技术团队共迁移了500PB的数据量，执行了11万项任务，参与人员达1500人，涉及公司内部40余个部门。这一壮举不仅展示了小红书在技术创新方面的实力，也为行业树立了新的标杆。
