在数字化转型的浪潮中,数据中台这一曾被视为企业数据管理与应用利器的架构模式,近期却遭遇了市场的质疑。全球知名研究与咨询机构Gartner在其2024年发布的数据分析与人工智能技术成熟度曲线(中国版)中,明确指出“数据中台”已步入泡沫破裂的低谷阶段,并预测其可能走向消亡。这一论断引起了业界的广泛关注与讨论。
数据中台自2014年前后由阿里巴巴提出并实施以来,凭借其解决数据孤岛、实现数据统一管理和高效利用的能力,迅速在国内企业中得到推广。然而,经过十多年的发展,数据中台的弊端逐渐显现。从技术层面看,数据中台采用物理集中式架构,难以应对数据规模指数级增长带来的整合挑战,特别是跨源异构数据的处理。同时,数据中台的建设成本高昂,投资回报周期长,ROI(投资回报率)成为企业难以忽视的问题。从业务层面看,数据中台高度依赖ETL专业团队和工具,缺乏时效性和灵活性,难以为前端业务决策和产品创新提供及时的数据支持。
面对数据中台的困境,一种名为“数据编织”(Data Fabric)的全新数据管理架构理念开始受到业界的青睐。数据编织不是具体的产品,而是一种设计理念,它利用AI、机器学习和数据科学的功能,实现数据的动态整合,发现数据之间独特的业务关系。其核心在于通过数据虚拟化技术,创建逻辑数据层,实现数据的统一访问与管理,无需物理搬运数据。这种架构不仅提高了数据的发现与访问效率,还降低了数据管理的成本,实现了极致敏捷的数据交付。
与数据中台相比,数据编织的关键突破在于其逻辑数据层的构建。通过单点逻辑集成分散在不同系统中的数据,为数据消费者提供了一个统一的、抽象的、封装的逻辑数据视图。用户可以通过这个逻辑视图查询和操作存储在异构数据源中的数据,无需关心数据的位置、类型和格式。这种架构不仅解决了数据迁移和数据合规性的问题,还提高了数据的响应速度和利用效率。
国际市场对数据编织架构的发展持乐观态度。根据全球行业分析师报告,全球数据编织市场从2020年的11亿美元增长到2026年的37亿美元,增长超过两倍。Gartner也连续三年将数据编织列为“十大数据和分析技术趋势”之一,并预测其在未来2-5年内将获得广泛应用。在国内市场,虽然数据编织架构的应用仍处于初期阶段,但已有不少企业开始尝试并取得了良好的应用效果。
以首创证券为例,该公司在构建数据仓库时面临人员短缺和技术挑战。传统Hadoop数仓体系需要庞大的ETL开发团队和深厚的技术积累,而首创证券仅有少量数据工程师。通过引入数据编织架构,首创证券成功构建了一个逻辑数仓,将各业务系统的数据无缝连接。这种架构不仅简化了数仓结构,还实现了数据的按需加速与物化,大大提高了数据处理的灵活性。报表的查询响应率也显著提升,一秒内响应率达到95%。
数据编织架构的出现,为企业数字化转型提供了新的思路。它不仅能够解决数据中台存在的效率、成本、组织、合规等问题,还能够满足企业业务快速变化和数据自服务的需求。对于拥有充足资金和人才储备的大型企业而言,数据中台和数据编织可以相互融合、互为补充;而对于投资谨慎和人才储备不足的数字化初阶企业而言,应用数据编织则能以更低的成本、更快的速度上线业务,满足其业务变化和调整的需求。
为了帮助企业更好地评估和应用数据编织架构,国内Data Fabric架构理念的实践者与引领者Aloudata发布了《数据编织价值评估指南》白皮书。该白皮书提出了业界首个数据编织价值实现评估框架,包括“提升数据交付效率”、“降低数据膨胀系数”、“减少数据管理成本”三个评估维度,以及“当天需求满足率”和“当天数据动销率”两个关键指标。这些维度和指标为企业提供了量化评估数据编织架构应用效果的方法,有助于企业更好地激发数据价值,赋能业务发展。