【关键词】大数据 浪潮服务器 通信运营商
【导读】浪潮为国内某通信运营商搭建的大数据平台要求存储上亿级用户数据,业务对高并发和时延要求极为苛刻,需要单服务器每秒支持上万次数据读写操作,对于整个系统性能稳定性提出了较为严苛的要求。浪潮基于双路服务器NF5280M5搭载英特尔®傲腾™持久内存的解决方案,让大数据平台处理性能提升了2-3倍,扩容成本降低多达40%,帮助用户有效应对复杂查询及大数据量分析场景。
在数据堪比金矿的新时代,社会和企业数据正在快速增长,对于政府和企业,从实时数据分析中获得洞察将有越来越重要的价值。比如疫情期间,政府能够对大众出行数据进行分析的 “健康码”,密切接触者的动态追踪,全球医疗防护物资智能调度、复工复产情况分析等。但随着5G、AI、物联网、大数据的发展,如何利用数据服务于当下及未来业务,将数据转化为真正的资产,成为很多企业当前面临的难题。
国内某知名通信运营商下设的大数据有限公司是其全网数据对外运营的统一出口,其自主研发的UBD平台,是以Hadoop为核心的混搭架构大数据平台,实现了Hadoop、Spark、Storm、Redis等开源技术在实际生产服务中的规模化应用。
每秒上万次存取操作背后,成本与性能间的矛盾
面对日剧增的数据处理业务需求,浪潮为该运营商搭建的大数据平台要求存储上亿级用户数据,对并发和时延要求极为苛刻,通常需要单服务器每秒支持上万次数据存取操作,对于性能提出了较为严苛的要求。
IO阻塞是Spark SQL查询的常见痛点。在混合并发查询等场景中,由于需要访问的表数据较多,内存很快消耗殆尽,大数据平台常常需要将大量数据缓存到相对低速的磁盘中,导致出现显著的磁盘IO阻塞,且CPU利用率会上升至高达100%,严重拖慢了系统速度,想要扩充大数据平台的内容容量,但是随之而来的成本的大幅增长问题又让该运营商望而却步。
针对这种情况,浪潮提供了以双路服务器NF5280M5搭载英特尔®傲腾™持久内存的解决方案,傲腾持久内存在内存和存储之间的持久内存,容量显著大于DRAM,单一模块可提供128GB/256GB/512GB三种规格,有效缓解内存不足的难题。
击破I/O瓶颈,让数据处理更高效
由于首次使用这种方案,客户更关注服务器的稳定性、处理能力和网络I/O能力,以及与英特尔®傲腾™持久内存的兼容性。浪潮NF5280M5支持2颗Intel的可扩展处理器,单CPU最高拥有28个内核及56线程,CPU之间采用2条10.4 GT/s UPI互连链路,可支持M.2和全闪,实现超高的存储吞吐量,将I/O延时从秒、毫秒级直接降低至微秒级,在数据库、ERP、大数据分析等应用场景可以体现极致的实际应用性能。
采用浪潮方案后,新建成的大数据平台OAP(Optimized Analytics Package)的Spark测试结果显示,处理性能提升了2-3倍,扩容成本降低多达40%。大数据平台的性能提升,将助力用户有效应对复杂查询及大数据量分析场景,显著改善数据分析应用延迟等方面的表现。
搭载傲腾持久内存,浪潮服务器让新技术应用变得更简单,在传统内存与存储之间架起一座桥梁,帮助用户在靠近处理器的内存系统上加载规模远超以往的数据集,满足包括内存数据库在内的,几乎所有对大内存有要求的应用负载需求,让更多数据的处理和分析走向实时化,释放数据金矿更大的价值。
