文/大数网 于泽
关于华为，每个人都有自己的观察角度，聚焦企业级IT市场，本文讲讲最近一段时间我看到的华为实力。我的切入点是鲲鹏，更进一步说是华为云最新发布的业界首个鲲鹏大数据解决方案——BigData Pro。
先说说鲲鹏，这个最近一段时间华为最频繁提及的词汇之一。明白了鲲鹏，对于鲲鹏大数据解决方案也就理解了一大半。
“鲲鹏”是什么?
可能你已经看到了，华为近期密集地发布了各种带着鲲鹏字样的产品、解决方案，包括鲲鹏处理器、鲲鹏云服务，其中就包括本文将重点展开的华为云鲲鹏大数据解决方案——BigData Pro。
鲲鹏究竟是什么?
简单理解，鲲鹏是一套基础架构体系，不仅仅局限于鲲鹏系列服务器芯片，还包含了兼容的服务器软件，以及建立在新计算架构上的完整软硬件生态和云计算生态。最初， 鲲鹏指华为在今年1月初发布的一款基于ARM指令集的通用计算芯片鲲鹏920。
为什么华为在大力发展鲲鹏?原因有很多，最直接的因素就是必须拥有自己的核心技术。
本质原因则是摩尔定律正在失效，计算体系进入百花齐放的时代，鲲鹏的发布，给客户带来了更多元的选择。
华为云鲲鹏大数据解决方案(BigData Pro)第一个值得关注的点，正如华为云云存储服务总经理林超所说，不管是存储还是计算，都是基于鲲鹏架构实现的。这在业内目前也是独一份。
了解过鲲鹏后，接下来认识一下鲲鹏大数据解决方案的第二个关键词Pro。在消费级产品领域，Pro被用的很多了，字面意思专业版，更直观的认识，Pro的功能会更强大。
那么，华为云鲲鹏大数据的Pro体现在哪些方面?我觉得可以总结为三个维度：
“存算分离”——提升资源利用率
华为云对传统的大数据架构进行了升级，推出了基于云服务的存算分离架构。存储和计算资源可以根据业务需要各自独立进行弹性扩展，灵活配置，从而使资源匹配更精准、更合理，让大数据集群资源利用率大幅提升。据介绍，经此创新，综合分析成本最高可降低50%。
至于为什么要这样做?还得从大数据架构的限制说起。目前，业界使用最多的大数据架构是Hadoop，而当初设计的时候，它基于计算和数据就近处理的原则，采用计算和存储融合的架构，通俗的理解就是“一体机”。按照一体机的设计，计算和存储的比例是固定的，这显然不符合实际业务需求，无形中造成很多浪费。
有一组数据供参考，在原有存算一体方案中，计算资源的利用率一般不到50%，存储空间的利用率一般不到33%。换句话说，大量的计算、存储资源都被浪费了。
而华为云BigData Pro鲲鹏大数据方案能将大数据集群的资源利用率提升75%，成本最高可降低50%。
多协议互通数据分析效率大增
在鲲鹏大数据解决方案中，华为云使用OBS对象存储来管理企业海量数据。OBS具备业界领先的性能，支持千万TPS超高并发，单流2.4Gb/s单流带宽，超业界3倍，小对象10ms稳定低时延。在此基础之上，华为云还做了很多创新。
比如，OBS对象存储服务的多协议互通。什么意思?没有这个能力之前，企业不同格式的数据是存储在不同存储系统中的，在进行数据分析时，需要进行协议转换，影响效率不说，转换完成后还要另存一份，又造成存储空间浪费。有了多协议互通，数据可以通过计算、存储的接口，或者HDFS的接口写进来，然后再通过另外的协议，包括POSIX等读出去，相当于一个数据可以用多种语义解读，省去了转换过程，效率大增。据测算，单此一项创新就能帮助数据访问效率提升25%。这是华为云对象存储服务的一个独特优势。
再比如，基于对象存储华为云创新了修改写和追加写。原来的修改写和追加写，按照传统厂商们的做法，修改写相当于先新增一个数据，然后把老数据删掉，需要两个步骤。现在华为云可以做到直接修改，对于处理大文件，这项能力尤其有用。
其三，华为云在OBS对象存储上实现了HDFS原生接口。
量变产生质变，一点点小的创新积累，使存储不再是大数据分析过程中的性能瓶颈。所以，同样是存算分离，可以说华为云比友商多走了半步，能带给用户更高的效率，更优的成本。
这还不够，别忘了鲲鹏大数据解决方案还有一个Pro，它与鲲鹏的特性紧密相关，这也是为什么开篇会说，明白了鲲鹏也就了解了鲲鹏大数据解决方案的一大半。究竟是什么?
鲲鹏多核从容应对数据高并发
首先，就鲲鹏本身而言，多核优势再加上华为云在任务调度上的算法优化，使得CPU的并发能力很强。另外，CPU内存通道更多，从6个提升到8个，支持的内存速度更高，从2666MHz提升到2933MHz，内存带宽提升46%，而众所周知，内存带宽的提升对于大数据的场景优势非常明显。
其次，华为云鲲鹏大数据解决方案率先采用鲲鹏云容器技术，并做了很多独有的创新。比如：
华为云对开源k8s进行了深度优化，能够达到1秒1000个容器发放的弹性能力，特别有利于实时大数据分析对业务浪涌的弹性响应，并且引入Volcano队列批量调度技术，支持容器的智能拉起等，让企业大数据分析业务编排更加灵活。
更多细节不再一一展开。据悉，华为云鲲鹏容器服务在大数据应用场景下，端到端的性能提升达到40%。也就是说，在存算分离的大框架下，华为云不仅是面向存储，针对计算同样也做了很多技术创新。
截至当前，BigData Pro大数据解决方案已经在部分顶级互联网客户的业务场景得以应用，包括用户画像、实时数据分析等，能有效降低35%的大数据分析用时，反馈良好。
大数据体系升级，满足企业多样化场景需求
有了鲲鹏大数据解决方案，华为云也成为业界能提供大数据解决方案最丰富的服务商，从x86到鲲鹏，从容器、云主机到裸金属，从云计算到云存储，往上再到EI大数据服务，各种各样的大数据应用场景需求，华为云都能满足。
事实上，这也正是当前大数据领域的发展趋势。业界都看到了海量数据带来的挑战，特别是随着5G、IoT、VR/AR、自动驾驶等技术的发展，数据的爆发速度会越来越快。华为曾在GIV 2025报告中指出：“预计到2025年，全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。”如此大的压力之下，现有大数据分析系统已经难以满足其增长需求，数据增长和现有IT架构处理能力之间的不平衡只会越来越明显。业界知名分析机构IDC在最新的报告中就明确指出：企业上云已成必然趋势。因此，在公有云上部署更灵活高效的大数据分析平台，将成为企业应对大数据时代的必然选择。
于是，我们也看到所有云服务商都在朝这个方向努力，正在推出更多的产品与解决方案。华为云也是其中的一份子。但有所不同的是，华为云基于华为过去的积累有很多独有的优势，包括存储、计算领域的，而这也将成为其未来重要的竞争力。
总结全文，透过华为云鲲鹏大数据解决方案BigData Pro观察华为云。他们要做的不仅仅是给用户多一种选择(鲲鹏)，更是给出一种匹配企业业务需求的最佳方案，这也符合华为以客户为中心的企业文化。相信华为云未来会有更多基于鲲鹏算力的解决方案问世，为企业客户的数字化智能转型带来切实的效益。
