您的位置:首页>>移动互联

大数据分析那些事儿:云上解决方案强在哪,华为云BigData Pro告诉你

发布时间:2019-09-06 11:03:39  来源:IT168    背景:

  根据《IDC Market Perspective:中国大数据市场生态体系研究,2019》显示,2018-2023年全球数据空间五年复合增长率(CAGR)达25.8%。而华为也曾在GIV 2025报告中指出:预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。

  不难看出,企业的数据量依然保持着持续快速的增长,数据将成为企业智能生产力,为企业在数字世界与现实世界的深度融合中提供全面的竞争力。那么,如何从规模庞大、多样性的数据中高速准确地提取最有价值的数据呢?拥有一个灵活高效的大数据分析平台就变得尤为重要。

  传统大数据分析平台挑战多

  数据孤岛:如今,企业拥有PB级数据已经成为常态,EB级数据时代也将很快到来。企业需要面向结构化数据、非结构化数据、实时数据等多种类型的数据提供高扩展且统一的数据管理和数据存储能力。

  刚性扩容:在数据空间持续增长的背景下,大数据应用场景不断增加,对企业算力的需求也在加剧提升。而同时,新品发布、热点事件等带来的业务浪涌,也需要企业大数据系统拥有极致的弹性能力。

  利用率低:大数据行业技术栈迭代迅速,企业自行构建IDC中心和自行部署软件,一次性投资大,且折旧成本高,运营运维负担沉重。

  作业拥塞:随着业务的发展,在数据量巨大的背景下,单次分析作业常需要读取TB-PB级的数据,多任务并发下,极易出现作业拥塞。

  面对以上挑战,传统的以私有数据中心为基础的存算一体大数据架构,已无法满足企业海量数据分析的需求。业界知名分析机构IDC在最新的报告中明确指出:企业上云已成必然趋势。因此,在公有云上部署更灵活高效的大数据分析平台,将成为企业的必然选择。

  华为云BigData Pro鲲鹏大数据解决方案来了

  为应对以上挑战,华为云已正式推出业界首个鲲鹏大数据解决方案-BigData Pro,实现五大升级,为企业提供存算分离、极致高效、极致弹性的大数据服务。同时兼容开源和商业大数据生态,企业大数据应用可0改造平滑移植上云。

  存算分离 灵活高效

  我们知道,当前标准的Hadoop大数据架构,存储与计算是融合的。直观的描述就是,计算服务器和存储硬盘是配置在一起采购和部署的。这种方式带来的问题是,由于计算和存储是固定比例,当计算出现不足,而存储还有很多空间的时候,企业就会遇到无法单独扩容计算节点的问题,反之亦然。

  据华为云云存储服务总经理林超介绍,华为云BigData Pro最核心的优势就是“存算分离”。在方案中,华为云基于云服务的天然优势,对原有的架构进行了优化,推出了存算分离的架构,实现存储和计算的灵活配置,单独扩容,让大数据集群的资源利用率提升75%,而综合成本最高可降低50%。

  华为云 云存储服务总经理林超

  超智存储 海纳数据

  林超表示:“华为云BigData Pro鲲鹏大数据解决方案以弹性云容器CCI、弹性云服务器和DLI数据湖探索服务作为计算资源、以高性能的分布式云存储OBS作为存储资源,提供低成本、高可靠、无感扩容的大数据方案。”

  在华为云BigData Pro鲲鹏大数据解决方案中,通过OBS对象存储来管理企业海量数据。OBS具有业界领先的性能,支持千万TPS超高并发,单流2.4Gb/s单流带宽,超业界3倍;小对象上传时延小于10ms,稳定低时延,业界领先。另外OBS海纳数据体现在支持单桶千亿对象,EB级海量存储和PB级的数据处理能力。

  传统多副本的数据存储方式,导致存储系统的空间利用率仅有33%~50%,存储空间浪费较大。而华为云OBS采用的是独创的FlexEC算法,不只提供了高性能的数据访问性能,更是把存储空间利用率提升到了80%,企业存储成本大幅降低。

  不仅如此,OBS还拥有12个9数据可靠性,无限的弹性扩容能力,智能数据分级管理能力,多方式访问能力,并且通过国家可信云认证,安全可靠。

  鲲鹏算力 智能从容

  据了解,华为云对开源K8s进行了深度优化,达到了1000个容器秒级弹性能力,特别有利于实时大数据分析对业务浪涌的弹性响应,并且引入Volcano队列批量调度技术,支持容器的智能拉起等,让企业大数据分析业务编排更加灵活;

  使用内存级分布式缓存,结合自研的智能缓存算法,让数据访问性能提升10%以上;

  国内首创的鲲鹏裸金属容器技术,可以让CPU的利用率提升一倍。

  基于上述技术,华为云容器服务在大数据应用场景下,容器间请求转发效率提升50%,数据面访问性能提升10%,让企业真正地做到从容应对数据智能时代。

  生态开放 全面兼容

  华为云BigData Pro解决方案支持当前最主流的大数据生态,不管您的企业当前使用的是开源大数据平台版本,还是商用的大数据软件软件,都能以近乎0改造的成本,把业务平滑移植上到BigData Pro上。

  场景丰富 应用加速

  华为云BigData Pro大数据解决方案通过云服务的方式,让企业大数据应用加速。目前,华为云BigData Pro鲲鹏大数据解决方案可满足多场景的大数据分析处理:

  在互联网行业实现智能推荐,例如斗鱼网络基于华为云BigData Pro鲲鹏大数据解决方案,构建公有云上的存算分离大数据分析平台,分析时长缩短35%;

  在金融行业,可实现信用和风控管理;在电信行业,可提供客户画像与运营决策的大数据分析服务,以及在卫星气象领域包括大数据量实时分析等多种应用场景。

  写在最后。随着5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,而面对海量数据带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,华为云BigData Pro鲲鹏大数据解决方案通过存算架构进化、多核算力加持、极致弹性的鲲鹏云容器和原生多协议的云存储,为企业打造出全新的数据智能底座,正重新定义企业的大数据未来。

  9月18日-9月20日,2019华为全联接大会(HUAWEI CONNECT 2019)将在上海世博中心举办,各种最新黑科技、产品与解决方案将重磅亮相,敬请期待。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:IT168

本文评论
苹果官方发文警告用户尽快升级旧款设备/系统以避免出现重大故障
10月19日消息 据英国媒体报道,苹果正式对那些使用旧款iOS设备的用户发出警告,因为从11月3日开始,...
日期:10-19
中国企业成功研制5G网络智能110吨无人驾驶矿用车
据新华社报道,中国企业生产的5G网络智能110吨无人驾驶矿用车近期亮相江西南昌2019世界VR产业大会。...
日期:10-19
微信外链规范升级:持续打造长远健康的微信生态
10月18日,根据微信官方公众号“微信派”消息,微信外链规范即将进行更新升级,将新增和...
日期:10-19
告别埋头等车时代 高德实时公交就是准
10月18日,第六届世界互联网大会前夕,桐乡恒通公交集团联合高德地图正式发布, 高德实时公交能力全...
日期:10-18
北京垃圾扔错拟罚200元,腾讯手机管家“垃圾分类大师”小程序一键查询
近日,《北京市生活垃圾管理条例修正案(草案送审稿)》正式在首都之窗上公开征求意见,时间截止到11月1...
日期:10-18
腾讯安全:新型挖矿木马“快Go矿工”猛攻企业设备 IT行业成重灾区
近日,腾讯安全御见威胁情报中心捕获到一个利用多种攻击方式在内网传播的挖矿木马“快Go矿工&r...
日期:10-17
百度发布9月信息安全治理月报:百度网盘清理有害链接53万余条
10月17日,百度发布9月信息安全综合治理月报,向网民周知百度在处理网络虚假有害信息、保护网民权益...
日期:10-17
登榜毕马威全球科技颠覆者报告,百度APP靠的是这些黑科技
最近,全球四大会计事务所之一毕马威对全球12个国家,740名科技领袖进行了深入调研,并根据调研结果...
日期:10-16
小学生称用照片能开快递柜,丰巢紧急下线刷脸开锁功能
10月16日消息 我们知道,丰巢柜除了可以输入取件码取件之外也提供了刷脸取件。但据杭州新闻客户端报...
日期:10-16
华为P30一夜跌至“清仓价”,网友:现在终于是时候入手了!
华为P30是一款上半年发布的旗舰手机,也被大众消费者视为是国产手机行业最佳的旗舰手机,不仅仅是国...
日期:10-15
魅族Flyme 8最新体验版发布,新增前置超级夜景
10月15日消息 魅族Flyme 8.19.10.15 beta体验版现已更新,主要为魅族16系机型带来了逆光自拍模式和...
日期:10-15
美团上线语音点外卖应用
10月14日消息 今日中国盲人协会与美团发布了 “美团语音盲人定制应用”,该应用可通过美...
日期:10-14
小觅智能CEO庞琳勇博士亮相赛灵思开发者大会
一年一度的赛灵思开发者大会(SDF)于10月1日-2日在美国加州圣何塞成功举办。立体视觉技术解决方案提...
日期:10-14
输入法因AI技术加持 真正意义上解放双手
在使用手机的两种沟通方式中,语音输入相对于文字输入来说更加便捷,也能解放双手。但大多数输入法...
日期:10-12
手机照片删除了怎么恢复?第三招成功率高达98%
手机照片删除了怎么恢复?照片是我们手机中重要的一个数据项,不论是平时的自拍,还是日常生活中拍的...
日期:10-12
数字尾巴专业评测:百度输入法实力演绎“用户想要的亚子我都有”
当代社交最重要的技能是什么?“斗图”绝对是标准答案之一。
日期:10-12
Larry Wall已批准将Perl 6重命名为Raku
Perl 6 最初被认为是 Perl 的下一版本。花费很长时间才能成熟并有了初始版本。而与此同时,对 Perl ...
日期:10-12
谁是最值得安装的输入法?专业媒体测评:百度输入法更胜一筹
还在用手机自带的输入法?怪不得你的手机不好用!一款好用、聪明的手机输入法能大幅度提升手机使用的...
日期:10-12
AI最先取代的不是生产力工种,而是玩游戏的人
昨天,在一次面向Edge杂志的访谈中,Google的工程VP Madj Bakar称,延迟表现是决定云游戏成败的关键...
日期:10-11
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :