您的位置:首页>>移动互联

大数据分析那些事儿:云上解决方案强在哪,华为云BigData Pro告诉你

发布时间:2019-09-06 11:03:39  来源:IT168    背景:

  根据《IDC Market Perspective:中国大数据市场生态体系研究,2019》显示,2018-2023年全球数据空间五年复合增长率(CAGR)达25.8%。而华为也曾在GIV 2025报告中指出:预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。

  不难看出,企业的数据量依然保持着持续快速的增长,数据将成为企业智能生产力,为企业在数字世界与现实世界的深度融合中提供全面的竞争力。那么,如何从规模庞大、多样性的数据中高速准确地提取最有价值的数据呢?拥有一个灵活高效的大数据分析平台就变得尤为重要。

  传统大数据分析平台挑战多

  数据孤岛:如今,企业拥有PB级数据已经成为常态,EB级数据时代也将很快到来。企业需要面向结构化数据、非结构化数据、实时数据等多种类型的数据提供高扩展且统一的数据管理和数据存储能力。

  刚性扩容:在数据空间持续增长的背景下,大数据应用场景不断增加,对企业算力的需求也在加剧提升。而同时,新品发布、热点事件等带来的业务浪涌,也需要企业大数据系统拥有极致的弹性能力。

  利用率低:大数据行业技术栈迭代迅速,企业自行构建IDC中心和自行部署软件,一次性投资大,且折旧成本高,运营运维负担沉重。

  作业拥塞:随着业务的发展,在数据量巨大的背景下,单次分析作业常需要读取TB-PB级的数据,多任务并发下,极易出现作业拥塞。

  面对以上挑战,传统的以私有数据中心为基础的存算一体大数据架构,已无法满足企业海量数据分析的需求。业界知名分析机构IDC在最新的报告中明确指出:企业上云已成必然趋势。因此,在公有云上部署更灵活高效的大数据分析平台,将成为企业的必然选择。

  华为云BigData Pro鲲鹏大数据解决方案来了

  为应对以上挑战,华为云已正式推出业界首个鲲鹏大数据解决方案-BigData Pro,实现五大升级,为企业提供存算分离、极致高效、极致弹性的大数据服务。同时兼容开源和商业大数据生态,企业大数据应用可0改造平滑移植上云。

  存算分离 灵活高效

  我们知道,当前标准的Hadoop大数据架构,存储与计算是融合的。直观的描述就是,计算服务器和存储硬盘是配置在一起采购和部署的。这种方式带来的问题是,由于计算和存储是固定比例,当计算出现不足,而存储还有很多空间的时候,企业就会遇到无法单独扩容计算节点的问题,反之亦然。

  据华为云云存储服务总经理林超介绍,华为云BigData Pro最核心的优势就是“存算分离”。在方案中,华为云基于云服务的天然优势,对原有的架构进行了优化,推出了存算分离的架构,实现存储和计算的灵活配置,单独扩容,让大数据集群的资源利用率提升75%,而综合成本最高可降低50%。

  华为云 云存储服务总经理林超

  超智存储 海纳数据

  林超表示:“华为云BigData Pro鲲鹏大数据解决方案以弹性云容器CCI、弹性云服务器和DLI数据湖探索服务作为计算资源、以高性能的分布式云存储OBS作为存储资源,提供低成本、高可靠、无感扩容的大数据方案。”

  在华为云BigData Pro鲲鹏大数据解决方案中,通过OBS对象存储来管理企业海量数据。OBS具有业界领先的性能,支持千万TPS超高并发,单流2.4Gb/s单流带宽,超业界3倍;小对象上传时延小于10ms,稳定低时延,业界领先。另外OBS海纳数据体现在支持单桶千亿对象,EB级海量存储和PB级的数据处理能力。

  传统多副本的数据存储方式,导致存储系统的空间利用率仅有33%~50%,存储空间浪费较大。而华为云OBS采用的是独创的FlexEC算法,不只提供了高性能的数据访问性能,更是把存储空间利用率提升到了80%,企业存储成本大幅降低。

  不仅如此,OBS还拥有12个9数据可靠性,无限的弹性扩容能力,智能数据分级管理能力,多方式访问能力,并且通过国家可信云认证,安全可靠。

  鲲鹏算力 智能从容

  据了解,华为云对开源K8s进行了深度优化,达到了1000个容器秒级弹性能力,特别有利于实时大数据分析对业务浪涌的弹性响应,并且引入Volcano队列批量调度技术,支持容器的智能拉起等,让企业大数据分析业务编排更加灵活;

  使用内存级分布式缓存,结合自研的智能缓存算法,让数据访问性能提升10%以上;

  国内首创的鲲鹏裸金属容器技术,可以让CPU的利用率提升一倍。

  基于上述技术,华为云容器服务在大数据应用场景下,容器间请求转发效率提升50%,数据面访问性能提升10%,让企业真正地做到从容应对数据智能时代。

  生态开放 全面兼容

  华为云BigData Pro解决方案支持当前最主流的大数据生态,不管您的企业当前使用的是开源大数据平台版本,还是商用的大数据软件软件,都能以近乎0改造的成本,把业务平滑移植上到BigData Pro上。

  场景丰富 应用加速

  华为云BigData Pro大数据解决方案通过云服务的方式,让企业大数据应用加速。目前,华为云BigData Pro鲲鹏大数据解决方案可满足多场景的大数据分析处理:

  在互联网行业实现智能推荐,例如斗鱼网络基于华为云BigData Pro鲲鹏大数据解决方案,构建公有云上的存算分离大数据分析平台,分析时长缩短35%;

  在金融行业,可实现信用和风控管理;在电信行业,可提供客户画像与运营决策的大数据分析服务,以及在卫星气象领域包括大数据量实时分析等多种应用场景。

  写在最后。随着5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,而面对海量数据带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,华为云BigData Pro鲲鹏大数据解决方案通过存算架构进化、多核算力加持、极致弹性的鲲鹏云容器和原生多协议的云存储,为企业打造出全新的数据智能底座,正重新定义企业的大数据未来。

  9月18日-9月20日,2019华为全联接大会(HUAWEI CONNECT 2019)将在上海世博中心举办,各种最新黑科技、产品与解决方案将重磅亮相,敬请期待。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:IT168

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
苹果在中国品牌地位暴跌:支付宝第一,华为第二
9月19日下午消息,据彭博社报道,一项最新的年度中国消费者态度调查显示,苹果的品牌声誉从一年前的...
日期:09-19
SQL之后,GQL成为 ISO/IEC 国际标准数据库语言项目
Graph Query Language(GQL,图形查询语言)是由同时维护SQL标准的国际工作组开发和维护的一种新语言...
日期:09-19
AI实力秀!为何北京冬奥会PICK了科大讯飞提供翻译服务?
9月16日,北京2022年冬奥会和冬残奥会官方自动语音转换与翻译独家供应商发布会在北京冬奥组委园区举...
日期:09-18
今日头条首次推出“小说热搜榜”,唐家三少携《斗罗大陆》登顶
  为帮助用户快速找到全网最新最热的优质小说,头条小说联合头条搜索推出“小说热搜榜”榜...
日期:09-18
汽车=5G+AI+新能源? 2019工博会“具象”未来美好汽车生活
(9月17日,上海)今日盛大开幕的2019中国国际工业博览会上,上汽集团5G智能重卡、电动智能超跑SUV、L...
日期:09-18
天翼云:5G急救车为患者争取“黄金八分钟”
在5G时代到来之前,一般的急救车只有简单的运载功能,前期的救治很大程度上取决于120随车医生的经验技...
日期:09-17
支付宝新功能上线:不充值办各种大牌“轻会员”
前不久,支付宝官方微博发起活动,征集用户被会员卡坑过的经历,比如被坑过多少钱?办卡时遭遇的奇葩...
日期:09-17
下一代Wi-Fi 6标准正式启用 速度提升四成
9月16日,Wi-Fi联盟宣布启动Wi-Fi 6认证计划,这意味Wi-Fi 6技术标准即将进入我们的工作生活。
日期:09-17
华为云DRS一键式密码迁移,给DBA省心又省力
身为DBA的你是否经常遇到这种问题:同时迁移几套数据库,但是上面的账号有几十个,密码都在十几个人...
日期:09-17
比“剪刀手”拍照泄露指纹?支付宝:仅理论上可能,手机没丢就别怕
  9月17日消息 近日某行业协会专家称,拍照时如果镜头距离够近,“剪刀手”照片通过照片放...
日期:09-17
支付宝AI推一键“打公交”,十大绿色出行城市有你家吗?
9月16日消息 手机下单、预约座位、躲避拥堵、从“家门口”直达“办公室”&hell...
日期:09-16
拍照比“剪刀手”泄露指纹信息?业内专家辟谣
9月16日消息 近日某行业协会专家称,拍照时如果镜头距离够近,“剪刀手”照片通过照片放...
日期:09-16
Soul整装待发:不会让有趣的灵魂等待太久
9月10日,社交App Soul重新上架App Store。提及Soul,不少人都会发出会心一笑,这款充满着善意、包...
日期:09-13
雷军亲自推动:MIUI将上线系统广告开关,可一键关广告
今年4月,小米董事长雷军亲自找小米互联网一部总经理金凡聊了三个小时,要求优先解决用户的痛点问题...
日期:09-13
5G+智慧教育引热潮 网龙探索教育信息化更多可能
日前,“2019世界计算机大会”在湖南长沙梅溪湖国际文化艺术中心隆重开幕,大会云集了知...
日期:09-12
中国移动2.2亿采购干式变压器:供应商报价越低份额越高
近期,中国移动2019-2020年干式变压器产品集采,中标候选人公示,广州广高高压电器、江苏中天伯乐达...
日期:09-11
联通电信合建5G,将导致哪些变化?
2019年9月9日,中国联通发布上市公司公告,正式宣布与中国电信合建5G网络,官方用词是:共建共享。
日期:09-10
开学第一课 度小满将人工智能带进清华附中国际部
“什么是人工智能?”、“智能语音机器人是什么?”…随着社会技术的进步...
日期:09-09
老龄化加剧下的孤独感,VR技术或成破局点
到2035年,随着婴儿潮一代的年龄增长,美国老年人口数量将首次超过儿童。到2030年,随着人口老龄化...
日期:09-09
苹果希望Siri在两年后学会健康问答和会话翻译
  在上个月 Siri 被披露为承包商提供用户私人音频的扩展录音之后,苹果通过解雇承包商并承诺暂停人工...
日期:09-09
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :