ITBear旗下自媒体矩阵:

用友大数据之UDH大数据处理平台亮相数博会

   时间:2016-05-30 10:23:02 来源:互联网编辑:星辉 发表评论无障碍通道

摘 要:用友UDH大数据处理平台亮相数博会。UDH基于 Hadoop 开源产品体系,同时开发了一系列解决企业大数据应用需求的产品和组件,使企业可实现大规模结构化、非结构化数据的集成、分析处理。

5月26-29日,中国大数据产业峰会在贵阳召开。用友iUAP企业互联网开放平台全产品线与用友大数据整体解决方案在此次数博会亮相,向大家展示其互联网平台的各项能力,尤其在大数据方面的成果与应用实践。

用友企业大数据管理平台,为帮助企业处理分析内外部系统数据提供了一系列服务与工具,能够支持对企业内部数据以及互联网相关数据的采集、存储、管理、处理、分析、展现、应用,支持结构化和非结构化数据处理,同时通过云服务和移动化的形式增强了用户随时随地对数据进行获取与分析的能力。

用友大数据整体解决方案包含分析应用、分析服务、大数据平台三大部分。其中大数据处理平台UDH属于大数据平台能力的一部分。

用友UDH大数据处理平台,基于 Hadoop 开源产品体系。UDH 开发了一系列解决企业大数据应用需求的产品和组件,使企业可实现大规模结构化、非结构化数据的集成、分析处理。

用友 UDH 在开源社区软件的基础上,包含了 Hadoop 、Spark大部分的主流组件,支持批量,实时处理,内存计算,搜索等特性。并且对这些组件在安全性,管理,性能,高可用等方面进行了优化。同时整合数据集成工具,集群管理和监控工具,增强了其企业级应用特性。让企业可以更快,更准,更稳地从各类繁杂无序的海量数据中洞察商机。

用友UDH可支持以下功能:

一、自动安装部署:可实现自动安装部署,提供灵活的服务定制部署,支持组建参数的自定义;

二、组件管理与监控:提供组件的统一管理服务,通过可视化的方式实时监控集群状态,提供状态预警和消息推送服务;

三、基本信息浏览和配置:支持组件基本信息的查看,健康指标的实时监测,支持组件的基本操作,支持组件的参数调优;

四、系统服务监控:支持系统服务监控,可根据不同的指标(系统和服务)可视化方式进行监控;

五、主机资源监控和服务管理:支持主机资源监控和服务管理(启动/停止/重启/参数配置等);

六、管理与安全:支持用户与权限的管理,支持集群的高可用HA设置,支持集群服务组件的版本和依赖库管理。

七、数据处理服务:支持SQL,Pig脚本对数据进行查询,对结果进行可视化分析。支持历史查询记录的保存,支持可视化的工作流定义,支持自定义的数据处理流程。

用友UDH可应用于以下场景:

数据预处理。

场景:数据格式解析,清洗,图片特征提取等海量数据的批量处理

方案:利用UDH的分布式并行处理能力,生成结构化数据,回写到数据仓库中(如列式数据库),用于统计分析

特点:高吞吐量,计算能力具备横向扩展模式,适用于实时性不高的离线批量处理。

数据卸载。

场景:长期积累并且不再频繁访问的数据(结构化,非结构化),作为数据资产,需要集中的可靠存储

方案:利用UDH提供的多副本存储能力,结合DI的数据加载,实现数据的快速迁移和可靠存储

特点:可靠性(多副本),高性能(与DI整合,快速加载和读取),性价比(X86服务器)

三,海量数据深度分析。

场景:海量低价值密度的数据探索与深度分析

方案:利用NoSQL数据库和MPP架构的列式数据仓库引擎,提供海量数据的处理。结合用友AE的查询分析引擎,实现数据的高效统一查询分析

特点:高性能,内存计算,横向扩展,统一SQL接口

四,(近)实时的数据分析

场景:传感器数据,GPS数据,事件流等流数据,进行实时监控,分析,预警

方案:利用数据采集和消息队列组件,完成数据的实时获取,通过HBASE,Impala实现数据的获取以支撑实时的应用需求

特点:高吞吐量,(近)实时高性能

用友大数据,做企业的首席数据官!

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version