用友AE：提升大数据下的大规模数据管理能力
11.07.2014 12:43
本文来源: 合肥服务外包
用友大数据处理平台AE是解决企业大规模结构化和非结构化数据的存储、集成整合和分析计算的底层基础平台，支撑企业上层的商业分析等基于数据处理的产品和应用。基于这些产品或者产品组合，可为企业提供专业的数据处理和分析计算解决方案。 用友结构化大数据处理产品体系涵盖传统数据处理的功能和能力，同时，基于ShareNothing、MPP架构的列存式数据仓库产品，和用友自主研发的采用ROLAP架构的和内存分析技术的分析引擎。可进行大规模结构化数据分析，实现分析场景50倍的性能提升。可支持PB级结构化数据以及非结构化数据的统一的存储、管理和分析。 用友AE结构化大数据处理包含四大类产品。建模工具、数据集成、分析引擎、数据挖掘。 统一建模主要进行数据仓库模型、语义模型和多维模型的定义、发布。统一建模产品产生元数据，同时也使用元数据。例如，多维建模工具定义多维模型，存储到元数据存储库存储为多维分析元数据，同时再定义多维模型时需要用到数据仓库元数据，建立多维模型与数据仓库模型的映射关系，作为OLAP引擎的执行多维分析的主要依据。 AE数据集成主要涵盖传统ETL、ELT的能力，提供了丰富的数据处理、转换功能组件，同时可集成实时数据复制、主数据管理产品(MDM)，为企业提供一个全面的数据集成处理解决方案;实时数据集成除了可集成到数据集成产品中提供实时能力之外，也可单独部署，满足企业实时数据同步、灾备等需要。 用友AE数据集成 分析处理引擎是AE的核心部分。它是上层BQ分析展现产品和底层数据存储层的桥梁，主要包括查询引擎、报表引擎、多维分析(OLAP)引擎。多维分析引擎基于ROLAP技术，实现上层多维立分析方体模型对底层数据仓库数据的动态实时多维分析展现操作，支持MDX、XMLA，应用内存分析技术，可以快速进行大规模数据的即时分析。基于列存式数据库，可实现数百GB数据的即时多维分析操作的秒级响应。 数据挖掘提供向导化的模型训练，预测，及其对应的可视化展现。实现数据挖掘模型训练，分析执行结果的管理等功能。预置时间序列挖掘算法，如季节分析模型，差分自回归模型等。数据挖掘基于开源R平台，有非常丰富的算法支持，算法的更新推出速度快。另外具有高性价比，与R语言整合后可以大幅降低数据挖掘项目的实施成本。 用友AE数据处理引擎 大数据时代，企业需要对大规模多种类型(结构化、半结构化、非结构化)的数据进行集中、统一、快速的处理和分析来支持业务增长。传统的基于关系数据存储系统的技术和产品无法进行大规模、非结构化数据的处理，而新兴的各种开源大数据处理产品尚未形成成熟的标准化的应用产品和框架，使用难度大，技术集成度复杂，不能满足业务发展需求。为解决企业快速、低成本的运用Hadoop，需要软件服务厂商提供一个整合性的产品技术解决方案，于是，便有了用友UDH。 用友UDH，基于开源hadoop，hive，storm、Spark等进行了优化，按照企业数据处理与分析的应用模式，开发了一系列管理工具，涵盖大规模非结构化数据集成、存储和分析计算。单集群可达100台以上，可管理PB级数据。 企业想要想要建成一个Hadoop系统，即使有较大技术团队和较强技术力量储备的企业和组织，至少也要一年的时间，才有办法一个Hadoop的集群，做到可以商业运行的阶段。使用UDH，会把整个系统的人力投入降到1到2个工程师就可以去运维一个相当大规模的一个集群，而且把时间缩短到大概在一个月左右，这对企业来讲是非常重要，因为它意味着更小的成本、更快的投资回报。 另外，企业用户如果对Hadoop整个产品体系的发展、演变和技术架构不是很熟悉的情况下，要部署HA，十分困难。尤其安全的部分，如何实现对数据的强认，也相当复杂。通过使用UDH，这些东西可以统统做成自动化，用户基本上不会感觉到什么问题。 用友AE属于用友UAP平台的一部分，结合UAP平台的其他产品，还可以为客户提供在全企业级更广泛的综合数据治理平台化解决方案，实现向数据驱动的企业跨越。
本文来源: 合肥服务外包
11.07.2014 12:43