Dell EMC流数据平台的技术构建
2020-03-11 13:11:54   来源：东方头条   

原标题：Dell EMC流数据平台的技术构建

根据IDC发布的《2017-2021全球存储大数据和分析预测》报告显示，到2025年，全球数据的产生中将有超过1/4的数据为实时数据。可见，随着大数据时代的来临，流数据的处理将成为各行各业最具价值的课题之一。

为了应对日益增长的流数据挑战，戴尔科技集团日前宣布，通过提供Dell EMC流数据平台来帮助用户解决流数据处理难题。上周，我们跟大家分享了Dell EMC流数据平台的优势和具体用例 。

本周，我们来讲讲 Dell EMC流数据平台的技术构建。

Dell EMC流数据平台的技术构建

Dell EMC流数据平台以Pravega和Flink为基础，加入企业特性而构建。它的低延时的实时处理能力可以让企业用户从已有的数据集中产生新的商业模式，带来新的经济效益。

Pravega和 Flink结合各自在实时数据、历史数据上存储和计算的优势，在保障极高存储效率的同时，还能够进一步降低企业在数据存储和运维的成本。

Pravega

Pravega是戴尔科技集团从零开始构建的存储系统，取梵语中“Good Speed”之意，用于存储和分析来自各种物联网终端的大量数据，其设计宗旨是成为流的实时存储解决方案。

Pravega能够应对瞬时的数据洪峰，做到“削峰填谷”，让系统自动地伴随数据到达速率的变化而伸缩，既能够在数据峰值时进行扩容提升瞬时处理能力，又能在数据谷值时进行缩容节省运行成本，而读写客户端无需额外进行调整。这一特性不仅非常适合边缘应用场景，对企业也尤其重要，Devops开销在企业中都会被归入产品TCO , 所以产品自身的动态自适应能力将会是必备条件。

并且， Pravega从设计之初就是云原生应用，可以在各大公有/私有云平台上进行部署和运行。 它的组件都是以低耦合的微服务形式存在，通过运行多个服务实例保证高可用性。每个服务实例运行于单独的容器中，使用容器实现服务的相互隔离。

可以使用容器编排工具（如Kubernetes）进行统一的服务发现、治理和编排，提高资源利用率，降低运营成本。

Flink

而Apache Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。 Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算，因此得到了国内外的广泛认可和采用，是时下最流行的开源技术之一。

重要回顾

2019年， 戴尔科技集团作为金牌赞助商的身份参加了 Flink Forward Asia（以下简称“FFA”）大会，并派出核心研发团队的领导和成员，通过主题演讲、分会场讲座等形式讲述戴尔科技的流式数据存储解决方案： Pravega，以及在此之上结合Flink打造批流一体的流数据平台。

关于FFA

Flink Forward是由Apache官方授权的会议，Flink Forward最早举办于欧洲，而后扩展到北美。2018年12月在北京举办了第一届Flink Forward China，2019年，Flink Forward China正式升级为 Flink Forward Asia，是目前规模最大、参与人数最多的 Flink Forward 大会。

大会上， 戴尔科技集团副总裁Srikanth Satya，以及 软件开发总监滕昱上台演进，阐述Pravega流式存储在流式数据计算中的重要角色，结合流式存储与流式计算平台的流式数据平台将在未来企业级应用发挥重要作用。

▲戴尔科技集团副总裁Srikanth Satya

▲戴尔科技集团软件开发总监滕昱

此外， 戴尔科技集团资深卓越工程师，同时也是Apache首席成员之一，Apache Zookeeper和Pravega最初原作者的Flavio Junqueira也参加了本次大会，并对Pravega进行更为详细的技术阐述。

▲戴尔科技集团资深卓越工程师 Flavio Junqueira

Flavio从Pravega整体架构的设计出发，介绍了 Pravega的exactly once语义以及自动扩展等特性。在技术分享中，Flavio还介绍了Flink Connector。

Flink Connector是用来帮助Flink应用程序读写Pravega Stream的工具，它降低了Flink开发者使用Pravega的难度，让开发者可以更多地专注于计算业务逻辑。通过Flink Connector，开发者 一方面把Pravega作为流式存储系统和消息总线， 另一方面把Flink作为流式数据计算单元，从而构造出一个端到端的流式数据处理管道。

统一数据处理是一个充满挑战的领域， 通过Pravega与Flink相结合的企业级解决方案，可以彻底简化现有数据分析架构的复杂性，以及数据冗余，缺少可靠持久等问题，最终实现一个真正意义上的端到端的流/批统一数据处理框架。

技术之所以在不断发展，就是因为现有技术不能满足现有应用的需求。作为致力于转变业务模式，塑造创新未来，并开发技术推动人类进步的科技企业， 戴尔科技集团会继续为推动人类进步的前沿科技领域，做出自己的一份贡献。