甲骨文爬虫网 大数据技术与应用：助力全民战疫，推动国产化替代加速上云

甲骨文爬虫网 大数据技术与应用：助力全民战疫，推动国产化替代加速上云

大数据确实正在改变我们的世界。

作者 |刘雪雪

@中国软件网出品

在这场突如其来的新型冠状病毒疫情下，中国大数据技术展现了惊人的力量：

追踪流动人口、快速发布当地疫情报告、覆盖各群体的健康码大数据服务、电商数据调动医疗资源、AI+大数据助力医药研发……

无论是传统的结构化数据，如人员信息、医院等医疗资源信息等，还是复杂的非结构化数据，如地理位置数据、图像数据、文本数据、语音数据等，各个层面的海量数据在客观、透明的基础上，利用不同的技术进行处理和分析，帮助全民抗击疫情。

这些应用的背后，是中国大数据技术和应用的进步。大数据基础软件自主研发成果不断。大数据软件国产化正在加速。大数据迁移到云端，为用户提供按需服务。金融、航空航天、新零售等行业大数据应用硕果累累。

数字商业世界，新时代创造新机遇，新技术创造更广阔空间。

随着数据量和类型不断增加，虽然单一数据平台处理一类数据的能力不断提高，但仍难以满足用户使用一个平台处理不同类型数据模型的需求。

人们还期望使用统一的平台来处理不同类型的数据，提高数据处理和分析的效率，降低成本。

01

用户呼唤多模型数据处理平台

大数据平台是包括大数据存储、处理和数据应用分析的综合数据开发平台。建设这样的大数据平台必然会面临很多问题：如何管理单个大集群；如何输入多源数据；当数据被访问时，如何高效地存储和查询数据，以及如何管理数据以避免形成数据沼泽。 ;如何保证数据安全，如何将数据呈现给用户等等，这些基本都是企业级大数据平台需要具备的能力。

IDC发布的2016-2020年生产数据量及增速

自2008年诞生以来，大数据平台一直是技术或工具的组合。是基于海量数据存储、不间断流数据计算、实时计算等场景的基础设施。

开源社区实际上已经开发了多种可以被市场用来组装大数据平台的组件。但由于涉及到公司内部的业务场景和模式，而且很难有全面掌握这些工具的人才，因此这些工具组合可能并不完全适用。

开源大数据平台工具

目前，针对一些单一的典型场景，市场上已经出现了不同的产品，并有众所周知的解决数据多样性的解决方案。

例如Hive用于结构化数据，Hbase用于动态列模型，文档数据库用于数据存储，高速NoSQL数据库Redis常用于会话缓存，图数据库Neo4J专注于满足各种复杂搜索需要。 Flink等，正在从实时计算引擎成为通用大数据引擎。

但这些产品都是孤立的，每个类别或类别只能解决一类问题。当用户拥有多种类型的数据时，他们必须使用不同类型的数据库并将它们混合在一起。

接受记者采访的一位不愿透露姓名的专家认为，新的数据类型包括传统的关系型结构化数据、半结构化和非结构化数据，以及新的业务业态（如物联网）和新的数据源（外部爬虫数据）。多元化数据的出现、新数据格式（如社交、游戏、地理）等，都对多模态异构数据处理产生需求。

接受记者采访的星环研发总监陆成认为，由于各个数据库独立运行，应用开发者或者客户必须搭建自己的一层来解决不同库之间数据的导入导出、不同库数据的一致性、以及数据的整合。集群整体运维等一系列问题。因此，混合使用方式操作不方便、运维复杂的问题将日益凸显。

如今，客户越来越不能容忍这种架构，希望利用大数据平台来解决各种复杂的数据结构问题。

星环科技创始人兼CEO孙元浩在接受中国软件网记者采访时认为，目前大数据行业一个明显的发展趋势是推出统一的大数据平台，能够处理多种数据模型，并提供统一的编程语言。统一的计算引擎，采用统一的存储管理系统和统一的资源调度系统，可以支持多种不同的数据模型。

孙元浩表示：“星环科技将这个统一的大数据平台称为多模型异构数据处理平台。”

02

两种发展路径，两种不同结果

在大数据软件的发展中，技术路线的发展是辉煌而耀眼的。毕竟这是一个巨大的市场机会，创造了大量的市场机会，也会催生微软、谷歌、AWS这样的行业巨头。

虽然专家普遍将大数据的技术路线分为Spark路线、自主研发路线、沿用上一代MPP架构的路线，但记者认为，在开发多模型大数据平台方面，可以分为几种主要有两条技术路线，一是开源路线，二是自主研发路线。

无论技术路线如何，一些数据库或大数据厂商都提出了自己的多模型数据处理的“行业解决方案”，有的推出了自己的“数据云平台”。虽然有各种各样的描述，但它解决的核心问题和核心架构是解决异构数据库之间的数据同步等底层问题，将客户从这些底层问题中解放出来，让其像使用单一数据平台一样简单易用。从而为客户创造价值。

开源路线的代表是Spark。

说到大数据，我们还是不得不提一下。因为海量数据可以分布式存储，也可以分布式访问和处理。过去，它几乎成为大数据的代名词。

专家认为，作为大数据基础软件的主要技术路线，基于开源开发的最大优势是可处理的数据量大、运行稳定。当节点资源不增加时，虽然运行速度不占优势，但非常稳定。这既是优点也是缺点。它在批处理方面的优势并不能掩盖其在交互式分析和流处理方面的缺点。

在大数据的发展中，开源大数据平台占据着至关重要的地位。 ,,MapR 是世界三驾马车。

2018年，由于连续亏损，两大巨头公司宣布以股票形式对等并购。但合并后该公司股价持续下跌。

2019年6月，MapR警告称，该公司在收入方面遇到困难，正在寻求克服困难的措施。随后8月6日，慧与HPE宣布收购MapR的资产，包括MapR的技术、知识产权、人工智能和数据管理专业知识。

Spark技术的代表公司是。该公司由加州大学伯克利分校负责开发流行的开源 Spark 数据处理框架的团队创立。公司帮助大型企业快速处理、整合和分析大量数据。其统一分析平台旨在在孤立的数据存储系统之间创建数字管道，并帮助工程师和数据科学家更好地沟通。

公司业务方向转向“大数据分析和人工智能解决方案”。现在业界更多地将其视为一家人工智能公司。

对于多模型数据处理，开源的做法是推出多模型数据库。当然，这些数据库也是开源的。

它是一个开源的、原生的多模型NoSQL数据库，同时支持Doc、Graph和K/V存储。它拥有统一的内核和适用于所有三种数据模型的统一数据库查询语言——AQL（Query），非常适合构建高性能应用程序和服务。

它还允许在单个查询中混合三个数据模型。因此，用户可以在单个查询中混合使用多个数据模型，而无需在不同数据模型之间“切换”或执行数据传输过程，并且所有三种数据模型都支持水平扩展。

2018年初，完成1156万美元融资，受到投资者追捧。 2020年初，3.6发布。

多模型数据库的优点

但优点是它只有一个内核、一种查询语言、支持三种数据模型。其缺点是仅支持三种数据模型，应用受到限制。

对于一些单一的典型场景，市场上的不同产品和知名解决方案大多都是开源系统。因此，支持多模型数据的产品很难放弃自身作为开源项目的优势，而是在原有数据模型支持的基础上进行扩展。 ，还有更多新的开源项目。

另一条技术路线是以星环科技为代表的自主开发。

中国用户需要处理的数据量远远超过其他国家以往的需求。同时，中国用户对应用场景的创新意识非常强，需要处理的场景复杂度超过其他国家的用户。

星环科技专注于为用户解决这些困难，走出了一条自主研发的技术创新之路。星环的产品体系从最早的分析型数据库，从底层扩展到闪存加速的分析型数据库、实时计算、全文检索数据库、图数据库、数据库、交易数据库、基于容器技术的数据云等。资源调度到上述计算引擎已经形成了有别于Spark、具有星链特点的技术路线，并在多个领域实现了技术突破。

Data Hub（TDH）是星环科技推出的企业级大数据平台。经过7年的快速演进，不断成熟，在邮政、交通、金融、政府等行业积累了大量的部署和实施经验。大数据技术领域的拓展与探索。

5月15日，星环科技推出一站式大数据平台TDH 7.0版本，专注于一站式多模式异构数据处理，打破了行业常见的不同数据库产品之间切换的不便，处理多种数据。通过一个平台建立数据库。这种数据模型使得用户不需要维护多个数据库成为现实。

陆成告诉中国软件网记者，TDH 7.0作为多模型数据处理平台，可以提供统一的数据操作/查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架。满足使用多模式异构平台处理多种数据的需要。

星环一站式多模式加工平台示意图

同时，TDH 7.0版本一站式多模异构数据处理性能突出，彻底解决了大数据发展的一大瓶颈。据介绍，TDH从上到下分为五个级别：

最上面一层是SQL层，开发统一的SQL引擎，兼容各种SQL“方言”；

计算层开发统一计算引擎，优化和分配统一计算任务；

在存储模型层下，TDH平台支持七种不同的存储模型，分别适用于不同的应用场景，包括图存储Graph、文档存储、全文检索Full-text、键值存储Key-Value、行列混合存储等。列存储、行存储、时空地理存储、非结构化对象存储。

存储管理层开发了统一的存储管理引擎，提供数据块分布管理、数据多副本一致性管理、文件服务管理等功能。

最底层的资源调度层开发了统一的资源调度框架，通过容器化编排来统一调度计算、存储和网络资源。

统一数据处理平台的几大优势：

多模型数据处理平台的核心是提供统一的SQL编程接口、统一的计算引擎、统一的综合存储管理系统和统一的销售框架。因此，星环TDH 7.0的优势就体现在这些主要特性的统一和集成上。

TDH 7.0的统一数据处理平台支持7种以上不同的数据模型，支持结构化数据和非结构化数据，支持媒体存储、全行搜索、索引、图存储、图数据库、存储文档，还可以存储时空数据。这是TDH 7.0的第一大优势。

星链科技是第一家提供可跨越多种数据模型的统一计算引擎的公司。虽然很多公司也在尝试提供标准的数据接口，但由于底层数据库不同，没有统一的计算引擎。虽然有统一的SQL接口，但是很难将不同的接口静态路由到功能数据库。优越的。因此，需要一个动态计算引擎来动态调度接口，并对执行计划进行统一管理。

同时，星环科技TDH 7.0还提出了统一的分布式管理系统，即实现数据分布管理和数据一致性的数据管理系统。它比以前的 HVS 更高效、更一致。

一条数据可以存储在同一平台上的多个模型中。当应用发生变化时，用户可以使用最佳的存储模型来响应查询需求，运行效率会更高。同时，由于一个平台处理多种数据模型，整体运维成本和管理成本都会降低。

孙元浩表示，未来的数据平台应该是多模型的，但用户应该像数据库一样使用它们。

匿名受访专家认为，星环的解决方案不再采用传统的数据聚合方式，而是采用更加轻量级的模型，并利用分布式存储管理系统实现逻辑上的统一存储，然后在此基础上进行构建。统一计算能力。这一变化无疑将为多模式异构数据的使用带来更大的便利。

一位使用TDH 7.0多模型数据处理平台的用户表示，应用中往往需要对一条数据进行多种不同的模型分析，比如解析查询、模糊匹配查询、关系推理查询等，TDH可以采用多种最优模型。针对不同需求的存储模型，例如用于分析查询的行列混合存储、用于模糊匹配查询的全文检索、用于关系推理查询的图数据存储。多种存储模式可以极大地优化各种场景下的查询和分析性能。

传统的混合模型中，不同模型数据之间的关联分析需要跨数据库的数据导入和导出，非常复杂。通过统一的数据管理，简单的SQL语句就可以直接进行相关查询，就像操作同一个数据库一样，使得应用程序开发非常方便。

传统的混合模型中，不同的模型需要运维不同的数据库。尤其是当相同的数据存储在多个数据库中时，数据一致性成为一个很大的挑战。另外，整体数据情况的运维需要各个运维子系统的聚合和二次开发，造成巨大的运维成本。采用统一的数据管理，直接保证产品底层服务的数据一致性，同时对多模型数据进行整体运维，是一个天然的集成系统。

03

大数据更新换代即将到来

“卡脖子”会成为过去吗？

多模型数据处理平台的进步只是大数据技术发展的一个缩影。

陆成认为，多模式异构数据平台未来的发展方向之一是积极推动主要服务、组件、模块的标准化。由于数据相关技术极其复杂，技术日新月异，覆盖所有类型的基础服务、组件和模块难度极大。通过建立一定的标准、制定一定的规范，更多的企业可以参与其中。无论是开源社区还是闭源厂商，都可以贡献自己的力量，创造自己的价值。

二是构建良性生态系统。平台除了最基本的功能外，还应该能够支持更多的上层应用，为不同的行业、公司、业务创造更高的价值。这对基础数据平台的生态提出了巨大的挑战。越来越多的应用和更多厂商的适配接入，将创造出更加良性的生态循环，从而推动整个产品和平台的发展。繁荣。

三是坚持探索新技术。面对当今日益复杂的场景，我们不能仅仅停留在解决单点问题上。面对日益复杂的场景，不同技术的结合能否创造新的价值？是否需要新技术来解决复杂的场景？这些领域都值得深入研究和开发探索，比如目前讨论较多的批流集成、检索与分析的同时使用等。

开源路线和自主研发路线正在演绎国内在大数据领域的又一次技术替代。

近年来，大数据产业快速发展，应用层和基础层软件不断推进。然而，复杂的实施和缓慢的技术进步不断遇到挑战，各种替代技术不断出现。

因此，在大数据领域，由于开源技术的日益复杂，用户采用商业系统或云服务提供商的技术解决方案成为了一个主要方向。

从技术上来说，我们遇到了难以克服的挑战。它是根据15年前的技术环境设计的。当今的硬件技术环境已经发生了根本性的变化。 10G网络很流行，存储每秒可以执行数百万次操作。当时的架构已经完全跟不上当今硬件的发展。 。

另一个原因是，该软件是模仿的系统构建的，其最初的目标是用于互联网公司的日志处理和营销推广场景。当这项技术应用到各行各业时，发现其在功能缺失、一致性可靠性、高性能并发等问题上存在局限性。无法突破，有的分析机构甚至说已经死了。

过去，因为开源软件的出现，大家常常有一种感觉，既然有免费软件，那就用免费软件吧。但后来我逐渐认识到这种模式的问题。如果要使用开源，就需要大量的专业技术人员。您必须知道它是一个包含数百个组件的软件堆栈。如何搭建一个大数据平台并维护它成为一个大数据平台。挑战。

许多云服务提供商都会推出自己开发的产品。目前，当大数据上云时，很多云服务商都会基于开源软件和自研系统为用户搭建大数据平台，支持用户大数据应用的开发和维护。目前，它正在成为一个主要方向。

许多大数据专业公司坚持自主研发路线。星环科技CEO孙元浩表示，星环科技坚持大数据基础软件完全自主研发，打造了完全自研的技术路线。

大数据领域的另一个替代是，国产大数据基础软件产品已经开始在不同领域替代、IBM等国外软件。国内很多大数据平台已经开始在很多行业替代、IBM，甚至一些国外供应商的产品。

记者了解到，中兴通讯近日与国内大数据公司永红科技签约，利用后者提供的具有自主知识产权的一站式大数据平台和可视化分析解决方案，实现从企业管理到客户的精细化运营。运营，提高企业运营效率，营造合作共赢的产业生态环境。

接受记者采访的永红科技市场总监刘东旭表示，本地化替代已经从软硬件本地化的“去IOE”（IBM、IBM、EMC）延伸到“去SOA”（SAP等） .) 进行顶层设计咨询。确保全面信息安全。大数据领域的国产替代将会更快。

孙元浩表示，国外产品的替代主要是技术革命造成的。不仅在中国，在美国，创新的大数据基础软件已经开始取代传统的企业数据库等产品。面对不断增加的数据量，传统软件的处理性能已经不能满足用户需求，而分布式技术带来的性能飞跃是客户取代它的重要动力。在新技术领域，星环科技将更快行动，取代更多成功项目。

此外，国外大数据软件也已“水土不服”。由于国内数据量通常比国外大一到两个数量级，数据应用也更加复杂。 1TB和100TB在数据分析中是两个完全不同的东西。由于国外没有这样的应用场景，国外的大数据软件在处理此类问题上先天不足。国产软件在设计时会充分考虑这些情况。

帆软营销经理丁明浩告诉记者，大数据本地化最直接的效果就是降低采购成本和运维成本。同时，国内企业可以为企业定制在线运营管理过程中遇到的各种问题。 。

工业和信息化部新闻发言人、信息化发展司司长谢少峰表示，在基础软硬件方面，将实施国家重大软件工程，重点解决关键软件“卡壳”问题，努力推进工业技术软件化。加快推广软件定义网络应用。

大数据领域的更替正在软件、应用等不同领域进行，大数据领域的“卡脖子”已经成为过去式。