华为启动数据基础设施战略 开源数据虚拟化引擎

作者:新濠天地发布时间:2019-11-23 19:54

  中新网客户端11月19日电 (程春雨)面向鲲鹏计算产业,华为Cloud&AI产品与服务总裁侯金龙19日宣布启动数据基础设施战略并开源数据虚拟化引擎HetuEngine(河图引擎),希望让合作伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。

2019全球数据基础设施论坛现场。

2019全球数据基础设施论坛现场。

  “开源版本的河图引擎叫openHetu,将于2020年6月上线。华为将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。”

  11月19日,华为在深圳举办2019全球数据基础设施论坛。侯金龙在论坛上发表演讲时宣布了上述消息。这是继今年9月基于“鲲鹏+昇腾”双引擎全面启航计算战略后,华为从数据角度对计算战略的再度阐述。

  据侯金龙介绍,华为数据基础设施战略围绕数据“采-存-算-管-用”的全生命周期,诠释了华为通过提供融合、智能、开放的数据基础设施,使能各行各业客户释放数据价值,让智能无所不及。

  智能时代,算力是新生产力,数据是新生产资料,而5G、AI和云成为新生产工具。自动驾驶、4K/8K视频、AR/VR、物联网等应用的兴起,为企业带来海量的数据增长和分析处理需求,但需求与资源之间存在巨大落差。

  侯金龙称,随着5G、AI和云的普及,数据量正以惊人的速度增长。如从1080P到4K、8K,视频数据量将提升40倍,从4K到4KVR要增加6倍以上;未来每辆自动驾驶汽车每天就会产生高达64TB数据,等等。这些海量数据增长背后需要海量存储和计算的资源,数据增长是无限的,而存储资源却是有限的。

  根据预测,全球数据量将从2018年的33ZB快速增长到2025年的180ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。

  剧增的数据正在改变社会生产和生活,但也带来找数难、取数难、用数难等挑战。侯金龙称,华为面向鲲鹏计算产业,全面启动数据基础设施战略,提供融合、智能、开放的数据基础设施,对数据的采、存、算、管、用实施端到端的整合和优化,致力于让数据在全生命周期内好用,数据的每比特价值最大,每比特成本最优。

2019全球数据基础设施论坛现场。

2019全球数据基础设施论坛现场。

  据介绍,华为数据基础设施包括数据存储、数据处理、数据管理系统、数据虚拟化引擎等,包含以下三大特征:

  融合:基于在存储、数据库、大数据等技术领域的突破,打破“存储内部系统墙”、“数据库与存储链路墙”、“大数据与存储配置墙”、“数据库与大数据协同墙”四堵墙。这四堵墙的打破,让数据融合更彻底,帮助客户实现TCO降低30%以上、据访问和处理性能提升2倍、分析效率提升100%。

  智能:基于AI芯片、存储和华为云的三层架构,通过云上云下结合,云上训练和云下推理,让系统越用越快、越用越省。其中,依托昇腾处理器的AI能力,自动学习和识别IO流,提升Cache预取命中率,系统整体性能提升20%;依托鲲鹏处理器的多核算力,根据不同的数据类型,实时优化数据缩减算法,TCO降低25%;结合华为云自身运大规模维运营经验,当前可以实现提前14天预测硬盘故障,提前60天预测性能瓶颈,提前365天预测容量不足,其中30%的故障可以自我修复。

  开放:针对找数难、取数难、用数难的问题,推出数据虚拟化引擎HetuEngine,屏蔽数据类型差异、地域差异、语法差异,让数据治理、使用简单。HetuEngine拥有“一个入口、一个目录、一份数据、统一安全”四大核心能力,通过屏蔽数据基础设施的复杂度,让伙伴像使用“数据库”一样使用“大数据”,复用现有的生态、工具和技能,提升开发效率2到10倍。(完)