6 月 29 日，高性能计算云（HPC Cloud）产业发展论坛在北京举办，该论坛由中国信息通信研究院指导，超级计算创新联盟与算网融合产业及标准推进委员会共同组织召开。华为数据存储解决方案首席架构师赵顺存，在此次会议中发表了“华为数据密集型超算技术，助力超算互联网建设”的主题演讲。他解读了在“东数西算”、AI 走向大模型多模态、数据密集型范式等时代背景下，超算互联网面临的新趋势和新挑战，并全面阐述了华为超算互联网数据一体化方案，旨在进一步与产业伙伴达成共识，充分发挥高性能计算云在我国算力和存力发展中的赋能作用。
| |||||||||||||||||||||||||||
| 超算互联网登场，数据质量决定 AI 智能高度
数据密集型范式由关系型数据库的鼻祖吉姆・格雷（Jim Gray）提出，他将科学研究分为四类范式，依次为实验科学、理论科学、计算科学和数据密集型（Data-Intensive Scientific Discovery）。无论是“东数西算”战略加快了全国一体化大数据中心的建设，还是自动驾驶、基因时空组学等新兴业务爆发，带来的大量非结构化数据，都加速了数据密集型范式的到来，这为超算互联网的登场，搭建了坚实的时代舞台。
超算互联网是一种以超级计算机和高速互联网为基础的先进计算基础设施，它以高速网络连接分布各地的超算中心，支持算力、数据、软件、应用等资源的共享与交易，同时向用户提供多样化的算力服务。当前超算互联网的发展呈现如下趋势：一方面，以“数”为基石，计算的实施是建立在数据之上的，高效的数据流动是算力流动的基础；另一方面，AI 朝着大模型多模态的方向演进，数据质量决定 AI 智能高度，而数据存储成为了关键要素。
机遇往往与挑战并存，赵顺存表示，在超算互联网高速发展的同时，还面临着如下挑战：
●数字经济的快速增长让多样化业务涌现，而大量数据孤岛的存在，让数据的共享和高效访问面临困境；
●跨域和跨业务数据调度的智能化程度不高，对人工操作过分依赖，导致数据传输和流动的效率低下；
●AI 向着大模型多模态演进，AI 训练伴随高并发数据分析，且生成式 AI 新应用急剧爆发，亟需高吞吐、高性能的存储基础设施支撑；
●安全问题贯穿数据产生、流动、使用与归档的全生命周期，例如数据在流转过程中，可能会非法流出安全区域，导致数据泄露。
| 谋时而动，华为打造超算互联网数据一体化方案
网络的连通为超算互联网创造了基本条件，而多超算中心的数据互联则是数据价值有效挖掘的关键。为助力超算互联网行稳致远，华为潜心打造了基于 OceanStor Pacific 分布式存储的“超算互联网数据一体化方案”，该方案旨在通过基于存储的数据管理技术创新，实现跨域跨超算中心的全局数据管理、高效和安全的数据调用，主要包含如下几个关键举措：
第一，通过 GFS（Global File System）全局文件系统，将多超算中心的数据连接起来，实现跨系统、跨地域的全局统一数据视图和调度，任意位置的数据都可见且免迁移，即取即用；
第二，支持数据中心内部和数据中心与云之间的热、温、冷数据自动分级，让数据智能地流动起来，且压缩后的数据传输能够让数据流动更高效，更省带宽和空间资源；
第三，面向混合负载的设计，一方面实现了多数据访问协议无损互通，打破了文件、对象、大数据间的壁垒，让一份数据免搬迁，且无性能和语义损耗，高效的数据访问加速了数据分析进程；另一方面，一套系统满足大、小文件高带宽和高吞吐的领先设计，完美满足了 AI 类海量数据分析与仿真业务对效率的苛刻诉求；
第四，强化数据韧性，推出端到端的跨域数据共享与流动安全方案，增强超算互联网数据的可靠性和安全性，保障业务的连续性；
第五，支持数据可信流通，防止数据滥用和数据泄密，实现数据使用可追溯。
这一方案已广泛投入实践，华为分布式存储与行业客户联合创新，率先将超算互联网数据一体化方案理念应用于山东省 16 地市超算互联网的构建，并取得了显著成效。
迈入数据密集型范式的新阶段，AI 业务随之高速增长，数字成为了时代舞台上当之无愧的主角，数据存储的角色也愈发关键。赵顺存表示，华为 OceanStor Pacific 分布式存储将持续打造贴合时代需求的数据存储产品和解决方案，助力多样化新兴业务蓬勃发展，推动我国算力和存力建设，为构筑更坚固的数字世界添砖加瓦。
(来源：IT之家)
京公网安备 110105001605号