半岛全站11月29日，正在北京实行的2023人为智能预备大会(AICC)上，海潮音信高级副总裁刘军正在中央演讲《智算力体例更始 加快天生式AI家产发达》平分享了海潮音信对付智算力体例更始和AI家产发达的斟酌。

　　眼前，天生式人为智能和大模子胀动算力需求高速延长，怎样通过智算力体例来更好地撑持AI更始与利用，依然成为智算家产的要害。应对天生式AI的发达和挑衅，该当从算力体例创新、AI软件根柢方法（AI Infra）、算法模子和家爆发态4个方面来举办归纳考量，从而加快智能家产的落地。

　　正在算力体例层面，天生式人为智能面对的挑衅苛重来自预备、数据和互联三个方面：

　　正在预备层面，算力多元化趋向愈发昭彰，导致AI算力体例开辟适配周期长、定造开辟进入大、生意转移韶华久创新。另表，大模子演练对算力界限央求高，正在单芯片算力有限的情状下，务必通过构修更大界限的集群来取得功能的扩展。

　　正在数据层面，大模子从文本、图片等单模态向多模态、跨模态演进，演练的数据集到达TB级以至PB级，且区别功课阶段对付数据存储的央求展示多元化趋向。

　　正在互联层面，古代RoCE搜集因ECMP哈希不均导致40%以上的搜集带宽被挥霍，且尾时延高导致搜集通讯韶华占比演练韶华高达40%，极大下降了预备功用。同时，搜集是集群共享资源，当集群界限到达必然量级后，搜集功能震荡会影响到完全预备资源的行使率，搜集滞碍会影响数十个以至更多加快卡的连通性。

　　面临三重挑衅，海潮音信总结了多年产物研发和用户供职体味，提出三个别处置之道。

　　正在预备方面，起首要针对多元算力，以团结的体例架构和团结的接口类型来兼容各式AI加快卡，保证芯片算力的高效开释。海潮音信早正在2018年就出力绽放多元的AI算力平台计划，最新颁布的G7多元算力平台是业界独一可能同时兼容SXM、OAI加快卡并完成8卡全互联、16卡全互联和羼杂立方互联体例拓扑的AI算力平台。为了保证更大界限的节点扩展功能，海潮音信研造的绽放加快预备架构赞成PCIe、RocE和多种私有互联同意，节点内和跨节点卡间互联最大到达896 GB/s，跨节点通过免网卡RDMA完成高效扩展，集群功能加快比高出90%。

　　正在数据存储方面，针对大模子的数据存储需求，海潮音信正在业界率先完成了一套集群体例同时赞成文献、对象、大数据等多种非布局化同意的无损互访，同时赞成闪存、磁盘、磁带、光盘四类存储介质，并赞成数据全人命周期热、温、冷、冰四级存储处分，以一套存储架构赞成一个数据核心，真正完成了数据协调、处分协调。

　　正在搜集互联方面，海潮音信专为天生式AI预备场景颁布旗舰51.2T高功能调换机，为企业级智算搜集供应高模糊、高可扩展、高牢靠的智算搜集产物及计划，处置了古代RoCE计划广大存正在的有用带宽低、尾时延高、滞碍收敛慢等题目，将大模子演练功能擢升38%以上，功能迫近InfiniBand，帮力AI用户高效开释大模子临蓐力。

　　大模子算法开辟的链条冗长，这意味着需求诸多的工程化器材撑持。以是，正在算力体各异，AI软件根柢方法（AI Infra）也亟需更始。

　　AIGC大模子开辟是一项极其杂乱的体例工程，即使处置了底层算力需要的题目，仍面对修不了和用欠好的题目。“修欠好”是指构修算力平台不只需求供职器、存储、搜集等硬件集成,还需求酌量区别硬件和软件之间的兼容性和版本采用，确保驱动和器材的适配性和安稳性；“用欠好”则呈现正在算力平台功用低、安稳性亏空、滞碍频发等实际困扰。

　　为加快模子临蓐和落地利用，海潮音信正在AI Infra层面开辟了大模子智算软件栈OGAI (Open GenAI Infra)。正在算力安置方面，OGAI开源了业界首个AI算力集群体例情况安置计划PODsys；正在大界限演练的长时保证方面，从算力改变平台层完成了自愿化断点续训；正在多元算力接入方面以规范化、模块化接入体例安稳接入高出40+芯片；正在数据经管方面构修了流程化、可自界说的数据洗濯pipeline，有用缩短数据洗濯韶华、擢升文本审核过滤凿凿率；正在预备功用优化方面，通过对散布式并行算法的极致优化，将千亿参数模子的演练预备功用擢升到54%；正在多模子处分方面依然赞成了高出10个业界主流的开源大模子和元脑生态大模子，用推行阐明AI Infra全栈根柢软件和处事流的更始是多元算力高效开释、擢升大模子算力功用的要害。

　　眼前，大模子身手正正在胀动天生式人为智能家产迅猛发达，而根柢大模子的要害材干则是大模子熟手业和利用落地时材干显露的中央撑持。然而，根柢大模子正在连续进化的经过中，仍旧面对着数据、算法、算力等要害身分的挑衅与限造。

　　目前，受策略赞成、算力水准擢升、数据资源宏大以及科研气力加强等利好身分的胀动，中国正在根柢大模子方面赢得必然劳绩，但仍需加大正在根柢性身手方面的原创性冲破，夯实底层模子和算法材干。

　　海潮音信从推行入手，加大模子布局更始创新、高质料数据打算、高效算力行使进入，并将这些身手行使正在了“源2.0”大模子上，正在编程、推理、逻辑等方面映现了进步的材干。

　　正在算法方面，“源2.0”提出并采用了一种新型的幼心力算法布局，有用擢升了模子天然说话的表达材干与天生精度；正在数据方面，“源2.0”正在演练数据由来、数据加强和合本钱领等方面举办了周详更始，最终加强模子数理逻辑材干；正在算力方面，“源2.0”采用非平均流水并行+优化器参数并行+数据并行+ Loss预备分块的政策，明显下降大模子对付芯片间互联带宽的央求，让模子演练正在“条目有限”的算力界限下完成高功用途事。

　　源2.0行为千亿级根柢大模子，正在业界公然的评测进步行了代码天生、数常识题求解、毕竟问答方面的材干测试，映现了较为进步的材干显露。为了餍足区别行业、区别场景的材干央求，海潮音信周详开源“源2.0”全系列大模子，以最便捷的体例赞成用户创办本身的智能化产物与材干，连结行业特色举办框架、模子、数据的笔直整合，擢升根柢大模子的凿凿性和可用性。

　　有了庞大的根柢大模子，还需求进一步深化利用场景。将大模子的材干赋能到家产闭头之中，需求多厂商的深度配合。面临生态杂乱离散、家产AI落地贫乏的挑衅，海潮音信提出元脑生态，集合优质伙伴协同更始，通过“身手赞成、计划团结创新、平台共享”完成区别厂商之间的上风互补。

　　目前，元脑生态以海潮音信的AI算力平台、AI资源平台和AI算法平台为撑持，依然对接40多家芯片厂商，400+算法厂商，4000+体例集成商，通过多元的算力需要、全栈的AI Infra软件栈、足够的大模子体味，完成“百模”与“千行”的对接，帮力千行百业加快天生式AI 家产更始，高效开释临蓐力。

　　智算力是更始力，AIGC与数字经济、实体经济的深度协调，将会创设出更多推倒性的社会价格、经济价格，而海潮音信将秉持绽放、共享、共修的发达理念，捉住AIGC墟市机会，合伙推感人为智能落地。（战钊）智算力体例革新 加快天创新生式AI家当兴盛