GPU 买了那么多，跑起来却像「堵车」？
裁剪｜郑玄
最近两年，AI 行业最热的词一直绕不开「算力」。
从大模子磨砺，到本年 Agent 的火热，再到各家云厂商束缚扩建智算中心，行业究诘最多的，着实都是 GPU、芯片和算力界限。好像只消卡够多，AI 就能陆续往前跑。
但执行并不是。
不少作念大模子磨砺和推理的东谈主，也曾越来越彰着地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子磨砺和推理的赶走，却莫得同步训导。
问题不一定出在算力本人，而可能出在另一件永远被惨酷的事情上——网力。
平头哥居品总监李旭慧打了个比喻：「要是把算力比作 AI 期间的石油，网力即是输油管谈。算力提供能源，网力保险赶走。」
4 月 28 日，在数字中国开采峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大赈济 400Gbps 朦拢带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，当前也曾量产，并将率先部署在阿里云数据中心。
磐脉 920 想要处理的即是「网力」问题。
今天的大模子磨砺，一个磨砺任务，往往需要几千致使上万张 GPU 同期合作。单张 GPU 性能再强，也必须跟通盘这个词集群保捏同步。
问题在于，只消其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，当前行业里好多万卡级智算集群，GPU 本体诓骗率较低，「能作念到 60%，也曾算行业顶尖水平。」
昔时行业更容易谨防「有若干卡」，但本体在 AI 磨砺场景中，系统运行赶走并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「逾越节点的算力会捏续闲置恭候，酿成大界限算力铺张。」
磐脉 920 的发布本体上也指明了一个主义：当 GPU 也曾满盈强之后，下一步到底该补那里。
一张网卡，周转通盘这个词智算集群
当 AI 智能体驱动进入真确业务场景，推理业务的占比越来越高。
「在 Agent 应用爆发的配景下，推理业务的增长速率显耀快于磨砺。」李旭慧暗意。
大模子磨砺强调强同步，而推理濒临的是无数突发、小包、高频恳求，对低时延和褂讪性的要求更高，这也意味着对「网力」的要求更高。
而玄虚一下磐脉 920 在作念的事，即是尽量减少整系统里的「堵」和「等」，通过网力的训导来开释 AI 算力。
其背后的兑现旨趣，有三个枢纽。
领先是赈济多旅途 RDMA，突破单一起径的局限。
泛泛融会，即是原来只可走一条高速，当今变成多条路同期分流。更枢纽的是，这些数据天然分开走，但最终还能按步骤准确拼转头。
李旭慧讲授，磐脉 920 通过赈济逐包喷洒、乱序汲取和采取性重传，兑现 RDMA 多旅途。
从赶走来看，这套决议带来的改善比拟径直。
按照官方实测，磐脉 920 赈济单 QP 打满 400G 带宽，而同类主流居品带宽大略只消其一半。同期，多旅途智商不错把交换机端口缓冲区水线训斥 90%，减少丢包和重传。
第二个枢纽蓄意，是把「绕路」变成「直连」。
磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这少许的 400G 智能网卡。
传统工作器架构里，九游体育中国体育服务中心PCIe Switch 闲居部署在主板上，数据需要绕多个节点转发。赶走即是，有的旅途长，有的旅途短，时延不一致。
关于需要高度同步的 AI 磨砺任务来说，这种「不整都」会径直影响赶走。
李旭慧打了个比喻：传统架构里，时常会出现「四个下行通谈挤一个上行通谈」的情况。
这很像四条岔路同期汇入一条骨干谈，堵塞着实不成幸免。
磐脉 920 把 PCIe Switch 径直集成进芯片里面，让网卡与 CPU、GPU 形成更径直的通顺关联。
少绕路，意味着更低时延；旅途更长入，则意味着更褂讪的同步赶走。
阐述平头哥实测，在磋商集群界限和任务条款下，部署磐脉 920 后，大模子磨砺和推理任务完成时刻可裁汰 14%。
第三个枢纽，是让相聚具备我方判断的智商。
传统网卡更多像搬运工。收到数据，搬昔时，仅此辛勤。
据了解，磐脉 920 加入了细粒度相聚感知和可编程拥塞铁心智商。直白讲，即是它能主动避堵。让相聚驱动从被迫传输，变成主动转变。
关于越来越复杂的 AI 集群来说，这种智商的膺惩性会越来越彰着。
从这些蓄意能看出来，磐脉 920 并不是在追求参数上的简便训导，它作念的事情很求实，让也曾很贵的算力，少铺张少许，从而引发最大的潜能。
为何是阿里在界说 AI 基础作为？
除了性能本人，磐脉 920 背后更值得谨防的，是平头哥和阿里的举座布局。
昔时几年，好多公司作念芯片，往往销毁在单一作为，比如 GPU、AI 加快卡或者 CPU。
但平头哥的念念路是作念全栈。
当前，平头哥也曾形成四条居品线：真武系列 AI 芯片、倚天工作器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。
对应的，恰巧是数据中心里的几个枢纽作为：算力、存力和网力。
李旭慧在采访中暗意：「单一芯片居品无法处理全链路问题，只消买通算力、存力、网力，才智最大化开释 AI 硬件性能。」
这亦然平头哥和好多单点芯片公司的辨别。它不是只作念一块性能更强的芯片，而是试图从通盘这个词系统角度去看问题。
好多芯片公司作念居品，先作念出来，再去找客户和落地场景。
但平头哥不是。
李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，异日 AI 一定会推进数据中心相聚智商升级。
「一线业务场景的本体需求，是芯片期间迭代与居品优化的中枢驱能源。」先有阿里云的大界限业务场景，再从本体场景需求里倒推居品界说。
这即是磐脉 920 的买卖旅途。据显现，和平头哥倚天、真武、镇岳系列芯片相同，它会先部署在阿里云数据中心。
从这个角度看，磐脉 920 的发布，本人即是阿里「通云哥」协同智商的一次体现。
通义正经模子，阿里云正经场景，平头哥正经底层硬件。模子需求推进云基础作为升级，云场景又反向推进芯片演进。
这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的花式天然前期插足大、周期长，但一朝走通，护城河也极深。
AI 竞争走到今天，比拼的也曾不是单点智商，而是这一整套系统能否顺畅运转。
跟着 AI 越来越多从磨砺走向推理，模子、云与芯片之间形成的捏续响应轮回，举座上风的显现可能才刚刚驱动。
* 头图开始：平头哥
极客一问
你如何看待「磐脉 920」？九游体育中国体育服务中心
天博体育(TBSports)官方网站