GPU 买了那么多，跑起来却像「堵车」？
剪辑｜郑玄
最近两年，AI 行业最热的词一直绕不开「算力」。
从大模子检修，到本年 Agent 的火热，再到各家云厂商束缚扩建智算中心，行业扣问最多的，险些都是 GPU、芯片和算力畛域。好像只须卡够多，AI 就能不时往前跑。
但现实并不是。
不少作念大模子检修和推理的东谈主，还是越来越显明地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子检修和推理的恶果，却莫得同步擢升。
问题不一定出在算力自身，而可能出在另一件恒久被淡薄的事情上——网力。
平头哥产物总监李旭慧打了个比喻：「要是把算力比作 AI 时间的石油，网力即是输油管谈。算力提供能源，网力保险恶果。」
4 月 28 日，在数字中国设置峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大维持 400Gbps 微辞带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，刻下还是量产，并将率先部署在阿里云数据中心。
磐脉 920 想要处分的即是「网力」问题。
今天的大模子检修，一个检修任务，常常需要几千以致上万张 GPU 同期合营。单张 GPU 性能再强，也必须跟统共这个词集群保抓同步。
问题在于，只须其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，刻下行业里许多万卡级智算集群，GPU 现实哄骗率较低，「能作念到 60%，还是算行业顶尖水平。」
畴前行业更容易矜恤「有些许卡」，但现委果 AI 检修场景中，系统运作恶果并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「卓绝节点的算力会抓续闲置恭候，酿成大畛域算力浮滥。」
磐脉 920 的发布现实上也指明了一个标的：当 GPU 还是实足强之后，下一步到底该补那处。
一张网卡，周转统共这个词智算集群
当 AI 智能体运行进入真确业务场景，推理业务的占比越来越高。
「在 Agent 应用爆发的布景下，推理业务的增长速率显耀快于检修。」李旭慧暗示。
大模子检修强调强同步，而推理靠近的是多数突发、小包、高频恳求，凤凰彩票官网首页 - Welcome对低时延和结实性的要求更高，这也意味着对「网力」的要求更高。
而轮廓一下磐脉 920 在作念的事，即是尽量减少整系统里的「堵」和「等」，通过网力的擢升来开释 AI 算力。
其背后的完结旨趣，有三个要津。
率先是维持多旅途 RDMA，冲破单一谈径的局限。
庸俗办法，即是本来只可走一条高速，当今变成多条路同期分流。更要津的是，这些数据天然分开走，但最终还能按法规准确拼追思。
李旭慧表示，磐脉 920 通过维持逐包喷洒、乱序接受和选拔性重传，完结 RDMA 多旅途。
从终端来看，这套决议带来的改善相比径直。
按照官方实测，磐脉 920 维持单 QP 打满 400G 带宽，而同类主流产物带宽大略唯有其一半。同期，多旅途智商不错把交换机端口缓冲区水线谴责 90%，减少丢包和重传。
第二个要津策画，是把「绕路」变成「直连」。
磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这极少的 400G 智能网卡。
传统劳动器架构里，九游体育 - 中国体育服务中心(官方网站)PCIe Switch 闲居部署在主板上，数据需要绕多个节点转发。终端即是，有的旅途长，有的旅途短，时延不一致。
关于需要高度同步的 AI 检修任务来说，这种「不整皆」会径直影响恶果。
李旭慧打了个比喻：传统架构里，常常会出现「四个下行通谈挤一个上行通谈」的情况。
这很像四条岔路同期汇入一条骨干谈，堵塞险些不成幸免。
磐脉 920 把 PCIe Switch 径直集成进芯片里面，让网卡与 CPU、GPU 形成更径直的联络关联。
少绕路，意味着更低时延；旅途更长入，则意味着更结实的同步恶果。
把柄平头哥实测，在调换集群畛域和任务要求下，部署磐脉 920 后，大模子检修和推理任务完成时辰可裁减 14%。
第三个要津，是让相聚具备我方判断的智商。
传统网卡更多像搬运工。收到数据，搬畴前，仅此纳闷。
据了解，磐脉 920 加入了细粒度相聚感知和可编程拥塞适度智商。直白讲，即是它能主动避堵。让相聚运行从被迫传输，变成主动调养。
关于越来越复杂的 AI 集群来说，这种智商的蹙迫性会越来越显明。
从这些策画能看出来，磐脉 920 并不是在追求参数上的简单擢升，它作念的事情很求实，让还是很贵的算力，少浮滥极少，从而引发最大的潜能。
为何是阿里在界说 AI 基础设施？
除了性能自身，磐脉 920 背后更值多礼贴的，是平头哥和阿里的举座布局。
畴前几年，许多公司作念芯片，常常皆集在单一措施，比如 GPU、AI 加快卡或者 CPU。
但平头哥的想路是作念全栈。
刻下，平头哥还是形成四条产物线：真武系列 AI 芯片、倚天劳动器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。
对应的，碰巧是数据中心里的几个要津措施：算力、存力和网力。
李旭慧在采访中暗示：「单一芯片产物无法处分全链路问题，唯有买通算力、存力、网力，才调最大化开释 AI 硬件性能。」
这亦然平头哥和许多单点芯片公司的分散。它不是只作念一块性能更强的芯片，而是试图从统共这个词系统角度去看问题。
许多芯片公司作念产物，先作念出来，再去找客户和落地场景。
但平头哥不是。
李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，改日 AI 一定会鼓吹数据中心相聚智商升级。
「一线业务场景的现实需求，是芯片技艺迭代与产物优化的中枢驱能源。」先有阿里云的大畛域业务场景，再从现实场景需求里倒推产物界说。
这即是磐脉 920 的营业旅途。据清楚，和平头哥倚天、真武、镇岳系列芯片相似，它会先部署在阿里云数据中心。
从这个角度看，磐脉 920 的发布，自身即是阿里「通云哥」协同智商的一次体现。
通义认真模子，阿里云认真场景，平头哥认真底层硬件。模子需求鼓吹云基础设施升级，云场景又反向鼓吹芯片演进。
这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的形态天然前期参预大、周期长，但一朝走通，护城河也极深。
AI 竞争走到今天，比拼的还是不是单点智商，而是这一整套系统能否顺畅运转。
跟着 AI 越来越多从检修走向推理，模子、云与芯片之间形成的抓续响应轮回，举座上风的显现可能才刚刚运行。
* 头图着手：平头哥
极客一问
你奈何看待「磐脉 920」？九游体育
环球体育官网登录入口