文 | 半导体产业纵横

东谈主工智能的极限等于拼卡的极限。顶级 AI 公司为这场"暴力好意思学"竞赛设定了单点集群万卡的门槛。

OpenAI 的单点集群 5 万张卡，谷歌 2.6 万张卡，Meta2.45 万张卡。摩尔线程创举东谈主兼 CEO 张建中曾在发布会上暗示，" AI 主战场，万卡是最低标配。"

而跟着 DeepSeek 的横空出世，一场对于 AI 轨则重写的大戏正在演出。

01  万卡集群如故 AI 入场券吗？

2020 年，微软率先构建了万卡智算中心用来其 AI 布局，随后各大科技巨头竞相参加万卡集群的智算中心缔造，举例亚马逊、谷歌、Meta、特斯拉、xAI，国内科技公司字节最初、百度、蚂蚁、华为、科大讯飞、小米都缔造了万卡集群，腾讯、阿里也曾卷向十万卡集群。

搭建万卡集群的智算中心需要耗尽遍及的财力，单是 GPU 的采购本钱就高达几十亿元。尽管造价腾贵，但"万卡集群"智算中心使得查验复杂的大模子成为可能，因此被业界视作 AI 竞赛的"入场券"。

长江证券在其研报中指出，"模子大小和查验数据量大小成为决定模子才气的要津要素。在同等模子参数和数据集下，集群查验时辰有望权贵裁减。更大、更先进的集群能实时对商场趋势作出响应，快速进行迭代查验。举座上超万卡的集群将有助于压缩大模子查验时辰，竣事模子才气的快速迭代，并实时对商场趋势作出支吾，竣事大模子时期上的追逐和最初。"

而 DeepSeek-V3 在查验时只是使用了 2048 个 H800 GPU，然则在多个顺序测试中却赢得了很可以的音尘，在数学基准测试 GSM8K 和 MATH、算法类代码 LiveCodeBench 等测试中超越此前的大模子拔得头筹。这不由激发了一个想考，DeepSeek 撑握千卡级集群查验，那么万卡智算中心如故 AI 入场券吗？

首先，咱们必须要承认万卡集群在大模子查验端仍有必要性，其次，大模子特有化部署已成业内共鸣，企业特有部署袖珍数据中心商场将会爆发。

DeepSeek 出现之后，繁多公司都在争相连入，作念我方的腹地部署。企业缔造"我方的袖珍智算中心"，部署 1~10 台办事器（百卡之内），或 10 来 20 台办事器（百卡范围），也可以竣事高效的 AI 业务。这无疑让 AI 入场券发生了变化，"暴力堆卡"不再是独一进场表情，更多的企业可以通过算法优化参与到这场 AI 上涨中。

以华为和瑞金病院配合发布的临床级多模态互动式病理大模子 RuiPath 为例，只是使用了 16 张算力卡，就学习了 300 余本病剖释诊竹帛，在病理医师整理的常用问题测试中问答准确率可到 90%。

高通时期觉得，刻下先进的 AI 小模子已具有不凡性能。模子蒸馏和新颖的 AI 网罗架构等新时期梗概在不影响质料的情况下简化开拓进程，让新模子的推崇超越一年前推出的仅能在云霄运行的更大模子。

除此以外，企业部署袖珍智算中心也为四大运营商和铁塔公司带来了新的机遇。袖珍数据中心的部署需要剖释的局势、电力、网罗等基础要领，而运营商和铁塔公司的物理机房资源是现成的，以中国铁塔为例，现在领有 210 万站址资源、动力要领和近百万处机房，并有 22 万"通讯塔"已升级为"数字塔"。另外，袖珍数据中心聚会数据产生起源，可竣事数据的快速处理和分析，对于旯旮算力的需求加多，现在中国铁塔算力正从聚合式向"云边端"散布式范式转动，每个数据中心逐日新增数据量数十 T，展望 2025 年每数据中心接入约二十万站，将来数据范围将达数十 PB 级别。

凭据 Gartner 预测，2025 年 75% 的企业数据将在旯旮侧处理，旯旮数据中心数目将杰出传统数据中心的 3 倍。

02  数据中心芯片变革：查验减慢，推理崛起

DeepSeek 继承纯强化学习查验旅途，开脱了对监督学习微调阶段的依赖，同期继承全新的 GRPO 算法让模子群体相互学习，将内存消耗训斥至传统 PPO 算法的三分之一，可在更少硬件资源下完成查验；FP8 搀杂精度查验，内存占用减少 50%，诡计蒙眬量晋升 30%；其数据蒸馏时期，将无效数据比例从行业平均 15% 降至 3% 以下；NVLink+InfiniBand 双通谈传输时期使得集群里面的 GPU 通讯后果晋升了 65%。

DeepSeek 这些更始性的方法训斥了查验本钱，使得数据中心芯片发生变革，将来查验端的高端 GPU 需求增速可能放缓，而推理端的算力需求将弥远呈增长趋势。

对此，各大斟酌机构的判断不约而同。其中，Gartner 预测 2025 年推理的集群算力范围将杰出查验，IDC 预测到 2025 年用于推理的职责负载的芯片将达到 60.8%。TrendForce 集邦斟酌分析师龚明德指出：" DeepSeek 的驱动将促使云办事商更积极参加低本钱的自有 ASIC 有筹画，并从 AI 查验重点转向 AI 推理。展望到 2028 年，推理芯片占比将晋升至五成。"

顾名想义，查验芯片是应用在 AI 模子的查验阶段，需要通过大批符号过的数据来查验系统以允洽特定功能，因此更强调诡计性能和存储才气，而推理芯片在模子查验完成后，认真使用新数据进行预测和臆测，更防御单元能耗算力、时延和本钱的抽象缱绻。

与英伟达市占率 98% 的查验芯片商场不同，推理芯片商场还未纯属，愈加百花王人放。此前在网上掀翻一阵上涨的好意思国东谈主工智能芯片公司 Groq，其成立于 2016 年，到现在为止也曾赢得了 5 轮融资，2024 年 8 月 Groq 完成 6.4 亿好意思元的最新一轮融资后，估值达到 28 亿好意思元。Groq 专为大言语量身定制的新式 AI 加快芯片 LPU，性能推崇比老例的 GPU 和 TPU 晋升 10 到 100 倍，推理速率达到了英伟达 GPU 的 10 倍。

在外洋商场，博通和 Marvell 是主要的推理芯片供应商。其中，博通与谷歌配合假想了六代 TPU，展望将在 2026、2027 年推出的第七代 TPU，同期其与 Meta 在 AI 基础要领方面的配合可能会达到数十亿好意思元；Marvell 则是与亚马逊、谷歌和微软配合，现在正在出产亚马逊 5nm Tranium 芯片和谷歌 5nm Axion Arm CPU 芯片，同期展望在 2025 年启动亚马逊 Inferentia 芯片技俩，2026 年启动微软 Maia 芯片技俩。

在国内商场，各大科技公司也在积极布局 AI 推理芯片商场。

达摩院推出的含光 800 AI 芯片，单芯片性能是谷歌 TPU v3 的 8.5 倍、英伟达 T4 的 12 倍。

百度昆仑系列 AI 芯片，率先撑握 8bit 推理，百舸 DeepSeek 一体机搭载昆仑芯 P800，推理蔓延低，平均 50 毫秒以内，其中昆仑 3A 超越英伟达 A800。

寒武纪的想元 590 智能芯片，真实撑握统共主流模子，单卡算力杰出英伟达 A100，集群算力接近 A100 水平，千卡互联的集群会再耗损一些性能。

现在，大模子推理阶段濒临许多优化挑战，首先等于 KV Cache 责罚，推理过程会产生大批中间舍弃用于训斥诡计量。奈何责罚这些数据很要津，举例继承页面式责罚，但页面大小是固定如故凭据负载特征动态调遣，都需要仔细假想。其次是多卡协同：当模子较大时需要多 GPU 配合，举例在 8 个 GPU 上进行大模子推理，奈何优化卡间并行亦然一大挑战。最紧要的等于算法优化：奈何从量化等角度进行优化，充分贯通底层算力性能。

03  算法补性能：芯片竞争启动卷"软硬协同"

DeepSeek 之是以梗概以 2048 个 H800 芯片惊艳全国，其中的紧要原因之一是其对硬件进行了极致工程化矫正，通过自界说 CUDA 内核和算子和会时期，将 H800 GPU 的 MFU（模子 FLOP 运用率）晋升至 23%，远超行业平均 15% 的水平，在疏通硬件条目下可完成更多诡计任务，晋升查验后果，况且在 GPU 集群上竣事了 98.7% 的握续运用率。

这种更始性的用算法补性能表情，被复旦大学复杂体系多圭臬斟酌院院长、上海东谈主工智能实验室领军科学家、国际知名诡计生物学家马剑鹏教悔称为"中国 AI 的换谈超车"。同期，这种表情也将倒逼芯片厂商从"拼制程"转向"算法适配性"假想，预留更多接口撑握动态算法迭代，如可编程 NPU 架构。

家喻户晓，AI 用例正在不停演进，要在功能十足固定的硬件上部署这些用例彰着是不切实质的。而可编程 NPU 架构提供丰富编程接口和开拓器具，撑握多种编程言语和框架，开拓者可便捷地凭据新算法需求进行编程和竖立。同期，撑握凭据不同算法需求动态重构诡计资源，如诡计单元、存储单元等等。

最紧要的是，芯片研发本钱高，预留接口撑握动态算法迭代可使芯片在较万古辰内保握竞争力，面对新算法无需从头假想硬件，而是通过软件升级等表情来适配新算法，再也不惧算法更新迭代。

DeepSeek V3 中使用了比较 CUDA 更底层的 PTX 来优化硬件算法，绕过了 CUDA 的高层 API，径直操作 PTX 请示集进行更细粒度的硬件优化，能在一定进程上开脱对 CUDA 高层框架的依赖，为开拓者提供了不依赖 CUDA 进行 GPU 资源优化的道路。同期，DeepSeek GPU 代码使用了 OpenAI 建议的 Triton 编程言语来编写，而 Triton 的底层可调用 CUDA，也可调用其他 GPU 言语，为适配更多类型的算力芯片奠定了基础。

因而，咱们会看到许多报谈中都写谈，" DeepSeek 打破英伟达 CUDA 时期壁垒"。事实上，DeepSeek 的这一举动讲解芯片竞争从一启动的豪放卷硬件进入到更新的"软硬协同"内卷之中。而开源框架与国产芯片联结会是打破口，DeepSeek 既能在英伟达芯片上运行，也能在华为昇腾、AMD 等非主流芯片上高效运行。

更为潜入的影响是 AI 芯片边界不再是英伟达"一家独大"，更多的芯片公司可以参与进来。而处在英伟达上游的存储芯片公司，举例三星电子、SK 海力士等可能也要被动进行转型。

此前，三星电子、SK 海力士等半导体巨头的发展策略一直是继承以通用存储器为重点的量产形貌，其业务也很猛进程上依赖于对英特尔、英伟达和 AMD 等主要客户的批量供应，此前好意思银分析预测 SK 海力士可能赢得 2025 年英伟达 Blackwell GPU 的 60% 以上订单。

DeepSeek 发布使得科技公司对英伟达高端芯片需求会减少，然则商场对于 AI 芯片的总需求却不一定会减少。正如经济学家杰文斯所言：时期进步诚然提高了资源的使用后果，但需求的加多持续会导致总消耗量反而加多。

亚马逊首席履行官安迪・贾西曾暗示，DeepSeek 时期打破反而会鼓舞东谈主工智能举座需求的增长。东谈主工智能推理等时期本钱的下落，并不虞味着企业会减少在时期上的参加。相背，本钱训斥让企业梗概开拓此前因预算受限而舍弃的更始技俩，最终反而加大了举座时期支拨。

这无疑是三星电子、SK 海力士转型的遍及契机赌钱赚钱官方登录，开脱对英伟达的依赖，拥抱更宽广的商场。HBM 需求从高端 GPU 转向定制化存储有筹画，为 AI 办事提供万般化的居品声势。