66读书

ai芯片的两大“升级方向”——fp8精度和多芯互联，到底牛在哪？（第3页）

要让多颗芯片“组队干活”，关键得解决一个问题：芯片之间得能快速“传递数据”。就像8个人一起抬箱子，得喊着“一二一”同步发力，要是有人慢半拍，箱子就会歪；芯片之间要是数据传得慢，有的芯片算完了等着要数据，有的芯片还没传完，整体算力就会浪费。

而多芯互联技术，核心就是靠“高速互联接口”解决这个问题。这个接口就像“超高速网线”，能让芯片之间每秒传递几十GB甚至上百GB的数据，延迟特别低（比如只有几微秒，1微秒等于百万分之一秒）。

举个例子：比如把8颗芯片连起来，第一颗芯片算完一部分数据，通过高速接口瞬间传给第二颗，第二颗接着算，中间几乎没有停顿；要是没有这个接口，用普通网线传数据，可能需要几毫秒（1毫秒等于千分之一秒），8颗芯片算下来，光等数据的时间就会浪费一半，算力自然上不去。

现在国产芯片企业在高速互联接口上做得很到位。比如中科曙光的“海光芯云”平台，用的就是自主研发的高速互联接口，能让芯片之间的数据传输速度达到每秒100GB，延迟只有3微秒，几乎实现了“零卡顿”。

3. 国产案例：中科曙光“海光芯云”平台，8颗芯片组出8000TOPS算力，能搞定千亿参数大模型

聊完原理，再看国产芯片的实际应用——中科曙光的“海光芯云”平台，就是多芯互联技术的典型代表。

这个平台是怎么做的呢？简单说，就是把8颗海光DCU芯片（海光DCU是国产AI芯片的一种，单颗算力大概1000TOPS），通过高速互联接口连起来，组成一个“算力节点”。这样一来，这个节点的总算力就是8×1000TOPS=8000TOPS，刚好能满足千亿参数大模型的“推理需求”（推理就是大模型训练完后，给它输入问题，它算出答案的过程）。

小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！

可能有人会问：千亿参数大模型的推理，需要这么高的算力吗？答案是“需要”。比如咱们用AI聊天，问一个复杂问题（比如“帮我写一份1000字的产品方案”），大模型需要在几秒内处理几十万条数据，要是算力不够，可能得等十几秒甚至几十秒才能出答案，体验就会很差。而8000TOPS的算力节点，能让千亿参数大模型的推理速度提升到“秒级响应”，比如输入问题后，2-3秒就能出答案，跟咱们平时聊天一样流畅。

现在这个平台已经在不少地方用起来了。比如某科研机构，用“海光芯云”平台跑千亿参数的医疗大模型，给它输入患者的CT影像和病历数据，几秒内就能给出初步诊断建议，比以前用单颗芯片快了6倍，大大提升了科研效率；还有某互联网公司，用这个平台做短视频推荐，能更快分析用户的观看习惯，推荐的视频更精准，用户停留时间比以前增加了20%。

而且多芯互联还能“灵活扩展”——要是需要更高的算力，比如要处理万亿参数的大模型，只要再增加芯片数量就行。比如把16颗海光DCU芯片连起来，就能组成TOPS的算力节点，完全能满足更高需求。这种“按需扩展”的特性，对企业来说特别友好，不用一开始就买最贵的设备，后期根据需求加芯片就行，能省不少钱。

四、技术迭代的实际意义：国产AI芯片“又强又便宜”，给大模型企业更多选择

聊完了FP8精度和多芯互联的技术细节，咱们得回到一个更实际的问题：这些技术升级，到底有啥用？对国产芯片、对咱们用AI有啥影响？

总结下来，有三个核心意义：

1. 国产AI芯片“性能追上了”，不用再依赖国外芯片

以前国产AI芯片最大的短板就是“性能不够”，比如算得慢、不支持大模型训练。但通过FP8精度和多芯互联的升级，国产芯片的性能已经能跟上需求了——比如壁仞BR100芯片支持FP8精度，能训练超大规模大模型；中科曙光的多芯互联平台，能满足千亿参数大模型的推理。