Llama 3.1 8B 跑出每秒 16960 个 token。不是 GPU 集群，是一颗芯片。

AMD 在 8 月 6 日收盘后宣布收购多伦多芯片初创公司 Taalas，交易预计 2026 年 Q4 完成，金额未披露。Taalas 2023 年才成立，做的事情听起来像芯片行业的异端：把 AI 模型的权重直接刻进硅片，而不是存在 HBM 或别的内存里。

Taalas 管这种芯片叫 MSIC——模型专用集成电路。跟 GPU 或 Groq、Cerebras 那些数据流架构完全不同。芯片分两个区域：mask-ROM recall fabric 刻模型权重，SRAM recall fabric 存 KV cache 和微调适配器。第一代测试芯片 HC1 用台积电 6nm 工艺流片，今年 2 月首次亮相时，在 Llama 3.1 8B 上的推理速度是英伟达 GPU 的 48 倍，Cerebras 晶圆级加速器的 8.5 倍。

第二代 HC2 计划今年夏天流片，目标单芯片支持 200 亿参数。更大的模型通过流水线并行分布到多颗芯片上——万亿参数大约需要 50 颗。

代价也很直白：一旦部署，模型就锁死在硅片里了。超过 LoRA 适配器级别的改动就得重新流片。不过重流只需要改两层金属层，比从头开始便宜得多也快得多。Taalas 声称把模型权重刻进硅片的成本，不到训练一个前沿模型的 1/100。

AMD 收购的逻辑很清晰。英伟达花 200 亿美元授权 Groq 的技术，大家都看到了 AI Agent 推理成本必须降下来。AMD 的计划是把 Instinct GPU 的 Helios 机柜和 Taalas 芯片组成分离式架构——GPU 处理计算密集的 prompt 预处理，Taalas 加速器负责 token 生成。一种「tick-tock」节奏：客户先在 GPU 上验证模型，满意了再切到 Taalas 芯片上量产。

AMD AI 高级副总裁 Vamsi Boppana 说：「AMD 正在构建一个全栈 AI 平台，让客户能灵活地为每个 AI 工作负载部署正确的计算方案。」

对 test-time scaling 的影响也值得关注。如果单 token 成本大幅下降、输出速度提高 10-20 倍，模型开发者可能会进一步延长推理时间。这是一条跟卖更多 GPU 完全不同的路。

HN 上的讨论围绕几个核心矛盾展开。

最直接的问题是：模型迭代这么快，固化在芯片上有意义吗？有人指出一个芯片「最多 6 个月就过时了」。但反对者认为，很多场景下当前模型已经「够好」——跑快 100 倍才是真正的变革。一个 drive-thru 点餐模型「至少能用十年」。还有人更直白：「过时本身就是卖点」，它给手机厂商创造了新的换机周期。

关于手机端部署的争论也很激烈。有人想象苹果用它做超低延迟、超低功耗的设备端推理。但另一拨人算了笔账：一个 8B 模型需要约 800mm² 的 ROM 面积，比整颗 iPhone SoC 还大，而且 Taalas 芯片功耗「数百瓦」，根本塞不进手机。

安全性也是两面刃。固化模型意味着出了漏洞没法打补丁。但反过来，「一个不能更新的模型也是一个不能被黑的模型」——硬件级别的不可变性本身就是一种安全保证。

还有人对速度本身提出质疑。有人在 Taalas 的 demo 站 chatjimmy.ai 上测试，发现它编造了关于王安电脑的事实，结论是「如果人们只关心速度不关心准确率，我可以写一个快 100 倍的 LLM」。辩护者指出那是 Llama 3.1 8B 量化版，模型本身是旧的，Taalas 提供的是芯片设计能力，不是模型质量。

一个开发者说的场景可能最接近真实需求：「我大部分工作时间都在等 agent 干完活。」如果推理变成即时的，整个工作流都会改变。

参考来源：

• AMD acquires Taalas to boost inference performance by etching models in silicon - The Register
• HN 讨论