在人工智能短暂的历史中，大部分时间AI都隐藏在屏幕之后。但这种情况正在悄然改变。

最初是聊天机器人，擅长回答问题或起草邮件。随后是智能代理AI，这类模型不仅能回应，还能在计算机上完成实际工作：导航软件、调用工具、自主完成多步骤任务。如今，前沿是物理AI，这种智能能够突破屏幕的限制，感知世界并与之互动。机器人是其中最重要的组成部分，但该领域仍处于早期阶段：硬件、模型和经济性都在当前探索中。

实体化挑战

对于大型语言模型(LLMs)，硬件是为模型服务的。对于超大规模科技公司和AI实验室，没有严格的延迟要求，且预算上限很高，因此流程很简单：在训练阶段投入尽可能多的数据和计算能力，然后想办法服务由此产生的模型。模型优先，硬件服务模型。机器人领域则相反。更严格的约束改变了设计顺序：你首先需要确定如何在机器人上服务模型，然后构建适合的模型。有两个主要约束驱动这一变化。

首先是时间。机器人运行实时控制循环，不能错过任何截止期限。大型语言模型可以慢而不影响最终输出。如果机器人反应迟缓，周围环境已经发生变化，等到需要执行动作时，该动作已经过时。

其次是成本。使用大型语言模型时，它存在于用户提供的屏幕背后。而在机器人领域，制造商必须同时构建计算能力和机器人本身，并在每个产品单元上预先支付，资本支出可能非常巨大。规模化时，这种前期成本可能达到数十亿，如果我们最终能达到十亿台机器人的规模，甚至可能达到数万亿美元。

由于这两个约束，在机器人领域，机器人上的硬件是固定的，而模型需要适应它。即使在超大规模资金水平下，大多数资本支出也必须花在硬件上，而不是模型上。这使得在机器人领域，硬件设计优先于软件设计。

规划与行动层级

与LLM不同，机器人系统需要区分规划层和行动层。规划层处理长期推理和决策，而行动层处理短期控制循环。这种分离使得机器人能够在保持实时响应的同时进行复杂决策。

规划层可以在较高抽象层次上工作，处理”做什么”的问题，而行动层则专注于”如何做”的具体执行。这种分层架构使得机器人能够在资源有限的情况下，平衡复杂性和实时性。

玻璃到玻璃的预算限制

在机器人领域，预算限制特别严格。从用户看到输入(玻璃)到看到输出(玻璃)的整个流程，都需要在严格的资源约束下完成。这与LLM形成鲜明对比，后者的预算几乎不受限制。

这种预算限制迫使开发者必须在性能、成本和能耗之间做出艰难的权衡。每一代机器人硬件都需要在这些约束条件下优化，以确保产品的商业可行性。

芯片与DRAM的制约

机器人硬件面临两个主要制约因素：芯片设计和DRAM内存容量。芯片必须在能效和性能之间找到平衡点，而DRAM则需要在容量和功耗之间做出权衡。

与数据中心不同，机器人无法依赖无限扩展的资源。每一台机器人都必须自给自足，这意味着所有计算和存储都必须在设备上完成。这种限制推动了对更高效、更低功耗硬件设计的持续追求。

成本效益分析：一个B300与56个Thor的比较

在成本效益方面，一个B300芯片与56个Thor芯片的总拥有成本(TCO)对比提供了重要见解。虽然单个B300芯片的初始成本较高，但在大规模部署时，其总体成本效益可能优于多个较便宜的芯片。

这种分析揭示了在机器人硬件选择中，不仅需要考虑初始购买成本，还需要评估长期运营成本、维护成本以及能源效率。对于制造商来说，找到最佳硬件配置是成功的关键因素之一。

从工厂到洞穴：应用场景的多样性

机器人应用场景极其多样，从结构化的工厂环境到未探索的洞穴。这种多样性意味着没有一种通用的硬件解决方案能够适应所有场景。

工厂环境可能需要精确的重复性动作和严格的可靠性，而洞穴探索则需要强大的感知能力和适应性。不同的应用场景推动了硬件和软件的多样化发展，也挑战着传统的AI部署模式。

随着机器人技术的不断进步，我们正站在一个新时代的门槛上，智能将从屏幕走向现实世界，而如何在这个新世界中平衡性能、成本和实用性，将是未来发展的关键。

机器人思考的位置问题—设备端还是云端—不仅仅是一个技术选择，更是对AI未来发展方向的深刻思考。在资源有限的环境中构建真正有用的智能，是我们面临的最大挑战之一。

---

关注微信号：智享开源，及时了解更新信息。

原文链接：https://newsletter.semianalysis.com/p/where-does-a-robot-think-on-device