
AI的迷你钢厂

作者描述了一个在自己笔记本电脑上运行的代理工作系统。核心思路是用本地模型处理大部分简单任务,仅将少数复杂任务发送到云端。
工作流是这样的:作者在 Asana 中创建任务。一个代理会查看任务(例如日程安排、邮件分类、调研、CRM更新),并将其分类为“简单”或“困难”。如果是简单任务,由 Mac 上的本地模型在几秒内处理完成;如果是复杂任务,同一模型会将其路由到云端模型。
过去七天的数据显示,每日本地处理峰值达到了 88%。这种“双车道”设计带来了明显收益:整体吞吐量提升了约 25%,任务平均处理时长从 47秒降至19秒,队列等待时间从 73秒降至4秒。工作内容本身没有任何改变,只是小任务不再需要在大任务后面排队等待。
作者将这种模式类比为“AI的迷你钢厂”,灵感来自 Nucor 的钢铁厂——从小规模、轻资产、贴近需求起步,仅用一代人时间就超越了综合钢铁巨头。他认为,每一台有足够内存运行蒸馏模型的笔记本、手机或边缘设备,都可以成为这样的“迷你钢厂”:本地路由,仅在处理那五分之一的高难度任务时才支付云端费用。未来几年内,数以千万计的这种设备将在公司内部普及,悄无声息地消解当下大量体现在超大规模云服务商账单上的工作负载。


