AI记忆问题：长上下文为何不够——Engram CEO Dan Biderman

Dan Biderman 是 Engram 的联合创始人兼 CEO，从以色列海军特种部队退役后转型做 AI 研究。他在和 Allen Park 聊烹饪肉丸的同时，抛出了一个核心问题：长上下文、RAG 和压缩方法本质上无法解决 AI 的记忆问题，因为模型根本没有在“学”东西，只是临时拼凑信息。他认为真正的记忆必须让模型持续更新权重，把知识内化为直觉，而不是在 prompt 里塞几百万 token。

Dan 明确反对“长上下文就是未来”的共识。他指出，即使上下文窗口扩展到百万 token，每次推理时重新计算所有 token 的成本会指数级增长，而且模型无法从历史中提取抽象规律。他更反对用 RAG 做记忆——那只是检索，不是理解。Engram 的做法是“知识压缩”：把私有数据压缩成“知识子弹”（knowledge cartridges），然后通过类持续学习的方法更新模型权重，让模型真正记住用户的偏好和工作流。他预测，未来个人 AI 模型会像 Tamagotchi 一样，每天和用户互动、自适应进化，Token 效率将直接决定智能水平——因为能用更少 token 完成更复杂任务，才是真正的智力。

如果 Engram 的持续学习方案能规模化，AI 记忆的范式将从“外部存储 + 临时检索”转向“内部权重 + 持续进化”，这可能是长期自主 Agent 落地的关键一步。Dan 的军事背景也很有意思：他习惯用最小的资源做最大的事，这种“do more with less”的文化在 AI 基础设施创业里越来越稀缺。值得持续关注 Engram 的研究进展，尤其是他们如何解决灾难性遗忘和模型漂移这些老大难问题。