
AI幻觉险些触发美国军事行动

今年春天,美国一场针对中国船只的武装行动在最后一刻被叫停。原因是驱动这次行动的情报,被证实由AI聊天机器人幻觉生成。CNN报道称,这险些酿成与中国的冲突。
情报报告在伊朗战争期间流传,称那艘船携带核武器计划部件。错误源头是特种作战司令部的一名分析师:他用AI聊天机器人综合开源数据和机密信号情报,机器人误读了货物清单;随后他又用同一工具把错误发现排版成正式摘要,在指挥系统中传开。,
这起事件凸显军事界的担忧:决策者越依赖AI,系统错误越可能在受到质疑前就沿指挥链上行。美军正加速把AI嵌入决策,五角大楼称AI能显著加速“杀伤链”,让指挥官更快反应。但AI的速度优势,也可能让缺乏人类监督的幻觉以同样速度扩散。
GovAI研究员、前陆军军官Jake Steckler说,军人需理解大语言模型固有的不确定性,尤其涉及动用武力的决策,如目标识别、情报分析、作战规划,生死攸关。不过他认为,这起事件应推动加装护栏,而非回避AI。工具在合适场景和防护下有用,但把采用速度置于一切,很可能导致更多事故,让军人对系统失去信任,反而拖慢普及。,
这则新闻没有披露涉事AI产品、具体技术细节,也没有后续处理措施。可确认的教训是:AI加速决策的同时,也把幻觉带进了高风险的指挥链路;人机协同中,对AI输出的核验机制必须前置。


