亚马逊云科技（AWS）近期在拉斯维加斯举行的re:Invent 2024大会上，推出了一款旨在解决AI模型产生幻觉问题的新工具，引发了业界的广泛关注。
这款名为“自动推理检查”的工具，通过交叉验证客户提供的信息，来确保AI模型输出的准确性。AWS宣称，这是业界首个也是唯一一个专门针对AI幻觉问题的防护措施。然而，也有声音指出，微软在今年早些时候推出的“校正”功能与“自动推理检查”在功能上颇为相似，都能标记出AI生成文本中可能存在的事实错误。同样，谷歌的Vertex AI平台也提供了一个工具，允许客户通过引入第三方数据、自有数据集或谷歌搜索，来提升模型回答的可信度。
“自动推理检查”工具是AWS Bedrock模型托管服务的一部分，特别是与Guardrails工具相结合，它试图深入探究模型得出结论的过程，并验证答案的正确性。客户可以上传信息以构建一个事实基础，然后“自动推理检查”会根据这些信息创建规则，这些规则经过优化后可以应用于模型。
当AI模型生成回答时，“自动推理检查”会对其进行验证。如果模型出现了幻觉，即给出了错误的答案，该工具会利用之前建立的事实基础来得出正确答案，并将这个正确答案与模型的错误答案一同呈现给客户，以便客户了解模型偏离正确答案的程度。
AWS透露，普华永道已经开始使用“自动推理检查”来为其客户设计AI助手。AWS的AI和数据副总裁Swami Sivasubramanian表示，这种类型的工具正是吸引客户选择Bedrock的关键因素之一。
然而，有专家对此持谨慎态度。据Techcrunch报道，有专家指出，试图完全消除生成式AI的幻觉是非常困难的，就像试图从水中去除氢一样。AI模型之所以会产生幻觉，是因为它们本质上并不具备“知识”。它们是基于统计的系统，通过识别数据中的模式，并根据之前的经验来预测下一个数据点。因此，AI模型的输出并不是真正的答案，而是对问题应该如何回答的预测，这种预测存在一定的误差范围。
尽管AWS声称“自动推理检查”使用“逻辑准确”和“可验证的推理”来得出结论，但该公司并未提供具体的数据来证明该工具的可靠性。这一声明引发了业界对于该工具实际效果的进一步关注和讨论。
