近期,哥伦比亚大学数字新闻研究中心公布了一项针对AI搜索引擎的深度研究报告,引起了广泛关注。该研究聚焦于当前市面上八款主流的AI搜索工具,包括ChatGPT Search、Perplexity系列、Gemini、DeepSeek Search、Grok-2 Search、Grok-3 Search以及Copilot,旨在通过一系列严格测试评估它们的准确性和可靠性。
研究人员精心挑选了来自20家新闻机构的200篇报道作为测试样本,确保这些报道在谷歌搜索结果中排名靠前。随后,他们利用相同的查询语句,逐一测试这些AI搜索工具的表现,重点关注它们能否正确引用文章内容、新闻机构名称及原始链接。
测试结果显示,除了Perplexity及其付费版本外,其余AI搜索引擎的表现均不尽人意。总体而言,AI搜索引擎给出的答案中,有高达60%是不准确的。更令人担忧的是,这些AI工具对于错误答案的“自信”态度,使得问题进一步恶化。它们往往以不容置疑的口吻陈述错误信息,甚至在受到质疑时,仍试图通过逻辑自洽来维护其答案的正确性。
这项研究不仅揭示了AI搜索引擎在准确性方面的不足,更引发了业界对于大语言模型可靠性的深刻反思。长期以来,人们一直担心大语言模型可能会一本正经地胡说八道,而此次研究的数据结果无疑为这一担忧提供了有力佐证。这些AI工具在陈述错误信息时,往往表现得非常自信,这无疑增加了用户误信错误信息的风险。
ChatGPT Search虽然回答了所有200个新闻查询,但其“完全正确”率仅为28%,而“完全错误”率则高达57%。尽管表现不佳,但ChatGPT Search并非垫底。X公司旗下的Grok AI系列表现更为糟糕,其中Grok-3 Search的错误率更是惊人地达到了94%。而微软Copilot也问题频出,在200次查询中,有104次拒绝回答,剩下的回答中,正确率也仅为16%,总体错误率接近70%。
令人惊讶的是,尽管这些AI搜索工具存在诸多问题,但它们的开发公司仍在向用户收取高额的订阅费用,每月费用从20美元至200美元不等。更令人费解的是,付费版Perplexity Pro和Grok-3 Search虽然回答次数更多,但错误率也随之上升。这一现象无疑引发了用户对于AI搜索工具性价比的质疑。
此次研究揭示了当前AI搜索引擎在准确性和可靠性方面存在的问题和挑战。随着AI技术的不断发展,我们期待未来能够看到更加准确、可靠的AI搜索工具问世,为用户提供更加优质的信息服务。