近期,美国哥伦比亚大学Tow数字新闻研究中心公布了一项引人关注的研究报告,指出OpenAI的ChatGPT搜索工具在新闻搜索领域的准确性上存在显著不足。报告详细记录了ChatGPT在153次回答中的表现,结果显示,其回答错误的次数高达89次,部分正确的有57次,而完全正确的回答仅有47次,另有7次明确表示无法给出准确答案。
为了全面评估ChatGPT的搜索准确性,哥伦比亚大学的研究团队精心挑选了来自20家不同出版商的200条引文作为测试样本,其中特别包含了40条来自被OpenAI爬虫禁止访问的网站的引文。这一设计旨在全面且客观地检验ChatGPT的搜索能力。
研究报告中还列举了多个具体的错误案例,比如ChatGPT错误地将《奥兰多哨兵报》的读者来信归为了《时代周刊》的文章;在另一个案例中,当ChatGPT试图确认一篇关于濒危鲸鱼的海外媒体报道时,却错误地链接到了一个剽窃该文章的网站。这些错误不仅令人惊讶,也引发了对于ChatGPT搜索工具准确性的广泛质疑。
面对这一研究结果,OpenAI方面表示,由于哥伦比亚大学Tow数字新闻研究中心并未提供完整的测试数据和测试方法,因此解决这些错误归因问题具有一定的挑战性。OpenAI认为,这次研究可能并不具有普遍性,是一次非典型的测试。不过,OpenAI也承诺将继续努力优化其搜索结果,以提高准确性和可靠性。
值得注意的是,今年早些时候,OpenAI已经与包括美联社、阿克塞尔·斯普林格、康泰纳仕等多家知名媒体和出版商建立了广泛的合作关系。然而,此次研究结果的公布,无疑对这些合作伙伴对ChatGPT搜索工具的信任度产生了一定的冲击。未来,OpenAI如何在提高搜索准确性的同时,重建和巩固与新闻行业的合作关系,将是一个值得关注的问题。