|
哥伦比亚大学最新研究显示,AI搜索错误率高达60%
|
哥伦比亚大学数字新闻研究中心(Tow Center for Digital Journalism)近期对八款 AI 搜索展开研究,包括 ChatGPT Search、Perplexity、Perplexity Pro、Gemini、DeepSeek Search、Grok-2 Search、Grok-3 Search 和 Copilot。 他们的研究方法是从20家新闻机构选取200篇新闻报道,并评估它们是否正确引用了文章内容、来源和原始链接。最终结果分为完全错误、部分错误、正确但不完整、完全正确、拒绝回答五种标签。 研究结果显示: 1、AI 搜索通常不会回答它们无法准确回答的问题,平均来看,六款AI搜索提供的答案有 60% 是不准确的。其中Grok 3 、Gemini的完全错误率高达90%以上,国内的DeepSeek表现中等(完全错误率大约58%)。 2、与免费AI 搜索相比,付费的AI 搜索更不容易拒绝回答,从而会更“自信”地提供错误答案。 3、多个AI 搜索似乎绕过了robots限制协议。 4、AI 搜索会伪造链接,并引用文章在新闻聚合平台的链接(比如雅虎新闻),而不是原始网站。 5、尽管许多新闻媒体与AI 搜索达成了版权合作,但在AI 搜索里的新闻引用仍不准确。
|
|