德勤案例中，學者如何透過對引用資料的細節判斷，識破 AI 報告的虛假內容？

學者如何識破德勤 AI 報告的虛假內容

在德勤澳洲分公司為政府撰寫的報告中，雪梨大學研究員克里斯·魯基（Chris Rudge）發現了 AI 產生的「幻覺」現象，即虛構資訊。魯基在閱讀報告時，注意到其中引用了一本由其同事麗莎·伯頓·克勞福德（Lisa Burton Crawford）教授所撰寫的書籍，然而該書名不僅與同事的專業領域不符，而且完全是杜撰的。

除了虛構書籍，報告中還引用了多篇不存在的學術文章，並在提及「迪安娜·阿馬托訴聯邦案」判決時，摘要內容包含錯誤資訊。這種 AI 為了填補資訊空白或錯誤解讀數據而「猜測」答案的現象，被稱為「幻覺」。魯基表示，他立刻就知道這不是 AI 的幻覺，就是一個守得最好的秘密，因為他從未聽過這本書，而且書名聽起來很荒謬。

對引用資料細節的判斷

魯基透過對引用資料的細節判斷，識破了 AI 報告的虛假內容。他發現報告中引用的書籍、學術文章和判決案例存在多處錯誤，包括書籍名稱與作者專業領域不符、學術文章不存在、判決摘要包含錯誤資訊等。這些細節上的錯誤顯示，報告的內容並非基於真實可靠的來源，而是 AI 產生的虛構資訊。

學者質疑與德勤的回應

在媒體報導此事後，德勤在更新版本中承認使用了生成式 AI 大型語言模型，並移除了錯誤引用。然而，德勤強調這些更新不影響報告的實質內容。魯基對此提出質疑，他觀察到德勤並非將一個虛構的參考資料換成一個真實的資料，而是用多個新的參考資料來取代一個 AI 幻覺的假資料。他指出，這種修補方式可能暗示報告內文最初的主張根本不是基於任何單一的可信來源，暴露了原始研究過程的瑕疵。