研究如何定義 AI 訓練中的「垃圾內容」？

定義 AI 訓練中的「垃圾內容」研究

一項最新研究指出，大型語言模型 (LLM) 也可能出現「腦腐」現象，類似於人類因過度接觸膚淺的網路內容而導致認知能力下降。德州農工大學、德州大學奧斯汀分校與普渡大學的研究人員提出「LLM 腦腐假說」，認為持續讓 LLM 接觸「垃圾網路文本」會導致模型認知能力衰退。為驗證此假說，研究團隊透過對照實驗，以不同標準定義社群媒體 X 上的推文內容，並持續訓練四種主流 LLM，結果證實認知衰退確實發生，且難以完全修復。

研究中定義「垃圾內容」的兩種方式

研究團隊設計兩種不同的方式來定義「垃圾內容」：

1. 參與度：此為一種非語義指標，專注於文章的「外在特徵」。文章長度小於 30 個 tokens 且互動數 (如按讚、轉發、回覆) 大於 500 的推文會被定義為「垃圾組」；長度大於 100 個 tokens 且互動數等於 500 的則被定義為「對照組」。
2. 語義品質：此方法專注於「內容」本身的品質。包含點擊誘餌、誇大不實的主張、陰謀論或膚淺炫耀式生活內容的推文會被定義為「農場內容」；而事實準確、具教育價值或有深度邏輯分析的推文則會被定義為「深度思考內容」。

研究發現，模型吸收越多垃圾組內容，表現越差。以 Llama3 8B Instruct 模型為例，當垃圾推文的比例從 0% 上升到 100% 時，模型在推理任務上的得分會從 74.9 分暴跌至 57.2 分，而在長文本理解任務上，得分更是從 84.4 分驟降至 52.3 分。研究人員也發現，參與度對 AI 認知能力的損害比語義品質更為嚴重，但推文的受歡迎程度與內容品質或文本長度之間幾乎沒有相關性。

「垃圾內容」對 AI 的影響與修復

研究人員深入分析 AI 的錯誤答案後發現，主要原因是 AI 學會「跳躍性思考」，在回答需要多步驟推理的問題時，會跳過中間的推理過程。此外，垃圾內容的入侵還會膨脹 LLM 的「黑暗特質」，例如強化自戀和精神病態等特質。研究團隊測試 AI 的腦腐是否能夠被治癒，但結果顯示這種認知損害具有持久性。即使擴大訓練內容或增加對照組內容，AI 的認知能力雖有所改善，但仍無法完全恢復到原始水平。

結論與建議

此研究證明內容品質是 LLM 能力衰退的關鍵原因，而非單純的效能問題。研究者呼籲業界應過濾用於訓練模型的內容，並定期為已部署的 LLM 進行「認知健康檢查」，以避免模型因長期接觸低品質內容而逐漸腦腐。