短期記憶（context window）如何幫助AI延續對話？

短期記憶（Context Window）如何協助AI延續對話

短期記憶（context window）就像人類大腦的暫存區，用於記錄當下對話的內容，使AI能夠根據先前的上下文延續對話。目前，這種「記憶視窗」的容量已擴展到數萬甚至數十萬個token。

AI記憶系統的多層次設計

由於AI模型的記憶是靜態的，其神經網路的權重只能在訓練階段更新，實際使用時是「只讀取不寫入」的。因此，需要設計多層次的記憶系統來輔助AI，使其能夠及時自我修正。除了短期記憶外，還包括：

• **中期記憶（會話歷程）：**透過多次對話，找出使用者的個人性和特殊性，例如記住使用者之前提過的想法。
• **長期記憶：**包含兩個部分，一是訓練中學到的知識（屬於不可變的硬記憶），二是ChatGPT提供的全域記憶功能，能夠記住過去多次對話中的風格、偏好與主題，作為下次互動的參考。
• **程序性記憶：**AI也學會某些固定的操作與思維模式，例如如何推理、寫摘要、翻譯等內建技能。

記憶架構的重要性

這樣的記憶架構不僅彌補了模型「不能動態寫入」的缺陷，也讓AI更像人類，能夠記住內容、跟得上邏輯、延續上下文、逐步建立理解，從而更有效地延續對話。