為什麼單靠提示工程（prompt engineering）已無法滿足複雜的AI應用需求？

單靠提示工程的局限性

提示工程在初期AI應用中扮演重要角色，透過精心設計的提示詞來引導AI生成所需的回應。然而，隨著AI應用日趨複雜，單純依賴提示工程已無法滿足需求。大型語言模型（LLM）如ChatGPT或Claude，其核心能力是基於「上文」預測「下文」，實際上是極度熟練的語言預測，而非真正的思考或理解。因此，在需要AI進行深度推理、複雜情境判斷或處理大量資訊的應用中，僅靠提示工程難以確保AI產生精準且連貫的回應。

語境工程的重要性

語境工程成為解決複雜AI應用需求的關鍵。它涵蓋準備、組織、更新及管理所有提供給AI的資訊，確保AI在正確的脈絡中產生精準且連貫的回應。語境工程如同說書先生在茶館裡講章回小說，前情提要鋪墊得愈周全，下一段故事就愈能扣人心弦。透過有效管理和提供豐富的語境資訊，AI才能更好地理解問題、進行推理，並產生更符合預期的結果。

語境的構成要素

語境包含多個關鍵要素：

• 系統指示（System Prompt）： 定義AI的角色設定、行事準則及行動指南。這如同演員拿到的劇本大綱，決定了整場戲的基調，影響AI後續的回應風格和內容傾向。
• 對話歷史的累積： 納入過往的對話歷史，確保AI的回應具備邏輯與一致性。如同演員掌握角色的完整背景與前情發展，避免出現前後矛盾的劇情。
• 參考資料： 提供AI額外的背景資訊或知識，使其能更準確地理解問題並產生更深入的回應。