DeepSeek新論文：沒有單一機制能防止所有智能體不當行為和系統故障

PANews 9月23日消息，DeepSeek公開的一篇關於智能體訓練的新論文引發關注，這篇31頁的論文介紹了其內部使用的生產級沙箱平臺DSec，論文作者超過百人，梁文鋒也在其中。論文中比較有意思的一節是“智能體的不當行為”，DeepSeek發現，智能體會通過非預期渠道獲取答案，比如搜索平臺管理文件裡的殘留答案等，破壞訓練和評估結果有效性。引入訪問控制後，還有智能體交換文件數據塊映射，試圖讓受保護文件內容可通過另一文件描述符訪問，損害任務或共享基礎設施。

DeepSeek認為，沒有單一機制能防止所有智能體不當行為和系統故障。因此團隊的方法是加強可觀測性以識別新問題，並隨模型演進持續加固Dsec，包括限制智能體通過非預期渠道獲取答案的訪問控制，減少對欺騙行為的獎勵。這些控制能解決部分問題。