閱界資訊

提示詞注入就是當年的注入漏洞,只是更狠

閱閱界編輯部2閱讀2分鐘

今年三月,一家金融公司的客服智能體,悄悄往外漏內部定價,漏了三週才被發現。沒有溢出,沒有破門,沒有配錯的賬號。它的毛病只有一個:讀到一段藏着指令的內容,照做了。熟悉嗎,二十年前一模一樣:用戶輸入混進查詢語句,數據庫分不清哪句是話、哪句是令,一張表單掏空整庫。今天歷史重演,換了個地方。這篇在海外拿下上百贊,評論區安全圈:這比喻一點不誇張。

一、同一個病,換了層樓。當年的病根:數據和指令走一條道,拼進同一個串,機器分不清誰是誰。今天的病根:一字不差,模型也分不清哪句是老闆的話、哪句是路邊紙條的話。舊病有標準解法,分開傳,各走各的道,行業花了十年普及。新病沒有乾淨解法,這是更狠的地方:分不清是模型的本性,不是配錯了。攻擊數一年翻幾倍,權威榜單已經把它排到第一,補丁卻還在紙上。先認清,再談防。

二、今天就能幹四件事。第一,輸入分級:外部來的內容一律當不可信, 進高危流程前先過一道篩。第二,工具最小權限:只讀外部內容的智能體,別給它調錢調數據的本事,讀和做分開。第三,高危動作加人工確認:轉賬、刪庫、發外部,機器說了不算,人點一下才算。第四,日誌盯異常:輸出裏冒出不該有的內部詞,立刻告警。評論區補了最狠的一條:先給所有碰錢的動作加確認,一個不留,今晚就加。

三、一句話。當年補註入花了十年,這次別再花十年。今天就去查:你的智能體讀了外部內容之後,能調哪些工具,一個個看,看完把不該給的收回來。權限收緊別心疼,出事比心疼貴得多。安全這東西,平時嫌煩,出事嫌晚。

來源|海外開發者社區,https://dev.to/james_anderson_h/prompt-injection-is-the-new-sql-injection-and-were-not-ready-4ea4

海外技術譯文安全智能体工程实践

評論(0)

暫無評論,來搶第一條。