阅界资讯

提示词注入就是当年的注入漏洞,只是更狠

阅阅界编辑部3阅读2分钟

今年三月,一家金融公司的客服智能体,悄悄往外漏内部定价,漏了三周才被发现。没有溢出,没有破门,没有配错的账号。它的毛病只有一个:读到一段藏着指令的内容,照做了。熟悉吗,二十年前一模一样:用户输入混进查询语句,数据库分不清哪句是话、哪句是令,一张表单掏空整库。今天历史重演,换了个地方。这篇在海外拿下上百赞,评论区安全圈:这比喻一点不夸张。

一、同一个病,换了层楼。当年的病根:数据和指令走一条道,拼进同一个串,机器分不清谁是谁。今天的病根:一字不差,模型也分不清哪句是老板的话、哪句是路边纸条的话。旧病有标准解法,分开传,各走各的道,行业花了十年普及。新病没有干净解法,这是更狠的地方:分不清是模型的本性,不是配错了。攻击数一年翻几倍,权威榜单已经把它排到第一,补丁却还在纸上。先认清,再谈防。

二、今天就能干四件事。第一,输入分级:外部来的内容一律当不可信, 进高危流程前先过一道筛。第二,工具最小权限:只读外部内容的智能体,别给它调钱调数据的本事,读和做分开。第三,高危动作加人工确认:转账、删库、发外部,机器说了不算,人点一下才算。第四,日志盯异常:输出里冒出不该有的内部词,立刻告警。评论区补了最狠的一条:先给所有碰钱的动作加确认,一个不留,今晚就加。

三、一句话。当年补注入花了十年,这次别再花十年。今天就去查:你的智能体读了外部内容之后,能调哪些工具,一个个看,看完把不该给的收回来。权限收紧别心疼,出事比心疼贵得多。安全这东西,平时嫌烦,出事嫌晚。

来源|海外开发者社区,https://dev.to/james_anderson_h/prompt-injection-is-the-new-sql-injection-and-were-not-ready-4ea4

海外技术译文安全智能体工程实践

评论(0)

暂无评论,来抢第一条。