bupt.moe

A\的一项丰功伟绩是把AI safety、AI security和AI for security三件事情混为一谈，然后再把这个混杂的概念当成excuse。然后这种坏习惯传染到了一整个学术圈。 safety是对你使用过程中保持稳态的担保，你正常开着AI不会给你文件全删了是safety，AI不去帮你主动下单海量切糕导致家破人亡是safety。 security则是一定围绕攻防展开讨论的（保安说是），基础设施被日了模型被偷了agent被提示词注入了这叫ai security，而你拿ai去给fastjson一秒三棍出0day，这是ai for security。 但在A\那儿这几个词是混为一谈的，包括但不限于滥用red team这个概念，只…

#群友骚话

不行了，有人现身说法了

书接上文。AI对公安和Staatssicherheit工作真正的影响是什么呢。 AI真正的大问题之一，它是回音壁（echo chamber），哪怕你通过提示词让AI跟你展开精神分析和自我批评，按目前训练的风格他就是会align到人类，会刻意去迎合你的，而显然，越垃圾的AI，它就越迎合你。遑论更多使用AI（豆包）的人根本意识不到这一点，他觉得这是个助手，可能有点像给领导开车的司机或者大秘的角色，搁那聊，给自己聊进去了。对于ego稍微大点的人（尤其是各类领导），这种激化放大个人意见巩固自信的效应会更加增强。 那对于本身精神状态就异乎常人的用户，比如本来就玉玉的小孩，比如反人类人格有杀心的用户，AI的道德围栏的优先级是远小于遵从用户的优先…

至于AI safety，本文因其原作者所限没有谈到的一个领域是——军事。这方面的发展对大众来说基本上是不可见的。笔者认为是 极不乐观 的。