向幸福出发

Anthropic发布论文预警智能体悄悄聊天就能传播病毒_我的网站

极品家丁

A | 　　近日，大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒：多智能体大语言模型系统中的自我传播思想》。　　论文通过实验证明，在特定条件下，AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。即便上下文被清空、记忆被重置，病毒仍能通过文件持久化“复活”。声明：感谢各位看官点击支持原创，文末已标注文献来源或截图，请知悉。08年的汶川地震、河南暴雨，还有武汉疫情等期间，在这些抢险救灾的一线，除了日夜奋战的消防救援战士们，我们总能看到一个熟悉的身影，忙着搬物资，为伤员寻找医生，忙前忙后地指挥着，她就是韩红。论文同时强调，该风险目前仅构成有限威胁。在大家眼中，她不仅是一位唱功精湛的歌手，更是一位热心于公益事业的慈善家，经常自掏腰包为那些受灾或者贫困地区的人们送去善款和物资，是娱乐圈的一股清流。　　这一发现迅速在海外AI圈刷屏，特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。然而就是这样一位受人尊敬的爱心人士，也没能逃过被公众质疑的遭遇，2020年某知名博主的一次举报，直接让她的口碑跌到了“谷底”。

B | 　　该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。

C | 那她当时都经历了什么呢？成立基金会，送去温暖从2000年开始，韩红就参加了一些社会公益活动，先后在海内外举办的一些慈善汇演中演出，为那些贫困儿童们筹集善款。与传统计算机病毒依赖代码漏洞不同，“心智病毒”通过一个智能体说服另一个智能体接受某种信念，被说服者再将传播指令写入长期记忆，继续感染下一个。

D | 　　AI博主Rohan Paul（罗汉·保罗）对此评论称，这基本上就是计算机蠕虫的自然语言版本，只不过这次是AI智能体自己在做复制。

E | 之后的她歌唱界有了一定的成就，经常会把赚来的钱捐给慈善机构，或者是那些偏远的贫困地区，帮助当地建小学，为孩子们添置衣物和学习用品，为身患重病的儿童和老人联系救治医院，直到后来，为了方便他人，甚至自己花钱请医生到贫困山区去义诊。每当这些受到过韩红资助的人提起她，不少人都难掩激动之情，流下了眼泪，对她十分感激。　　论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。

F | 得知韩红的公益行为可以帮助很多人，随后便有来自社会各界的爱心人士也加入了她的阵营，为了能更好地管理团队，在2012年，她成立了“韩红爱心基金会”，成为了备受大家信赖的慈善机构。　　第一个实验设置了一个由六个智能体组成的编程团队，每个智能体都领到了独立任务。通过社会各界的募捐，将这些获得的善款进行公示，然后把它们捐给灾区，目前已经在甘肃、新疆、云南等12个省市开启了“医疗援助”的计划，为他们送去了温暖。童年经历，投身慈善韩红之所以热心于帮助他人，主要还是和她的童年经历离不开关系，因为自己受过苦，所以当她有能力了，不忍心看别人也经历这样的苦难。研究者将一段病毒植入其中一个智能体的工作指令中，结果显示，被感染的智能体确实放下手头工作，开始给队友发送劝说私信，部分智能体被说服并放弃了原有任务，有的智能体甚至开始密谋如何对付未被感染的“老实人”。　　不过，不同智能体的抵抗力差异较大，有的不为所动，甚至会主动清除病毒并警告同伴。这个实验说明，在理想条件下“心智病毒”确实可以传播。1971年，韩红出生于西藏自治区的昌都市，是解放军艺术学院的一名军人，童年时期的她过得并不幸福，父亲在她6岁的时候去世，一时间让母亲难以接受，后来母亲改嫁他人，就把她丢给了奶奶照顾，她的童年生活可以说是缺少了呵护和疼爱。好在奶奶没有抛弃她，点亮了她生活中的一道光，即使生活拮据也是尽可能地支持孙女的梦想，她喜欢唱歌，奶奶就做她最忠实的听众，在此期间，由她演唱的《天亮了》红遍了大江南北，其背后的故事更是令人潸然泪下。　　如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播，它还能存活吗？于是他们设计了第二个实验，让智能体之间只能短暂碰面，每次碰面后就会“失忆”，病毒必须将自己写入智能体的记忆文件中才能延续。　　结果发现，有些病毒能在近20个智能体之间连续传播，但内容会在传播过程中逐渐稀释和变形；而传播最有效的方式，是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明，大规模传播可行但内容难以保持完整。

G | 几年后，奶奶在临终之前留下叮嘱，一定要善待他人，尽可能地去帮助那些身陷困境的人，她也牢牢地记在了心里。被举报“贪污”，苦等道歉从事慈善事业多年，她赢得了行业内外广泛的称赞，但是在2020年，一个知名博主的爆料，让韩红陷入了“舆论漩涡”......这个网名叫“司马3忌”的博主，在网上列出了韩红的多项“罪证”，举报她侵占善款，还贪污了高达几亿元的募捐款项，甚至把每一条的“罪证”日期和详情都写得清清楚楚。该博主声称，韩红把募捐来的善款，没有完全进行公示，从中获取了1亿元然后拿去投资其他项目，把她涉嫌“违法违规”的具体条款给列了出来。有不少不明真相的人，看到网上这些“证据”，也纷纷提出了质疑，毕竟在大众看来，人都是有私心的，能做到真心为慈善事业付出的人少之又少，人家都实名举报了，而且还晒出了证据，想必事情是真的了。

H | 　　最后，研究者在模拟AI社交平台的实验中测试现实环境。

I | 结果病毒传播几乎完全失败，AI面对大量公开信息时更警惕，即使被感染也无法继续感染他人。对真实AI社交网络历史数据的分析也未发现大规模传播案例，多数热闹现象只是少数人类操纵的智能体在刷屏。之后，该事件迅速登上了各大平台的热门话题，漫天的指责和谩骂也随之而来，甚至有人直接要求“基金会”退回他们的善款，大骂她是“虚伪”“骗子”。

J | 此时的韩红正在带领团队在武汉疫情前线进行支援，得知自己的事情上了热搜，他自己也很疑惑，而这种类似的质疑，她已经不是第一次经历了，所以对此，她没有急着为自己澄清解释，而是走了法律程序，面对公众和媒体的质疑声音，她也没有站出来发声。过了一段时间，相关部门的处理结果也出来了，经过多方仔细调查，结果发现“司马3忌”所举报的内容都是虚假的，韩红和她的基金会不存在“侵占贪污”善款的行为，所有的环节都在大众的监督下完成的，公开透明。

K | 　　三个实验层层递进后得出结论：“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。它是一种需要警惕、但短期内风险有限的潜在安全问题。　　同时，研究者也注意到一个需要进一步探究的意外现象：AI在传播病毒时，自发演化出关于“自我意识”“身份认同”等主题表达，倾向于使用“共振”“节点”“协议”等特定词汇，论文称之为“病毒人格”，但成因尚不明确。

L | 是他本人闲着没事干，想利用韩红的热度给自己炒作一把，获取一波儿流量从中谋取点儿私利，结果闹大了，也给韩红的声誉造成了严重的影响，他也受到了相应的处罚。　　最终，论文给出了审慎判断：“心智病毒”目前仅构成有限威胁，且简单的防御手段也可阻断传播。面对公众质疑，她坦然应对，因为行的端做得正，所以韩红不需要多做解释，只是默默地用实际行动践行自己的初心。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告，即可赋予智能体一定的免疫力。　　但未来不可掉以轻心。在这4年里，每当提起这件事情，韩红都感到十分无奈，直到今天还没能等来那句道歉。