为何我们认为人工智能永远服务于人类，不会AI叛变？

这种担心对人类的安危并没有多大用。不需要所谓叛变， 弱人工智能可以在特定方面强于人，可以在人的要求下服务于灭亡人类的恐怖主义行径，也可以偶然地完成同样的事。

例如机器学习病原体和人体的互动模式，算出潜伏期半年程度、可由候鸟•昆虫等携带、飞沫核传播、人传人基本传染数 12 以上、病死率 100% 的病原体的可能的碱基序列，合成几百种并散布。这需要控制世界各地的各种核酸工厂的一小部分设备，或是购买市面上的相关商用设备，对恐怖组织来说可以暴力劫持相关设备和人员。

这种事可以由安乐死教会之类希望人类灭亡的组织、“伊斯兰国”之类极端组织建造的弱人工智能执行。你考虑一下麻疹病毒的现实传染力、狂犬病毒的现实病死率，这样的病毒大概设计得出来。十九世纪，麻疹病毒对从未接触它的人群刷出过 30% 到 50% 的病死率。

为了对抗这样的危机，需要能迅速发现并紧急对策危机的手段，那大抵也离不开弱人工智能。这些弱人工智能也不是完全安全的，没有绝对安全的系统。

又例如“让机器设计拆解有机污染物的基因工程细菌，效果很好，但该细菌被释放到污染物所在地后意料之外地变得可以拆解人体”。这事可以由各种搞生物科技环保的初创公司建造的弱人工智能执行。

给非道德性的事物加上“背叛”之类道德判断，通常是科幻故事里营造矛盾冲突的手段，或是将“理论上人类不可能长时间控制智能远强于人的计算机”阐发得过于简单。在能谈论“强人工智能如何如何”之前，风险就已经存在了。