智能武器的危险之处在于，软件工程师可以很轻松地给它重新编程，使其成为滥杀无辜的机器。
最近一段时间，很多知名人士都对人工智能武器表示了抵制，但他们给出的原因却比较偏颇，认为机器人有朝一日将会控制人类。这种说法其实并不合理，至少在短期内不合理。但是，人工智能武器所蕴含的危险，也确实不是那种常规的、由人类操控的武器可以比拟的。因此要求禁止人工智能武器的呼吁，也理应获得大家的声援。
迫在眉睫的危险
从谷歌无人驾驶汽车的身上，我们可以一瞥人工智能的未来。现在你试想一下：一个凶恶的黑社会团伙偷走了一辆这样的车，在其顶端加装了一门火炮，然后给车辆重新编程，把炮口对准公众。如此一来，它就成为了一件人工智能武器。
各国政府的眼睛是雪亮的，当然不会看不到这种武器的潜力。美国海军今年宣布计划开发无人机武器，而韩国的Super aEgis II自动炮塔，俄罗斯的Platform-M 战斗机器也双双亮相。
但人工智能武器不会是政府的独家秘制。现在人人都可以买得到搭载GoPro 相机的四轴无人飞行器。现在想象一下，有人开发了一个简单的软件，可以让它自动飞行。而那个邪恶的黑社会组织，就是可以把无人驾驶汽车改装成武器的犯罪团伙，当然也可以把枪支搭载在无人机上面，给它重新编程，然后让它飞到拥挤的公共场所去杀人。
这就是人工智能武器近在眼前的危险，：它们很容易被人利用，改装成滥杀无辜的机器，其危害性远远超过了同样的、但需要有人操作的武器。
机器本身并不可怕
斯蒂芬霍金、宇宙学家马克斯特格马克以及伊隆马斯克和其他很多人都签署了“未来生活”（Future of Life）请愿书，要求禁止制造使用人工智能武器。今年1月，马斯克捐款 1000万美元给发起该请愿的机构。4月份，联合国召开了“杀手机器人”会议，不过没有产生任何具有持久性的政策决定。“未来生活”请愿信指出，人工智能武器的危险非常具体，不出几年就有可能导致灾难，需要马上采取行动来加以避免。可惜的是，它并没有明确指出，有哪些人工智能武器已经出现在了地平线上。
很多人担心会出现“终结者”那样的世界末日场景：机器人具有了像人类一样的能力，能够完全依靠自己与世界交互，而且这些机器人试图征服世界。
物理学家、皇家天文学家马丁里斯爵士就警告说，灾难性的场景，比如“愚蠢的机器人不按指令行事，或一个网络自己有了主见。”他在剑桥的同事、哲学家休普莱斯也表达了类似的担忧，觉得当智能“不受生物学限制”时，人类可能无法生存。在两人的推动下，剑桥大学组建了生存风险中心（Centre for the Study of Existential Risk），以图避免人类的生存遭受如此巨大的威胁。
这些问题当然很值得研究。但是，它们远不如人工智能武器问题那么迫在眉睫。
我们很快就能开发出类似于人类的人工智能了吗？几乎所有的标准答案都是：不是很快。很多媒体都说，雷丁大学的聊天机器人尤金古斯特曼(Eugene Goostman)是真正的人工智能，因为它真的让一些人以为它是一个13岁的男孩。但是，聊天机器人和真正的“像人类一样的智能”还差多远呢？计算机科学家斯科特阿伦森（Scott Aaronson）的第一个问题就把尤金难住了：“是鞋盒大呢，还是珠穆朗玛峰大？”
尽管这样，还是有很多人都在“未来生活”请愿信上签了名，明确表示要抵制人工智能武器。原因在于：与拥有自我意识的计算机网络不同，在无人驾驶汽车上架机枪现在就可能出现。
人工智能武器的问题，不在于它们将会控制世界，而在于它们非常容易被重新编程，因此任何人都能够以低得惊人的预算，制作出一台滥杀无辜的高效机器。可怕的不是机器本身，而是黑客可以用比较适中的价格，用它们来做什么样的事情。
容易被改造和利用
不妨想象一下：一个正在崛起的的暴君，决心辣手摧毁反对派，他拥有一个数据库，知道每个人对他的忠诚度高低，以及地址和照片。在以前，暴君需要一支军队来完成这个任务，而还需要贿赂士兵，或者给他们洗脑，才能让他们枪杀无辜者。
而以后，暴君只需要花上几千美元，购买一些搭载自动枪械的无人机，就可以如愿以偿了。依照摩尔定律（自从晶体管的发明以来，1美元成本的计算能力是呈指数级增长的），人工智能无人机的价格某一天会降到和一支AK-47差不多。给四个软件工程师洗洗脑，其中就有三个有能力给无人机重新编程，让它们前去附近异见者的住处和工作场所，当场射杀他们。无人机犯错误的可能性更小一些，而且也不需要贿赂或者洗脑，最重要的，它们的工作效率比人类士兵高得多。在国际社会还没有来得及做出任何反应之前，野心勃勃的暴君就已经血洗了反对派阵营。
自动化大幅提高了效率，因此对于任何想要犯下这种暴行的疯子来说，人工智能武器的门槛也降低了。当年的独裁者需要动用一整支军队才能做到的事情，现在只要有点钱的人就能办到了。
有兴趣研发这种武器的制造商和政府可能会声称，他们可以提供出色的保障措施，以确保这些机器不能被重新编程，不会遭到黑客攻击。对于这种说法，我们最好是保持怀疑态度。电子投票机、自动取款机、蓝光光盘播放机，甚至飞驰在高速公路上的汽车，尽管都曾标榜自己有很高的安全性，最近却都已被黑客攻破。历史事实已经证明，在计算设备和试图改变其利用方式的黑客之间，赢家往往是黑客。人工智能武器不可能会是例外。
禁用人工智能武器
1925年签订的国际条约禁止在战争中使用化学武器和生物武器。而中空弹（Hollow Point Bullet）早在1899年就被禁用，因为这些武器会导致极大的、不必要的痛苦。它们特别容易导致平民伤亡。比如公众可能会吸入毒气，医生在尝试取出中空弹时可能会受伤。这些武器很容易给无辜者造成痛苦和死亡，所以它们遭到了禁用。
是否有某种类型的人工智能机器同样也应该被禁用呢？答案是肯定的。如果一种人工智能机器可以很便宜、很容易地改造成高效的无差别大杀器，那么我们就应该制定禁止它的国际公约。这样的机器与放射性金属在本质上没有什么不同。它们都可以和平利用，造福人类。但是我们必须小心翼翼地对它们加以管控，因为它们很容易被改造成毁灭性武器。不同的是，对人工智能机器进行改造，将其用于破坏性目的，远比把核电站的反应堆改成核武容易得多。
我们应该禁止人工智能武器，这不是因为它们全都具有不道德的属性，而是因为人们可以利用在网上找到的资料，把人工智能武器改装成“狰狞的嗜血怪物”。只需一段简单的代码，就可以把很多人工智能武器转变成不亚于化学武器、生物武器和空心弹的杀人机器。（Kathy）
