或将毁灭世界 美军担心军事机器人程序变异

毫无疑问，未来战争中，自动机器人士兵将成为作战的绝对主力。但是美国海军研究室近日在关于机器人士兵的研究报告《自动机器人的危险、道德以及设 计》中，对军方使用机器人提出警告，建议为军事机器人设定道德规范。研究人员认为，必须对军事机器人提前设定严格的密码，否则整个世界都有可能毁于他们的 钢铁之手。

报告中表示，为军事机器人设定道德规范是一项严肃的工作，人类必须正视快速发展的机器人，它们足够聪明，甚至最后可能展示出超过现代士兵的认知优势。

帕 特里克·林博士在报告中表示：“现在存在一个共同的误解：认为机器人只会做程序中规定它们做的事情。可不幸地是，这种想法已经过时了，一个人书写和理解程 序的时代已经一去不复返了。”林博士说，实际上，现在的程序大都是由一组程序师共同完成的，几乎没有哪个人能够完全理解所有程序。因此，也没有任何一个人 能够精确预测出这些程序中哪部分可能发生变异。

如何能够保护机器人士兵不受恐怖分子、黑客的袭击或者出现软件故障呢？如果机器人突然变得狂 暴，谁应该负责呢，是机器人的程序设计师还是美国总统？机器人应该有“自杀开关”吗？林暗示说，唯一解决这些问题的办法就是提前为机器人设定“密码”，包 括伦理道德、法律、社会以及政治等因素。

也认同这个准则，随着技术的发展，三定律可能成为未来机器人的安全准则。

警告程序师不要急于求成

报告还指出，现今美国的军事机器人设计师往往急于求成，常常会将还不成熟的机器人技术急匆匆推入市场，促使人工智能的进步在不受控制的领域内不断加速发展。更糟糕的是，目前还没有一套控制自动系统出错的有效措施。如果设计出现错误，足以让全人类付出生命的代价。

设计师的这种心理原因可能与美国国会的命令有关。美国国会规定：到2015年前，三分之一的地面战斗将使用机器人士兵。

“机器人三定律”

事实上，一个简单的伦理密码，比如“机器人三定律”早在1950年就已经出台，但它们还不足以控制自动机器人的伦理行为。“机器人三定律”是阿西莫夫最重大的科幻理论贡献，他在名著《我，机器人》中写道：

一、机器人不得伤人或看见有人受伤却袖手旁观；

二、除非违背第一定律，机器人必须服从人的命令；

三、除非违背第一及第二条定律，机器人必须保护好自己。

“三定律”在科幻小说中大放光彩，在一些其他作者的科幻小说中的机器人也遵守这三条定律。但是，截至2005年，三定律在现实机器人工业中仍然没有应用。目前很多人工智能和机器人领域的技术专家。