中科院院士张钹：纯粹数据驱动的人工智能不可靠 存在危险

前言

纯 粹靠数据学习生成的人工智能不可解释 ，处于不可控状态，为了避免危险，需要发展安全、可靠 、可信的智能机器人。

8 月19日，中国科学院 院士、清华大学人工智能研究院院长张钹在机器人大会主论坛上表示，纯粹靠数据学习生成的人工智能不可解释，处于不可控状态，为了避免危险，需要发展安全、可靠、可信的智能机器人。 此外，张钹对机器人的伦理行为也提出了自己的思考，他认为让机器人完全遵守道德规范和机器人的智能化存在矛盾，需要通过研究新的伦理分析工具等方式解决该问题。

要把知识加到数据驱动中 “目前机器是人的奴隶，我们叫它做什么它就做什么。但是我们希望进一步发展智能机器人，这就存在另一种可能性，即机器人会不会成为我们的主人？现在，大家越来越认识到这个可能性是存在的，阿西莫夫、霍金也提出过相关观点，如果机器的智能超过我们，我们就失去对它控制，对于这样的机器人要加以限制，加以治理。”张钹说。 张钹表示，当前机器人智能还很低的时候就处于不可控状态，这让人类面临危险。“比如用深度学习的方法处理事情，生成的人工智能算法危险、不鲁棒（鲁棒性，指系统对异常情况的适应能力），没有可靠性保证，如果使用这种人工智能算法，必然会对人类带来伤害，这已经成为现实问题。参考当前人工智能的发展状况，此担心看起来是一个近忧，而不是远虑。” 在他看来，（人工智能）纯粹靠数据驱动的方法必然不鲁棒，必然不可解释，必然不可靠。人在从事人工智能工作的时候就一定要考虑到相关的可能性，要解决这类问题，唯一的可能性就是加上知识，加上模型，办法很简单，但执行起来很困难，因为把知识加到数据驱动中去，方法上要有很多改变。 张钹表示，我们提出的第三代人工智能就是要解决第二代人工智能算法不安全，不可靠，不可信，不可控的状态。第一代人工智能主要靠知识驱动，第二代人工智能主要靠数据驱动，这两个方法都有片面性，必须把这两个方法加起来，才有可能发展安全的、可靠、可信的智能机器人。 机器人如何遵守道德规范？ 张钹表示，提出过著名“机器人三定律”的阿西莫夫曾说，如果机器人有了意识，如何让机器人能够按照伦理准则行动是一个问题。但实际上，什么是道德以及什么是不道德本身就存在非常大的争议，如存在电车难题这样的困惑，而且对于机器来说还要把道德和伦理形式化，这需要法律、道德、伦理各界的共同研究。 他认为，假设给机器一个道德规范，也涉及机器人的行为可控不可控的问题，“给机器加上人工智能就不可控了，因为完全按照一个规则来执行的，不是智能机器人，只有给予其一定的灵活性，机器人才能有创造性，才能自主解决问题，这是必然要付出的代价。” “而且我们对于一些技术本身都做不到预测，都不知道怎么做出来的，例如用深度学习做模式识别，识别率提高非常多（记者注：深度学习的输入和输出的部分通俗易懂，但其中间的运算部分的构造是一个极其复杂难以理解的‘黑箱’），大家没有预计到这种方法鲁棒性非常差。目前，机器人被滥用的现象非常严重，机器人在设计的过程中，要做很好的评估和预测，不能随便定一个规划，对智能机器人要做非常严格的评估。”张钹表示。 在他看来，可以通过研究新的伦理分析工具进行更好的伦理分析结果预测，利用深度学习方法对不道德和道德行为给出样本进行分析，以及通过仿真模拟大量实验来解决安全性的问题和伦理问题。