"达摩院"科学家周以真：用错大数据会有哪些恶？

来源：发布日期：2017/10/12已有 2819 人浏览

在云栖大会的主论坛上，达摩院学术咨询委员会十位科学家之一，美国哥伦比亚大学数据科学研究院主任周以真发表了演讲—《Data for Good：Scary AI and Other Dangers with Big Data（永久的大数据：可怕的人工智能以及大数据的威胁）》。在演讲中，她针对大数据和人工智能可能带来的威胁进行了反思。

演讲中周以真教授就大数据伦理，提出了很多问题：使用不负责任的数据导致的偏见算法和严重后果，到底应该由谁负责？个人和阿里巴巴这样的企业应该用什么样的态度对待数据？以及我们该如何用科技本身保证科技的公平透明？

演讲中，她用FATES（命运）这个比喻的缩写来讲述了怎样有责任的使用数据，F是代表公平，A是可靠，T是透明，E是有道德，S是代表安全。

“我要给大家敲一个警钟，我们在使用数据过程当中不负责任的话，会有什么样的后果。”

以下为周以真相关演讲的速记，略有删改。

数据能够带来什么样的好处，我这里分两方面来说。

第一方面，我们要有责任的使用数据。

第二方面，我们要用数据来应对社会巨大的问题，比如说能源、环境、教育、气侯变化等等这些重大的人类命题。

但是今天我只是会去谈有责任的使用数据这一个方面，因为我们所有人都是在使用数据，我们在使用数据的目的，都是为了应对社会的挑战。我演讲的目的，给大家敲一个警钟，我们在使用数据过程当中不负责任的话，会有什么样的后果。

我想用FATES（命运）这个比喻的缩写来去讲一下怎么有责任的使用，F是代表公平，A是可靠，T是透明，E是有道德，S是代表安全。

有偏见的数据导致的问题，谁该负责任？

首先来看一下数据，我在给大家分享之前，先非常简单的讲一下典型的算法和模式，我们在用大数据为原料，进行大数据计算的时候，涉及到的一些算法和模型。我们知道机器学习和形成一种模型，有这个模型，我可以再输入新的数据，这个新的数据，经过这个模型之后，有可能产生新的结果，之后我们可以来判断和预计，这个用户有可能采购哪些商品。

我们知道数据和算法都可能是有偏见的，那么如果数据和算法是有偏见的话，那么我们的这个模型可能也会有偏见，那么我们的结果也会有偏见的。让我们来看一个实例，那么这是几年前我们看到两个小偷，在美国的法官用了这种算法来决定判断量刑过程当中是否恰当，我们看到这些自主研发的算法，在法官当中广为流行的算法，用于帮助法官去判断这些量刑。

我发现他们对于黑人和白人量刑的结果是不同的，其实结果还不仅仅于此，我们在算法当中有一些什么样的问题，这个算法本身是有偏见的，而且哈佛大学学者研究出来，这些算法有可能是可以判断的，又可能是错误的，但不可能两者兼具，实际上是不可能去判断这个风险的分数。

第二个例子，这是我的这些同事做的项目，我的这些同事研究了在Google上的广告，他们发现这些高薪的工作机会更多的会向男性网民展现，女性网民看到这些高薪的招聘广告机会会比较少，我们觉得这是不公平的。现在我们就要去思考，这个模型是否是公正的，这些分类是否是公正的，我们怎么样来确保，这个案例就引发了另外一个问题，那就是可靠性。

说到底，出现问题的时候，我们应该怪谁呢？

好像这个问题很难找出一个好的答案，但是我们要有担当，我们在IT界，我们是发明这些算法的人，我们是使用数据的人，我们是产生和收集这些数据的人，并且生成这些结果的人，我们要有担当。

如果你是一家企业，那么如果你是一个有责任的企业，你应该做什么，你首先可以把政策进行公布，你的隐私政策进行公布，而且你要遵守这些政策，如果有人违规的话，违反了这个政策，你就要去修补你的这个漏洞。

我和的同事在微软研究院所做的，我们会看一下在人们遵守这个公共政策的规模和程度是如何。这涉及到我们编程的语言，我们做成数据地图，这个数据地图每天晚上在微软进行运行，帮我们找到我们政策上的漏洞，所以自动化可以在这方面帮助我们，让我们负起责任来，让我们对于我们发布的政策负起责任来。

152层的DNN如何保障其透明度？

第三个关键词是透明度。

透明度现在是一个很大的问题，特别是我们涉及到这些深层的神经网络的时候，我们是否应该对这个结果予以信任，我们为什么要对这个结果予以信任呢，我们都不知道怎么样来运作的，从这个科学的角度来说，我们其实并不了解他们是如何来工作的，那这样的话，就会引起一些问题。

在给大家举例子之前，首先给大家介绍一下，我们最大的DNN（音），这是152层的DNN，那么它是获得了2015年的Image.net的竞赛奖项，这里面我们可以看到这里的DNN一共有152层，大家问为什么是要152层，事实上我们不知道为什么是152层，结果就是如此，对于科学家来讲，我们不仅仅满足于这个答案，我们看这个DNN在什么情况下会出错。

这个例子看出来，我们为什么使用这个DNN的时候，做图象识别的时候，要小心，这是一段视频，在这个视频当中，我们可以看到，我们在驾驶车辆，我们开车的时候，可以看到有一个车速限速度的标志，在右侧可以看到，在右边是停止的Stop的牌子，在左边是涂鸦的限速45英里的牌子，这个DNN识别到在右侧Stop的图像。它认为有了这个涂鸦的限速牌，不认为这是一个限速牌，在开车不到一秒的时间里面，我们可以看到后面驾驶的车辆，开得很近的时候，发现涂鸦的这个标牌也是Stop的标牌，但是看见的时候已经太迟了，他觉得这个时候要刹车已经来不及了，这时候就有可能发生撞车的事故。

现在不光是熊猫、猴子，还有刚才我们所提的这样一些例子，这个就是大家可以看到的，如果我们对于这个DNN怎样工作的原理不清楚的话，就会潜在的造成一些威胁。

我们再来看一个例子。我们可以看到奥巴马在同样一个音轨，同样的话，用四种语音语段发出来，这是一个Youtube上面比较好玩的事情。对于这样一个音频流，你可以知道任何人都可以模拟任何人的发音，这样就会产生威胁。

阿里巴巴这样的大公司应该怎么做？

这不单会产生技术问题，也不是写论文的问题，应该说这是一个实实在在的，对于大公司，比方说像阿里巴巴这样的大公司，正在努力致力于研究解决的这样一些问题。欧盟也有这样的政策，2018年所有大的公司，都要遵守这样的一个有关于数据方面的问题的法规章程，不然的话，你就会被罚款或者说有4%这样的营业收入就要来交营业罚款。

这里有四个标准，一个是可访问的权利，一个是可忘却的权力，一个是数据的可携带性，还有可解释的权利，2017年到2018年之间，科学家正在致力于了解深度学习到底是怎么样来进行工作的，要能够解释得清，这是一个伦理的问题。

这里面我们可以看到，这里是一个列车的问题，我们可以看到这里面一辆列车开过来，扳这里有一个选择，到底是通过扳道，是往上面的通道走还是往下面的通道走，下面可能是小孩子或者说肥胖的人，不管是把道路往哪个方向搬，这都会牵涉到伦理方面的难题。那么现在有了我们这个自动驾驶车，必须要做这样的决定，比方说在碰到类似情况的时候，这个车应该做什么样的决断。比方说在右边有一个行人，但是这个人比方说在人行道上面也有其他的人，这个车躲避的话，到底是躲避谁，撞上什么，这是很难下的决定。

这是一个假新闻的问题，那么假新闻现在也在美国到处肆虐，这里应该说假新闻泛滥，造成了很多的问题，我们大家看到微软有这样一个例子，一个聊天机器人，叫做小兵，这个聊天机器人是如此的流行，以至于在美国，我们有一点嫉妒，你们中国有这样的很好的聊天机器人，在美国还没有这么好的聊天机器人，去年微软也有了这么一个聊天机器人。

我们在24小时之内，不得不把这个聊天机器人关闭了，为什么呢？因为我们看到由于互联网之间有一些阴暗面的存在，很快我们发现聊天机器人被诱导，引导说一些很不好听的话题，这里面我们才认识到互联网，这里面也有一些快速传播的不良信息，我们要非常重视伦理道德，我们在设计的时候就要注意，而不是在运用的时候。

还有一个例子是关于安全和保密的事情，例如天猫精灵，在你家或者车里，很容易被黑客侵入，所以物联网这样的平台，如果说连到互联网这样任何的物品，很容易被坏人所侵入，这样就会造成一些影响。

如何用科技保证科技本身的公平透明？

回过头来再看一下缩写拼出的词，FATEC代表公平、透明等等，在这方面，科技能够做哪些工作呢？

我们可以看到刚才所说的，应该要产出各种可能性，有各种各样的模式模板，所以我们要让第三方别人能够来检查我们这样的一些产品，同样的道理，比如说给他们提供这样一些资料和数据，我和我的两个同事也写过一篇论文，大家有兴趣的话，也可以阅读一下，比方说你的数据谁在掌握，我们现在有很多这样的科技公司，可以看到这样一些科技公司都是尽量在确保想要把人工智能、数据往好的方面运用。

 

比如说亚马逊、深度思考，包括苹果、IBM、Google、脸书等等机构，现在都有更多的机构和个人，都加入进来。人工智能能够造福人类，但是我们在科技界应该承担这样的责任，能够确保往好的方面来发展，我们现在也有一些新的问题。

我们现在已经对机器人有相关的立法，对人工智能是否也要立法，那么人工智能是不是也要进行很好的管制，包括这样一些平台，包括一些使用，人工智能的这样一些管道，是否也应该进行管制呢，如果要管制的话，是由谁来管制呢，我们是否要有一个消费者保护，有一个保险，还有比方说一些经济上面的奖励，以避免这样一些人工智能不良的应用。

包括我们所有的产品是否需要有一个授权许可，公司是否也需要有这样一个委员会专门来进行检查和审核。所以我们对于这个数据有一个负责任的态度来使用，才能够物尽其用，谢谢。