中国科技网讯（记者 陈曦）马库斯最近和DeepMind杠上了。继前不久在Twitter上质疑OpenAI的“魔方机械手”之后，近日又对AlphaStar新推出的《星际争霸2》智能体AlphaStar进化版提出六大质疑。此次，他的质疑点并不是游戏表现本身，而是指向了更高的层面：对未来通用智能研究的意义。

图片来源于网络

近年最酷的人工智能都来自深度强化学习

根据报道，近期DeepMind推出的新版Alphastar，可以实现与真实世界中的玩家实现了复杂场景交互中的对战。之前美国通用人工智能研究组织OpenAI推出了新款机械手，集最新的AI算法于一身，通过机器自主学习，实现了“类人”机器人单手解魔方。

此次openai推出的单手解魔方机器手，不是传统的使用专业的算法来解决某一个特定的任务（如果换一个任务，还需要重新编程），而是通过某种学习方法，对真实世界的机器人进行训练，让机械手具备人手的学习能力。最终达到，让机器人可以像人类一样建模，可以使用对世界的相同直觉来做从开门到煎蛋的所有事情。但马库斯却认为，这个成果描述有误导，更恰当的标题应该是“用强化学习操纵魔方”或“灵巧的机器人手操纵物体的进展” 或类似的句子。

“马库斯过于强调‘用强化学习操纵魔方’是有点挑剔字眼了，其实OpenAI魔方机器手和DeepMind发布的《星际争霸2》智能体AlphaStar进化版都使用了强化深度学习技术。深度强化学习的方法，是目前公认在现有技术中最有可能实现通用人工智能的技术。”天津大学智能与计算学部软件学院副教授郝建业进一步解释说，目前机器学习分成三大分支，监督学习、非监督学习和强化学习，深度学习属于监督学习里目前最主流的一类技术。深度强化学习是深度学习与强化学习的融合，是将深度神经网络整合到强化学习框架当中。

“近几年，深度强化学习发展迅猛，它在处理复杂、多方面和决策问题方面显示出巨大的潜力。目前深度强化学习技术主要应用在一些游戏、比赛中。”郝建业介绍，2016年，谷歌的围棋程序(AlphaGo)击败了世界顶级围棋选手李世石、柯洁，轰动一时，成为人工智能领域的一个里程碑。AlphaGo的核心就在于使用了深度强化学习算法，使得计算机能够通过自对弈的方式不断提升棋力。此外，相继又有Facebook在DOTA2游戏中打败了顶级职业选手；CMU团队研发的德州扑克AI冷扑大师轻松击败顶级玩家。

此外，Deepmind还运用深度强化学习优化了数据中心的耗能；谷歌则利用深度强化学习完成深度神经网络的自动架构搜索，提出了酷炫无比的AutoML服务，借此将机器学习作为一种服务推广到千家万户。在我国，对于深度强化学习技术的应用也不少。阿里、腾讯、百度、滴滴和天壤等国内团队将深度强化学习应用到搜索、推荐、营销、派单和路径规划等实际问题的决策任务中。

深度强化学习是目前最可能实现通用人工智能的技术

人工智能发展到现在的高度，技术上较大的功臣，应该就属于深度学习算法。深度学习利用多层神经网络，从极大的数据中学习，从而实现对未来的预测，并使人工智能系统越来越智能。目前我们应用的安防监控、自动驾驶、语音识别、百度地图等都是深度学习技术在图像视觉、语音识别、自然语言理解等领域的应用。

而强化学习也是目前机器学习领域的热门技术，与基于已知标签训练模型的监督学习不同，强化学习能够在没有计算机的明确指示下，像人一样实现自主学习。当达到一定的学习量之后，强化学习系统就能够预测出正确的结果。“强化学习的基本思想是，学习在不同环境和不同状态下，哪种行为能够使得预期利益最大化。”郝建业介绍，新版AlphaStar智能体就采用了强化学习的自对战技术，其学习过程不需要数据标注，而是由奖励函数进行主导。智能体获得奖励得分或赢得一场比赛，它会得到积极的反馈，智能体就会根据对战的成绩好坏，来调整行为动作。这犹如婴儿学走路，会根据产生的结果好坏来调整行为动作。

目前对通用人工智能的定义主要有两个特点，一是端对端(end-to-end)的学习，二是任务自适应， 无需人类参与调控而胜任不同的任务。深度强化学习可以将深度学习的感知能力和强化学习的决策能力相结合， 可以直接根据输入的信息进行控制，是一种更接近人类思维方式的人工智能方法。在与世界的正常互动过程中，强化学习会通过试错法利用奖励来学习，这跟自然学习过程非常相似。比如单手解魔方机器手，它可能需要利用深度学习的识图技术等技术看到魔方，而后还需强化学习的模型让机器手在不断的试错过程中自主学习。在强化学习中，可以使用较少的训练信息，这样做的优势是信息更充足，而且不受监督者技能限制。深度强化学习朝构建对世界拥有更高级理解的自主系统又迈出的一步，这也是为什么说深度强化学习是目前公认在现有技术中最有可能实现通用人工智能的技术。

人类实现通用人工智能还有很长的路要走

“虽然说深度强化学习技术最有可能实现通用人工智能，但是并不能说就一定能够实现，我们离真正的通用人工智能还是有很大的差距的。”郝建业表示，深度学习和强化学习结合的时候，对现实情况的枚举就变成，首先对现实情况进行模式识别，然后进行有限模式的枚举，从而减少了计算的压力，但是所需的数据将比其他机器学习算法要大得多。如果将场景扩展到多智能体的深度强化学习，那么需要的数据和算力是呈指数级上升的，目前还没有平台能够提供强化学习所需要的巨大数据，无法穷举现实中可能遇到的种种复杂情况。这种数据“饥渴”在很多现实领域中都是无法实现的。

举例说明，比如强化学习需要大量的试错，如果把单手解魔方机器手应用到做饭的现实场景，那么可能它会把食材弄一地，也可能把一整袋盐倒到锅中，还有可能引起火灾。因此通过试错学习的模式，在现实场景中是无法实现的。

此外，深度学习和强化学习都是机器学习领域中最难调试成功的，它的成功案例其实不算很多，但是一旦推出，都会引起轰动。然而做过深度强化学习的科学家和工程师其实都深知，这是一个连随机种子都会大大影响学习效果的模型框架。同样的模型，训练10次可能7次是失败的，3次是成功的。以至于在深度强化学习圈子里面有“随时种子工程”的自嘲概念。此外，深度强化学习及其容易过拟合到智能体当前交互的环境中，所以环境稍有改变，之前看起来表现出色的智能体，也可能会犯低级错误。

“人类认识事物的时候，一般都是通过数据进行因果推理和判断，才得出相应的解决方案。而目前的人工智能系统却并不能实现这种因果推导。”郝建业表示，可能未来通用人工智能的发展，还需要依托于脑科学的发展，目前我们对人脑的认知还处于非常初级的阶段。大脑对事物的认知过程、解决问题的过程以及思考的能力等机制还都不清楚，因此，目前人工智能的发展，离这种真正能模拟人类智能思考的通用人工智能还有很长的路要走。

中国科技网：http://www.stdaily.com/02/liaoning/2019-11/21/content_817859.shtml?from=groupmessage

（编辑 赵晖 张佳楠）