本站讯 近日，天津大学智能与计算学部孟昭鹏教授、郝建业副教授团队, 同网易伏羲人工智能实验室、NTU合作完成ASE 2019 论文《Wuji: Automatic Online Combat Game Testing Using Evolutionary Deep Reinforcement Learning》。该工作发表在软件工程领域顶级会议34th IEEE/ACM International Conference on Automated Software Engineering (ASE 2019)，并荣获ASE 2019最佳论文奖(Distinguished Paper Award)。

该论文主要融合了进化算法与深度强化学习算法，从多目标优化的角度，旨在解决大规模商业游戏的自动化智能测试问题。长久以来，游戏测试一直被认为是一项极具挑战性的任务。在工业界，游戏测试一般使用脚本测试以及手动测试相结合的形式。时至今日，自动化游戏测试的研究仍然处于初级阶段，一个主要原因是玩游戏本身是一个持续决策的过程，而游戏缺陷（bug）往往隐藏的较深，只有当某些困难的中间任务完成后，才有可能被触发，这就要求游戏测试算法拥有类人的智能。

近年来，深度强化学习算法（DRL）取得的非凡的成功，特别在游戏控制领域，甚至表现出了超越人类的智能，这为推进自动化游戏测试提供了启示。然而，既有的DRL算法主要关注如何赢得游戏，而不是游戏测试，导致其可能无法广泛地覆盖需要测试的分支场景。

为此，该论文首次实时游戏测试框架Wuji，通过融合了进化算法，DRL算法和多目标优化机制，实现了智能的自动化游戏测试。并针对四款网易游戏产品中的1349个真实bug进行深入分析，使用一个仿真游戏和两个大型商业游戏对Wuji算法效果进行了大规模评估，结果证明了Wuji在探索游戏状态空间方面以及检测bug方面的有效性。此外，Wuji算法还检测到了游戏中先前从未被发现过的漏洞，进一步论证了算法的有效性。

Wuji - 基于多目标优化的进化强化学习框架

实验结果

研究人员在仿真迷宫环境(Block Maze)和网易游戏《倩女幽魂》（L10）与《逆水寒》(NSH)上分别进行了实验，实验结果证明了Wuji在探索游戏状态空间方面以及检测bug方面的有效性，还发现了先未知的漏洞。

（智算学部供稿 编辑 赵习钧 张佳楠）