阿尔法狗再进化 AlphaGo Zero是什么工作原理是什么

发布网友发布时间：2022-04-23 20:52

共2个回答

热心网友时间：2023-09-12 22:54

“Zero提高了计算效率，并且没有使用到任何人类围棋数据，”AlphaGo之父、DeepMind联合创始人兼 CEO 戴密斯·哈萨比斯（Demis Hassabis）说。AlphaGo此前的版本，结合了数百万人类围棋专家的棋谱，以及强化学习的监督学习进行了自我训练。在战胜人类围棋职业高手之前，它经过了好几个月的训练，依靠的是多台机器和48个TPU（谷歌专为加速深层神经网络运算能力而研发的芯片）。AlphaGo Zero的能力则在这个基础上有了质的提升。最大的区别是，它不再需要人类数据。也就是说，它一开始就没有接触过人类棋谱。研发团队只是让它自由随意地在棋盘上下棋，然后进行自我博弈。AlphaGo Zero强化学习下的自我对弈。经过几天的训练，AlphaGo Zero完成了近5百万盘的自我博弈后，已经可以超越人类，并击败了此前所有版本的AlphaGo。DeepMind团队在官方博客上称，Zero用更新后的神经网络和搜索算法重组，随着训练地加深，系统的表现一点一点地在进步。自我博弈的成绩也越来越好，同时，神经网络也变得更准确。AlphaGo Zero习得知识的过程“这些技术细节强于此前版本的原因是，我们不再受到人类知识的*，它可以向围棋领域里最高的选手——AlphaGo自身学习。” AlphaGo团队负责*卫·席尔瓦（Dave Sliver）说。追答据大卫·席尔瓦介绍，AlphaGo Zero使用新的强化学习方法，让自己变成了老师。系统一开始甚至并不知道什么是围棋，只是从单一神经网络开始，通过神经网络强大的搜索算法，进行了自我对弈。

随着自我博弈的增加，神经网络逐渐调整，提升预测下一步的能力，最终赢得比赛。更为厉害的是，随着训练的深入，DeepMind团队发现，AlphaGo Zero还独立发现了游戏规则，并走出了新策略，为围棋这项古老游戏带来了新的见解。
首先，AlphaGo Zero仅用棋盘上的黑白子作为输入，而前代则包括了小部分人工设计的特征输入。

其次，AlphaGo Zero仅用了单一的神经网络。在此前的版本中，AlphaGo用到了“策略网络”来选择下一步棋的走法，以及使用“价值网络”来预测每一步棋后的赢家。而在新的版本中，这两个神经网络合二为一，从而让它能得到更高效的训练和评估。

第三，AlphaGo Zero并不使用快速、随机的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，来预测哪个玩家会从当前的局面中赢得比赛。相反，新版本依靠地是其高质量的神经网络来评估下棋的局势。席尔瓦继续称：“在每场对弈结束后，AlphaGo Zero实际上都训练了一个新的神经网络。它改进了自己的神经网络，预测AlphaGo Zero自己的棋路，同时也预测了这些游戏的赢家。当AlphaGo Zero这样做的时候，实际上会产生一个更强大的神经网络，这将导致‘玩家’进行新的迭代。因此，我们最终得到了一个新版AlphaGo Zero，它比之前的版本更强大。而且随着这个过程不断重复，它也可以产生更高质量的数据，并用于训练更好的神经网络。”

热心网友时间：2023-09-12 22:54

强化学习与AlphaGo Zero