·去年，DeepMind和瑞士等离子体中心合作利用AI成功控制托卡马克内部的核聚变等离子体。最近，DeepMind新研究表明已将等离子体形状的模拟精度提高65%，将学习新任务所需的训练时间减少3倍甚至更多。
DeepMind的实验已将等离子体形状的模拟精度提高65%。
从人工智能机器人AlphaGo大战围棋世界冠军韩国棋手李世石，到人工智能程序AlphaFold预测蛋白质折叠，再到去年用AI控制核聚变反应登上《自然》杂志，谷歌旗下人工智能公司DeepMind已将人工智能算法深入到足以改变世界的领域。
7月26日，DeepMind表示，去年和瑞士等离子体中心合作利用人工智能成功控制了托卡马克内部的核聚变等离子体。“自那时起，我们的实验已经将等离子体形状的模拟精度提高了65%。”相关研究7月21日提交在预印本网站ArXiv上，论文题为《面向托卡马克磁控制的实用强化学习》。
托卡马克是一种利用磁约束来实现受控核聚变的环形容器，中央是一个环形真空室，外面缠绕线圈。通电时，托卡马克内部会产生巨大的螺旋型磁场，将其中的等离子体加热到很高的温度，以达到核聚变的目的。
反馈控制对托卡马克装置的运行至关重要，控制系统主动管理磁线圈以抑制细长等离子体的不稳定性，此外对等离子体电流、位置和形状的精确控制使热排和等离子体能量的管理成为可能。传统的等离子体的精确控制是通过连续闭合等离子体电流、形状和位置来实现的，但等离子体形状和位置等量不能直接测量，必须通过磁测量间接、实时估计。虽然这类系统已成功稳定了大范围的放电，但这种设计具有挑战性且耗时。
而强化学习近来成为构建实时控制系统的另一种范式，强化学习在包括等离子体磁控制领域在内的实时控制系统中显示出了良好的效果，但与传统的磁约束反馈控制方法相比，仍然存在明显缺陷。
在此次研究中，研究团队将重点放在策略准确性和整体训练速度上，解决了强化学习方法的主要缺点，包括对所需的等离子体特性实现更高的控制精度、减少稳态误差、减少学习新任务所需时间，提出了对智能体架构和训练过程的算法改进。模拟结果显示，等离子体形状精度提高了65％，大大减少了等离子体电流的长期偏置，将学习新任务所需的训练时间减少3倍甚至更多。
研究团队表示，虽然这些结果显著降低了强化学习控制器的局限性，但还有很大改进空间。未来不仅需要提高模拟性能，还需要在硬件上匹配实际等离子放电时的性能水平，目前模拟和硬件之间的精度差距几乎主导了模拟中任何剩余的改进。同样，有许多机会可以继续减少训练所需的时间。
