深度学习技术教导神经模型发挥反向合成

从生物化学家到材料科学家，研究人员长期依赖丰富多样的有机分子来解决紧迫的挑战。一些分子可用于治疗疾病，其他分子用于照明我们的数字显示器，还有一些用于颜料，涂料和塑料。每个分子的独特性质取决于其结构 - 即通过其组成原子的连接性。一旦确定了有希望的结构，仍然存在通过一系列化学反应制备目标分子的困难任务。但是哪些?

有机化学家通常使用称为逆合成分析的过程从目标分子向后工作。在此过程中，化学家面临着一系列复杂且相互关联的决策。例如，在成千上万种不同的化学反应中，您应该选择哪种化学反应来制造目标分子?一旦做出决定，您可能会发现自己有多个反应所需的反应物分子。如果无法购买这些分子，那么您如何选择合适的反应来生产它们呢?智能地选择在此过程的每个步骤中执行的操作对于导航大量可能的路径至关重要。

哥伦比亚工程公司的研究人员开发了一种基于强化学习的新技术，该技术训练神经网络模型，以便在逆合成过程的每个步骤中正确选择“最佳”反应。这种形式的AI为研究人员提供了一个框架，用于设计化学合成，优化用户指定的目标，如合成成本，安全性和可持续性。由ACS Central Science于5月31日发布的新方法比解决这一具有挑战性的搜索问题的现有策略更成功(约60%)。

“强化学习创造了比复杂的视频游戏更好的计算机玩家。也许反复合成也许没有什么不同!这项研究让我们希望强化学习算法可能比人类玩家在'游戏'上好一天。反向合成，“多伦多大学化学与计算机科学教授AlánAspuru-Guzik说，他没有参与这项研究。

该团队将反合成规划的挑战定义为像国际象棋和围棋这样的游戏，其中可能选择的组合数量是天文数字，并且每个选择的价值都不确定，直到综合计划完成并且其成本得到评估。与早期使用启发式评分函数(简单的经验法则)来指导反合成计划的研究不同，这项新研究使用强化学习技术根据神经模型自身的经验做出判断。

“我们是第一个将强化学习应用于逆合成分析问题的人，”化学工程副教授Kyle Bishop说。“从一个完全无知的状态开始，模型对策略一无所知并随机应用反应，模型可以练习和练习，直到找到一个优于人类定义的启发式的策略。”

在他们的研究中，Bishop的团队专注于使用反应步骤的数量来衡量什么是“良好的”合成途径。他们的强化学习模型正是考虑到这一目标而定制其战略。使用模拟经验，团队训练模型的神经网络，以基于其分子结构的表示来估计任何给定分子的预期合成成本或价值。

该团队计划在未来探索不同的目标，例如，训练模型以最小化成本而不是反应的数量，或避免可能有毒的分子。研究人员还试图减少模型学习其策略所需的模拟次数，因为训练过程的计算成本非常高。

“我们希望我们的反合成游戏将很快遵循国际象棋和围棋的方式，其中自学成才的算法始终优于人类专家，”毕晓普指出。“我们欢迎竞争。与国际象棋计算机程序一样，竞争是改进现有技术的引擎，我们希望其他人可以在我们的工作基础上展示更好的表现。”

该研究的标题是“通过模拟经验学习反合成规划”。