神经网络(NN)可以适应复杂的函数，售价在1199欧元到2499欧元之间。举报/反馈，并绕过昂贵的建模。然而，神经网络很难对远离训练数据的输入进行外推和给出不可靠的预测。通过量化不确定性，并通过一种称为“对抗性攻击”的技术，网络管理员自己可以建议在哪里收集额外的训练点，从而提高其可靠性。工作人员:Aik Rui Tan和Daniel Schwalbe-Koda
神经网络(NNs)越来越多地被用于预测新材料，化学反应的速率和产量，以及药物靶标相互作用等。对于这些应用来说，它们比传统方法(如量子力学模拟)快几个数量级。
然而，这种敏捷性的代价是可靠性。因为机器学模型只能插值，当它们被使用到训练数据之外时，可能会失败。
但令麻理工学院材料科学与工程系Jeffrey Cheah职业发展教授Rafael Gómez-Bombarelli以及研究生Daniel Schwalbe-Koda和Aik Rui Tan担心的是，建立这些机器学(ML)模型的极限是冗长和劳动密集型的。
这对于预测“势能面”(PES)，即分子在其所有构型下的能量图，尤其正确。这些表面将分子的复杂性编码为平地、山谷、山峰、波谷和峡谷。一个系统最稳定的结构通常是在深坑中——原子和分子通常无法逃脱的量子力学裂缝中。
在《自然通讯》(Nature Communications)最近发表的一篇论文中，该研究小组提出了一种使用“对抗性攻击”来划分神经网络“安全区”的方法。对抗性攻击已经被研究用于其他类别的问题，如图像分类，但这是首次使用它们在PES中对分子几何形状进行采样。
“多年来，人们一直在ML电位中使用不确定性进行主动学。关键的区别在于，他们需要运行完整的ML模拟，并评估神经网络是否可靠，如果不可靠，则获取更多数据，重新训练和重新模拟。这意味着需要很长时间才能确定正确的模型，而且必须多次运行ML模拟。”Gómez-Bombarelli解释道。
麻理工学院(MIT)的Gómez-Bombarelli实验室致力于第一原理模拟和机器学的协同合成，极地加快了这一过程。实际的模拟只对这些分子中的一小分进行，所有这些数据都被输入一个神经网络，该网络学如何预测其余分子的相同属性。他们已经成功地演示了这些方法，用于越来越多的新型材料，包括从水中生产氢的催化剂、电动汽车用更便宜的聚合物电解质、分子筛用沸石、磁性材料等等。
然而，挑战在于，这些神经网络的智能程度取决于它们接受训练的数据。考虑到PES地图，99%的数据可能会落入一个坑，完全丢失了更有趣的山谷。
这种错误的预测可能会带来灾难性的后果——想想一辆自动驾驶汽车在过马路时无法识别行人。
找出模型不确定性的一种方法是在模型的多个版本中运行相同的数据。
描述:在研究人员的对抗性训练过程中，原子构型被扭曲，以增加不确定性和降低能量，以识别新的现实的、但具有挑战性的输入。由于不确定性被量化为独立神经网络之间的不一致性，用于训练神经网络的算法技巧也找到了最不确定性的方向。来源:丹尼尔Schwalbe-Koda
在这个项目中，研究人员使用多个神经网络从相同的数据预测势能面。在网络对预测相当确定的情况下，不同网络的输出之间的变化是最小的，并且表面很程度上收敛。当网络不确定时，不同模型的预测会有很的差异，产生一系列的输出，其中任何一个都可能是正确的曲面。
“神经网络”的预测的传播，就是那个时候的“不确定性”。一个好的模型不仅应该指出最好的预测，还应该指出每一个预测的不确定性。就像神经网络说的"材料A的属性值是X，我对它很有信心"
如果不是因为组合空间的巨规模，这可能是一个优雅的解决方案。Schwalbe-Koda解释说:“每次模拟(神经网络的地面反馈)可能需要数万到数千个CPU小时。”为了使结果有意义，多个模型必须在PES中运行足够多的点，这是一个非常耗时的过程。
相反，新方法只从预测置信度低的区域取样数据点，这与分子的特定几何形状相对应。然后这些分子被稍微拉伸或变形，使神经网络的不确定性最化。通过模拟计算这些分子的额外数据，然后将其添加到初始训练池中。
再对神经网络进行训练，计算出一组新的不确定性。这个过程不断重复，直到与表面上不同点相关的不确定性变得明确，不能进一步减少。
Gomez-Bombarelli解释说,“我们希望有一个模型,该模型是完美的我们关心的区域(例如,那些模拟将访问)没有完整的ML模拟运行,确保我们的高发地区不是很好。”
本文介绍了该方法的几个实例，包括预测沸石中复杂的超分子相互作用。这些材料是海绵状晶体，具有很高的形状选择性，作为分子筛。它们在催化、气体分离和离子交换等方面都有应用。
由于型沸石结构的模拟非常昂贵，研究人员展示了他们的方法如何在计算模拟中提供显著的节。他们使用了15000多个例子来训练神经网络来预测这些系统的势能面。尽管生成数据集需要很的成本，但最终的结果却很普通，只有约80%的基于神经网络的模拟是成功的。为了使用传统的主动学方法来提高模型的性能，研究人员计算了额外的5000个数据点，这将神经网络潜能的性能提高到了92%。
然而，当使用对抗性的方法来重新训练神经网络时，作者发现仅用500分的额外分数，表现就跃升至97%。研究人员说，这是一个显著的结果，特别是考虑到每一个额外的分数都需要数百个CPU小时。
这可能是探索研究人员用来预测材料行为和化学反应进展的模型的极限的最现实的方法。
免责声明：文中图片均来源于网络，如有版权问题请联系我们进行删除！
标签：
