导语
在当下人工智能（AI）的空前热潮中，人们不禁焦虑自己的工作会不会被AI逐渐取代，而富于探索精神的科学家已经在尝试让 AI 取代自己。AI 有没有可能做科研？AI 科学家如何帮助推动科学探索？科学研究的通常步骤包括观察、提出假说、实验验证。在许多领域中，验证性实验极为繁琐缓慢，这极大限制了现代科研及工业界的生产效率。如果昂贵的实验能够被可靠的计算仿真所取代，将降低经费与资源门槛，极大扩展人们可探索的假设空间，使21世纪真正成为“技术爆炸”的历史时刻。2024年发表在 Nature Reviews Physics 上的观点文章 Neural Operators for Accelerating Scientific Simulations and Design 中，来自加州理工大学与英伟达的研究团队探讨了如何利用人工智能框架——神经算子 (Neural Operators) ，来加速科学仿真和设计过程。
关键词：AI for Science，人工智能，复杂系统，神经网络，神经算子
Kamyar Azizzadenesheli, Nikola Kovachki, Zongyi Li, Miguel Liu-Schiaffini, Jean Kossaifi & Anima Anandkumar| 作者
杨鹤| 译者
诸葛昌靖、潘涛 | 审校
论文题目： Neural operators for accelerating scientific simulations and design 论文地址： https://www.nature.com/articles/s42254-024-00712-5
1. 神经算子在科学仿真上的优势
自然科学的研究目的在于揭示物质世界发生的现象以及物质现象发生过程的实质。而一个更简明的理解是——我们在挖掘自然中一切以时间为自变量的函数。在物理、化学和工程领域，我们发现大部分时间函数 （或时间为隐变量） 是由某个第一性原理导出的偏微分方程 (Partial Differential Equations, PDE) 。这些原理包括热力学定律、化学相互作用和力学定律等。如果已知这样的原理或其近似，我们就可以通过大量的数值仿真来求出符合精度要求的解以解决实际问题。例如，纳维-斯托克斯方程 (Navier-Stokes PDE) 可用于模拟汽车和飞机的空气动力学特性。然而对于解析地球气候变化的这类巨复杂系统，通过实验获取大量数据进行数值仿真是完全不现实的。通过使用大模型算法，我们可以建立快速、高保真的仿真实验。以往的AI模型，如稀疏表示、递归神经网络、储备池计算等，已经在建模动态系统中显示出了希望。AI 的最新进展——神经算子，在求解偏微分方程上展现出强大的能力，可以模拟复杂现象并捕捉更细微的尺度，从而得到高保真度的解。
一般的神经网络在此类仿真实验中表现如何呢？大家熟知的 ChatGPT 和卷积神经网络等模型在绘图和作文上表现出了令人印象深刻的性能，但作者指出，这一类模型具有根本的局限性，阻碍了它们成功用于科学计算。受限于训练数据集的性质，由于实验采集的通常是离散数据 （图1a、图1b） ，因而传统神经网络无法预测模拟许多发生在连续域 (continuous domains) 上的科学现象 （例如大部分动力学系统、波传导和材料形变） 。因为只支持固定分辨率的输入和输出，所以传统神经网络极易被离散的训练集限制并蒙蔽[1]。而神经算子则具备以无限分辨率预测输出的能力 （图1c） 。它们通过近似底层的算子来实现这一点，直接给出输入和输出函数空间之间的映射，而这两个空间都可以是无限维的。简单来说，神经算子是一类泛化的神经网络，具有比传统神经网络更精准的预测能力。即使仅使用离散数据进行训练，神经算子也能近似连续映射，因此能够更准确地捕捉更精细尺度的信息，结果不受训练数据的离散程度限制，使得它们在解决实验模拟上具备以往模型无可比拟的优势。
图1 a, 神经网络学习固定网格、离散网格上的输入和输出点之间的映射。b, 神经算子在连续域之间的函数上进行映射，即使训练数据在固定网格上也是如此。c, 因为神经算子在函数之间进行映射，它接受训练网格之外的输入，并能进行超分辨率处理。｜图片来源：原文图2
2. 神经算子的基本架构和类型
2.1 基本架构
神经算子与标准神经网络具有类似的结构，可分为线性部分和非线性部分。前文提到，标准神经网络只能输入和输出具有固定分辨率的数据，这是因为它们通常由一系列线性函数模块组成，如充分全连接或卷积的层，后面跟着非线性激活函数，例如修正线性单元 (ReLU) 。标准神经网络像一张铺开的蛛网，每一个节点是简单的参数。神经算子的基本架构类似，即线性模块后面跟着非线性变换，不同的是神经算子中的线性部分计算的是积分算子而不是固定维度的线性函数，例如格林函数积分实现的线性 PDE 的解算子；这就像蛛网每个节点被朝露浸润，在阳光下折射出丝线的无限细节。
图2 用蛛网被朝露浸润来表现神经算子在处理无限分辨率数据任务的潜力｜图片来源：Stable Diffusion3 生成
以下给出线性积分算子的表达式：
其中 a( ⋅ ) 是算子块的输入函数，κ(x,y) 分别表示输出域和输入域中任意两点 x 和 y 之间的可学习核。
在线性积分算子中，方程输出不会局限于训练数据的离散度，可以是连续域中的任何点 （图3a） 。而对于输入来说，离散度越小，近似将越准确。网格是数值计算中将求解域离散化的一种设计，而神经算子具有称为离散化收敛（discretization convergence）的性质，即，在输入网格大小趋于零时，神经算子可以收敛到唯一的算子（图3b）。这一特性来自于神经算子中使用的积分近似方法，如黎曼和 (Riemannian sum) 、伽辽金谱 (Galerkin spectral) 或傅里叶谱 (Fourier spectral) 。这是衡量任何科学计算的可靠性所必需的关键特性。
在线性积分算子后，跟着逐点非线性激活模块，例如高斯误差线性单元 (Gaussian Error Linear Units，GeLU) 。需要注意，神经算子不使用修正线性单元 (ReLU) ，因为它们不光滑。
2.2 具体类型
基于对方程 (1) 中积分操作的参数化方法，已有许多不同架构的神经算子。例如：
1. DeepONet模型
DeepONet 模型基于现有数值方法，并将方程 (1) 中的核 κ(x,y) 限制在 x 和 y可分离的情形 （即κ(x,y)= κ1(x) κ2(y)） 。尽管最初的DeepONet 模型被限制在固定的输入网格上，但后来的 DeepONet 扩展却去除了这一限制，保留了离散化收敛性，因此是神经算子的一个特例。
2. 图神经算子（GNO）
图神经算子 (Graph Neural Operators, GNO) 是图神经网络的算子扩展，支持在固定半径球体上的核积分。图神经算子善于处理图分类、链接预测等任务，但对于全局性质的把控受限。当真实算子是非局部时，如果半径较小，GNO会因感受野有限而表达能力受限，无法捕捉全局效应。而如果增加感受野并增大邻域半径，使用GNO会变得计算成本高昂。针对这个问题，其他具有全局性的神经算子被提出。
3. 傅里叶神经算子（FNO）
傅里叶神经算子 (Fourier Neural Operators, FNO) 就是另一种获取全局算子的方法。FNO 通过快速傅里叶变换 (Fast Fourier Transform, FFT) 实现一系列计算全局卷积算子的层，然后在频域中混合权重并进行逆傅里叶变换。即通过在傅里叶域 （频域） 中使用学习得到的系数进行逐元素相乘 （对应于时域中的卷积） ，然后通过逆傅里叶变换返回到原始域 （时域） ，实现方程 (1) 中的核积分计算。通过组合全局卷积算子和非线性激活，FNO 可以逼近高度非线性和非局部解算子。FNO 及其变体能够模拟许多偏微分方程，例如纳维-斯托克斯方程和地震波，进行高分辨率天气预报，并以前所未有的成本与精度权衡来预测二氧化碳迁移[1]。FNO 方法受到伪谱求解器的启发，这些求解器使用傅里叶基，并迭代执行操作。尽管受到这种方法的启发，FNO 的非线性组件使它们具备更强大的表达能力。在处理规则网格时，FNO依靠FFT展现了高效的计算优势。但在处理不规则网格时，FNO的局限性变得明显。由于FFT仅适用于均匀网格，因此在处理非均匀或不规则网格时，FNO需要进行插值或其他变形操作，这会导致计算复杂度增加，并且可能引入较大的插值误差。
为了解决这一问题，一些研究提出了将不规则网格转换为规则网格的方法，例如通过变形 （deformation） [2]或图核函数 (graph kernels) 来实现。此外，也有研究尝试通过几何感知傅里叶变换 （如Geo-FNO） 来处理不规则几何形状，这种方法通过变形将物理空间映射到规则的计算空间上，从而可以在规则网格上应用FFT。然而，这些方法通常需要大量的数据训练，并且在面对高度复杂的几何形状时，仍存在一定的局限性。
总之，FNO在规则网格上的高效性是其一大优势，但在处理不规则网格时，其扩展性和计算效率受到限制，这需要进一步的研究和改进以提高其在实际应用中的适用性。
4. 物理信息神经算子（PINO）
在神经网络的早期应用阶段，用神经网络表示连续函数就是一重要的命题。例如在图形和场景处理中，连续函数的使用可以使计算机获得连续视觉，而不是一个个像素点拼接的马赛克。这被称为隐式神经表示。而通过神经网络表示单一偏微分方程 (PDE) 的解函数被称为物理信息神经网络 (Physics-Informed Neural Network, PINN) 。例如在计算机视觉和图形学中，隐式神经网络 （Implicit Neural Networks） 被用来表示单一速度场或 3D 场景。
PINN及其变体在解决稳态PDE方面已经显示出效果。然而，对于时变PDE等问题，PINN的优化十分具有挑战性，不能轻易地使用标准的基于梯度法求出其解。而物理信息神经算子 (Physics-Informed Neural Operators, PINO) 应运而生。PINO 除了PDE信息外，还结合了训练数据，使得优化景观 (Optimization Landscape) 更加易于处理，并能够学习复杂时变PDE的解算子。此外，与纯粹的数据驱动神经算子相比，PINO 具有更优越的泛化和外推能力，且减少了训练数据的需求，可以将低分辨率的训练数据与高分辨率的物理约束相结合，从而得到底层算子的更好近似，实现精确的零样本超分辨率。此外，也可以在利用其他算子进行训练后，通过在测试 (test) 时对模型进行微调，以最小化 PDE 损失函数，进一步提高PINO的在测试时的准确性。这个微调步骤与 PINN 优化过程相同，但是区别在于采用预训练的 PINO 模型进行初始化，并进一步微调它，而不是像 PINN 中那样从随机初始化开始优化。因此，它可以克服 PINN 中的优化困难。
5. 生成性神经算子
以上提到的神经算子均用在近似函数空间之间的确定性映射上，但还有一类生成性神经算子，将确定性映射扩展到函数空间上的概率映射。这些算子的基础原理是将生成性对抗网络 （generative adversarial networks） 、扩散模型 （diffusion models） 或变分自编码器 （variational autoencoders） 扩展到函数空间。值得关注的是，扩散神经算子 （diffusion neural operator） 以一个高斯随机场作为输入，并能生成任何指定分辨率的样本。生成性神经算子已经应用于许多科学问题中，用于填补难以获取的真实世界现象数据。其中包括火山和地震活动、纳维-斯托克斯方程的输入参数特性，以及无分辨率的视觉传感器。
图3 神经算子（以FNO和PINO）为例在输出分辨率（a）上的优势及其离散化收敛（b）的性质。a,x轴是傅里叶波数，y轴是每个谱的能量。以计算流体运动的Kolmogorov流动为例，傅里叶神经算子（FNO）可以使用仅有的有限分辨率训练数据外推到未见过的频率。垂直虚线左侧的低频是训练频率分辨率，模型外推到虚线右侧的更高频率。物理信息神经算子（PINO）同时使用训练数据和偏微分方程（PDE）作为损失函数，并且可以完美恢复真实频谱。经过训练的UNet（一种流行的神经网络）加上三线性插值（NN + 插值）在训练数据分辨率之外的更高频率上有严重的失真。
b, 神经算子是离散化收敛的，这意味着随着离散化的细化，模型会收敛到目标连续算子。x轴是测试数据的分辨率，y轴是该给定分辨率下的测试误差。这里以计算多孔介质中流体运动的Darcy方程为例。每种架构——UNet、FNO和图神经算子（GNO）——都在给定的分辨率下进行训练，并在相同的分辨率下进行测试（没有超分辨率）。随着分辨率的提高，FNO和GNO有一致的误差，但UNet的误差会增加，因为它的感受野大小随着分辨率的变化而变化。这显示出神经算子相比普通神经网络具有离散化收敛的优势。｜图片来源：原文图1
3. 神经算子的应用
神经算子在多个领域中展现了显著的优势，例如：
天气预报：神经算子在中期天气预报方面比目前的数值天气模型快数万倍，并且首次实现了准确的高分辨率（0.25度）天气预报。这种速度提升使得对极端天气事件（如飓风和热浪）的风险评估变得更加准确，因为这些事件需要多次运行天气模型以进行不确定性量化[3]。
碳捕获与储存：在碳捕获与存储 (Carbon Capture and Storage, CCS) 应用中，嵌套的傅里叶神经算子 (FNO) 模型比当下数值模拟器快几十万倍，这使得大规模评估地质CO2储存库成为可能。这种加速使得对最大压力累积和二氧化碳羽流足迹的概率评估可以在仅 2.8 秒内完成，而模拟器则需要近 2 年的时间[4]。
求解逆问题：在逆问题或计算机逆向设计中，通常需要在给定前向模型的情况下，对给定的一组参数进行优化，为迭代设计改进提供指导，或者从头开始生成优化设计[5]。而在实际应用中通过使用神经算子模型，可以为一种新的医疗导管设计出优化方案，将细菌污染减少两个数量级。神经算子模型能够准确模拟在任意形状管道流动的流体中的细菌密度，因而可以用于优化导管内的设计形状，以防止细菌向上游进入人体[6]。
动力系统长期统计特性学习：神经算子已被用于学习混沌系统的吸引子和检测非平稳系统中的临界点。基于函数空间中的生成性对抗网络或扩散模型的神经算子，可用于模拟随机自然现象（如火山和气候活动）和随机微分方程。
其他应用：神经算子还被用于流体动力学、3D 工业级汽车空气动力学、城市微气候建模、材料形变、计算光刻、光声成像和电磁场模拟等领域。
4. 总结与展望
神经算子旨在以网格收敛的方式直接学习偏微分方程的解算子。相比于标准神经网络，神经算子更适合求解偏微分方程。神经算子能够直接从观测数据中学习，不受数值方法中的建模误差影响。当它被用于逆问题，如优化设计生成时，它表现出类似一般科研工作者的创新能力。神经算子的应用也能简化，降低现代科研工业的巨大跨领域壁垒和学习成本，因为运行训练有素的神经算子不需要传统求解器所需的深厚领域专业知识。当然，作为一种现代深度学习模型，神经算子也存在过拟合 (overfitting) 问题。在最少数据设置情况下，它们可能会过拟合训练数据；在非常低分辨率的场景中，它们可能会过拟合分辨率的不足。在这些情况下，它们可能缺乏对超出平均的分布外数据处理的泛化能力。这些问题可以通过领域知识的集成设计、更多数据、更高保真度的数据和物理方程来解决。
神经算子的这些基础性质告诉我们一个好消息——那就是短期内AI还无法抢走大部分科学家的岗位，因为一切结果的可靠性仍有赖于人的判断。但本文作者相信，神经算子为数据模拟和流程设计提供了一种变革性的方法，使研究和开发能够快速进行。AI或许还未能主导科研，但或许这是我们缺乏“科学方法数据集”造成的。神经算子体现了获取连续函数的强大计算能力，也许在不远的未来，我们就能体会到它在加速人类认知物质世界的进程。
参考文献
[1]Z. Li et al., “Fourier Neural Operator for Parametric Partial Differential Equations,” arXiv:2010.08895 [cs, math], Oct. 2020, Available: arXiv:2010.08895v3
[2]Li, Zongyi, et al. “Fourier Neural Operator with Learned Deformations for PDEs on General Geometries.” ArXiv.org, 11 July 2022, arxiv.org/abs/2207.05209.
[3]T. Kurth, “FourCastNet: Accelerating Global High-Resolution Weather Forecasting Using Adaptive Fourier Neural Operators”, 2023, pp. 1–11. doi: 10.1145/3592979.3593412.
[4]G. Wen, Z. Li, Q. Long, Kamyar Azizzadenesheli, Anima Anandkumar, and S. Benson, “Real-time high-resolution CO(2) geological storage prediction using nested Fourier neural operators,” Energy & Environmental Science, vol. 16, no. 4, pp. 1732–1741, Jan. 2023, doi: 10.1039/d2ee04204e.
[5]H. Sun, Y. Yang, K. Azizzadenesheli, R. W. Clayton, and Z. E. Ross, “Accelerating Time-Reversal Imaging with Neural Operators for Real-time Earthquake Locations,” arXiv:2210.06636 [physics], Oct. 2022, Available: arXiv:2210.06636v1
[6]T. Zhou et al., “AI-aided geometric design of anti-infection catheters,” Science Advances, vol. 10, no. 1, Jan. 2024, doi: 10.1126/sciadv.adj1741.
AI+Science 读书会
AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。
集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会已完结，现在报名可加入社群并解锁回放视频权限。
详情请见：
1.
2.
3.
4.
5.