博世团队提出参考神经算子，学习偏微分方程解对几何变形的平滑依赖

编辑 | 枯叶蝶

在解决具有任意形状域的偏微分方程问题时，现有的神经算子方法致力于学习从几何形状到解的映射，但这通常需要庞大的（几何，解）二元组数据集来训练神经算子以确保准确性。

然而，对于如工程设计优化等工业应用，因单次仿真可能耗时数小时乃至数天，满足此数据需求极为困难。

针对这一挑战，博世人工智能中心（BCAI）的研究人员提出了参考神经算子（RNO）的概念，作为一种新颖的神经算子实现方式，旨在学习解对几何形变的平滑依赖。

具体而言，给定一个参考解，RNO 能够预测该参考几何形状任意微小扰动下的对应解，此方法极大地提高了数据利用效率。RNO 在准确度方面大幅领先基准模型，并实现高达 80% 的误差减少。

该研究「Reference Neural Operators: Learning the Smooth Dependence of Solutions of PDEs on Geometric Deformations」被收录在 ICML 2024。

RNO 方法概述

RNO 的核心在于，给定一个参考解和相应的几何形状，模型能够预测在任意微小形变下该几何形状的解。相比于直接预测解本身，RNO 通过预测解的变化量 δu 来降低学习复杂度。具体而言，给定参考区域到查询区域的光滑形变 φ，可以计算参考解的前推 ur ◦ φ^-1，再结合 RNO 预测的变化量 δu 就可以得到预测解 。

为了实现这一目标，RNO 采用了一种分层架构，包括编码器 P、积分算子层 L  以及解码器 Q。编码器 P 能够处理不同数量的几何对象，通过共享编码器对每个几何组件进行编码并汇总输出。积分算子层则构建了从输入到隐藏表示的转换，而解码器 Q 负责将隐藏表示映射回解空间。其中 P、Q 由 MLP 实现，积分算子层L由交叉注意力层实现。

损失函数设计上，RNO 最小化预测解与真实解之间的差异，假设存在从参考域到查询域的平滑形变及其逆映射。值得注意的是，RNO 对形状变化的应用前提是形变保持拓扑一致性，即不涉及孔洞的增减等导致的拓扑结构变化。

总之，RNO 通过创新地学习解跟随形变的平滑变化，以较少的数据量实现了高效的解预测，展示了在多种几何配置和少量样本情况下的优越性能，减轻了传统方法对大数据集的依赖。

RNO 的有效性和优势

研究者通过一系列实验验证了参考神经算子（RNO）的有效性和优势。

首先，他们将 RNO 与多种基线模型进行了比较，包括传统的无参考解输入的 G-S 神经算子（几何到解的神经算子）例如 GNOT，以及加入了参考解信息的 G-S 神经算子（增加 R-前缀）R-GNOT 等。

结果显示，RNO 在所有测试问题上的表现均优于所有基线模型，尤其是与直接使用参考解推前变形结果相比，RNO 能显著降低 50% 到 80% 的相对误差，表明其成功学习了解的差异而非简单几何变换。

实验中采用的评估指标是 L2 相对误差，训练过程使用了 AdamW 优化器配合循环学习率策略。RNO 在不同数量和类型的几何对象上展现了良好的泛化能力，且即便是在数据量较小的情况下也能保持高效学习。

进一步的扩展实验中，RNO 被应用于具有复杂几何形状变化（如挤压、拉伸、旋转）的 Airfoil-Euler 和 Airfoil-RANS 数据集，模拟了实际应用场景中对测试查询找到训练集中最近邻参考解的过程。

RNO 不仅在这些复杂场景中保持了高精度，而且显示出处理自由形式变形的能力，进一步证明了其作为高效、灵活工具的潜力，特别是在那些单次仿真成本高昂的工程设计优化场景中。

讨论

在相关研究中，神经算子领域在学习偏微分方程解算子方面已经取得了显著进展，其中 DeepONet 通过深度学习直接从各类函数映射到解，而 Fourier 神经算子（FNO）通过傅立叶变换在规则网格上有效运作。尽管这些模型在固定域问题上表现出色，但对于变化几何形状的处理能力有限。

Geo-FNO 和 GINO 分别尝试结合形变映射和 FNO、图神经网络来应对不规则几何问题，但仍需大量数据训练以覆盖各种几何形态。

此外，一些融合方法将机器学习与传统数值求解器结合，以加速求解过程，但它们往往依赖于特定问题或需要与数值方法紧密结合。

与之相比，该团队提出的参考神经算子（RNO）专注于学习几何形变导致的解的变化，并通过引入距离感知交叉注意力机制（DACA），在数据效率和模型泛化能力上取得显著提升，尤其是在处理小数据集下的多类型、多数量几何对象问题时，展现出了超越基线模型的性能。