自动微分的原理和方法  

ALGORITHMS OF AUTOMATIC DIFFERENTIATION

作　　者：程强[1,2,3] 张海斌[4] 王斌[1] 

机构地区：[1]中国科学院大气物理研究所、大气科学和地球流体力学数值模拟国家重点实验室,北京100029 [2]中国科学院计算数学与科学工程计算研究所、科学与工程计算国家重点实验室,北京100080 [3]中国科学院计算机网络信息中心、超级计算中心,北京100190 [4]北京工业大学应用数理学院,北京100022

出　　处：《计算数学》2009年第1期15-36,共22页Mathematica Numerica Sinica

基　　金：国家自然科学基金(60503031);国家973项目(2004CB418304);中国科学院重要方向项目(KZCX3-SW- 230)的资助.

摘　　要：从计算一阶和二阶各种导数形式的角度,讨论了自动微分的基本原理和方法,给出了一阶和二阶各种微分模式最简单而最直观的表述形式,分别讨论了用不同微分模式计算不同导数形式的计算代价,讨论并给出了非线性问题求解中常用数值算法的计算代价.讨论了断点存储、正向积分和反向积分方法.We study fundamentals and techniques of automatic differentiation by discussing the way for calculating different kinds of first- and second-order derivatives. First we present the first- and second-order differentiation models in a simple way, then discuss the costs in terms of operations count and memory for calculating different derivatives with different differen- tiation models, finally discuss some typical algorithms in solving the nonlinear problems via automatic differentiation with respect to the computational costs, both in operations count and in memory. Several fundamental techniques including checkpointing, forward accumulating and backward accumulating are discussed.

关 键 词：自动微分 导数 非线性问题求解 正向积分 反向积分 

分 类 号：O172.1[理学—数学]