搜索

共轭梯度法

介于最速下降法与牛顿法之间的方法

共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

简介
共轭梯度法最早是由Hestenes和Stiefle提出来的，在这个基础上，Fletcher和Reeves （1964）首先提出了解非线性最优化问题的共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。
共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便。
方法的表述
简述
设我们要求解下列线性系统
，
其中n-×-n矩阵A是对称的（也即AT=A），正定的（也即xTAx> 0对于所有非0向量x属于R），并且是实系数的。
将系统的唯一解记作x*。
最后算法
经过一些简化，可以得到下列求解Ax=b的算法，其中A是实对称正定矩阵。
x0= 0
k= 0
r0=b-Ax
直到rk足够小：
k=k+1
ifk = 1
p1=r0
else
end if
其中xk=xk-1+ αkpk，rk=rk-1- αkApk。
end repeat
结果为xk。
作为直接法
我们说两个非零向量u和v是共轭的（相对于A），如果
由于A是对称和正定的，所以左侧定义了内积：
当且仅当它们相对于该内积正交时，两个向量是共轭的。 共轭是一个对称关系：如果u与v共轭，则v与u共轭。 假设
是一组n维共轭向量。那么P 组成了 的基，在此基础上我们表述 解x∗为：
基于这个扩展，我们计算：
其中：
这给出了求解方程的以下方法：Ax = b：找到n个共轭方向的序列，然后计算系数αk。
作为迭代法
如果我们仔细选择共轭向量pk，那么我们可能不需要所有这些来获得解x*的好的近似值。 因此，我们将共轭梯度法视为迭代法。这也使我们能够大致解决n大到非常大的系统，因为直接方法花费太多时间。
我们假设x0是x∗的初始值，我们可以不失一般性的假设x0=0(否则，考虑用系统Az=b−Ax0代替)。
我们从x0开始搜索解决方案，在每次迭代中，我们需要一个指标来告诉我们我们是否更接近解决方案x*（这对我们来说是未知的）。
该度量来自于以下事实：解x *也是以下二次函数的唯一最小值：
这表明在x = x0处采用第一基矢量p0为f的梯度的负值。 f的梯度等于Ax-b。 从“猜测的解决方案”x0开始（如果我们没有理由猜测其他任何东西，我们总是猜测x0 = 0），这意味着我们取p0 = b - Ax0。
在此基础上的其他向量将与梯度共轭，因此称为共轭梯度法。
让rk成为第k步的残差：
注意，rk是x = xk处的f的负梯度，因此梯度下降法将是沿rk方向移动。 在这里，我们坚持方向pk彼此共轭。 我们还要求下一个搜索方向由当前的残差和所有先前的搜索方向构成，这在实践中是足够合理的。
共轭约束是一种正交类型约束，因此该算法与Gram-Schmidt正交归一化相似。
给出以下表达式：
按照这个方向，下一个最佳位置由下式给出：
其中
由于pk和xk是共轭的，所以最后一个等式成立。
例子
考虑线性系统Ax = b由下式给出
我们将从初始猜测开始执行共轭梯度法的两个步骤：
以便找到系统的近似解决方案。
作为参考，确切的解决方案是：
我们的第一步是计算与x0相关的残差向量r0。 该残差由公式r0 = b-Ax0计算，在该情况下等于
由于这是第一次迭代，我们将使用剩余向量r0作为初始搜索方向p0；选择pk的方法将在进一步的迭代中改变。
我们现在使用关系计算标量α0：
我们现在可以使用公式计算x1：
该结果完成了第一次迭代，结果是对系统的“改进”近似解。 我们现在可以使用公式来移动并计算下一个残差向量r1：
我们的这个过程的下一步是计算最终用于确定下一个搜索方向p1的标量β0。
现在，使用这个标量β0，我们可以使用关系计算下一个搜索方向p1，
我们现在使用与用于α0的方法相同的方法，使用我们新获取的p1来计算标量α1。
最后，我们使用与用于查找x1相同的方法计算x2。
结果x2是系统解决方案中比x1和x0更好的近似值。
如果在该示例中使用精确的算术而不是有限的精度，那么在n = 2次迭代之后（n是系统的顺序）理论上将达到精确的解。
全国各地天气预报查询

上海市

  • 市辖区

    • 云南省

  • 临沧市

    • 云南省

  • 丽江市

    • 云南省

  • 保山市

    • 云南省

  • 大理白族自治州

    • 云南省

  • 德宏傣族景颇族自治州

    • 云南省

  • 怒江傈僳族自治州

    • 云南省

  • 文山壮族苗族自治州

    • 云南省

  • 昆明市

    • 云南省

  • 昭通市

    • 云南省

  • 普洱市

    • 云南省

  • 曲靖市

    • 云南省

  • 楚雄彝族自治州

    • 云南省

  • 玉溪市

    • 云南省

  • 红河哈尼族彝族自治州

    • 云南省

  • 西双版纳傣族自治州

    • 云南省

  • 迪庆藏族自治州

    • 内蒙古自治区

  • 乌兰察布市

    • 内蒙古自治区

  • 乌海市

    • 内蒙古自治区

  • 兴安盟

    • 内蒙古自治区

  • 包头市

    • 内蒙古自治区

  • 呼伦贝尔市

    • 内蒙古自治区

  • 呼和浩特市

    • 内蒙古自治区

  • 巴彦淖尔市

    • 内蒙古自治区

  • 赤峰市

    • 内蒙古自治区

  • 通辽市

    • 内蒙古自治区

  • 鄂尔多斯市

    • 内蒙古自治区

  • 锡林郭勒盟

    • 内蒙古自治区

  • 阿拉善盟

    • 北京市

  • 市辖区

    • 吉林省

  • 吉林市

    • 吉林省

  • 四平市

    • 吉林省

  • 延边朝鲜族自治州

    • 吉林省

  • 松原市

    • 吉林省

  • 白城市

    • 吉林省

  • 白山市

    • 吉林省

  • 辽源市

    • 吉林省

  • 通化市

    • 吉林省

  • 长春市

    • 四川省

  • 乐山市

    • 四川省

  • 内江市

    • 四川省

  • 凉山彝族自治州

    • 四川省

  • 南充市

    • 四川省

  • 宜宾市

    • 四川省

  • 巴中市

    • 四川省

  • 广元市

    • 四川省

  • 广安市

    • 四川省

  • 德阳市

    • 四川省

  • 成都市

    • 四川省

  • 攀枝花市

    • 四川省

  • 泸州市

    • 四川省

  • 甘孜藏族自治州

    • 四川省

  • 眉山市

    • 四川省

  • 绵阳市

    • 四川省

  • 自贡市

    • 四川省

  • 资阳市

    • 四川省

  • 达州市

    • 四川省

  • 遂宁市

    • 四川省

  • 阿坝藏族羌族自治州

    • 四川省

  • 雅安市

    • 天津市

  • 市辖区

    • 宁夏回族自治区

  • 中卫市

    • 宁夏回族自治区

  • 吴忠市

    • 宁夏回族自治区

  • 固原市

    • 宁夏回族自治区

  • 石嘴山市

    • 宁夏回族自治区

  • 银川市

    • 安徽省

  • 亳州市

    • 安徽省

  • 六安市

    • 安徽省

  • 合肥市

    • 安徽省

  • 安庆市

    • 安徽省

  • 宣城市

    • 安徽省

  • 宿州市

    • 安徽省

  • 池州市

    • 安徽省

  • 淮北市

    • 安徽省

  • 淮南市

    • 安徽省

  • 滁州市

    • 安徽省

  • 芜湖市

    • 安徽省

  • 蚌埠市

    • 安徽省

  • 铜陵市

    • 安徽省

  • 阜阳市

    • 安徽省

  • 马鞍山市

    • 安徽省

  • 黄山市

    • 山东省

  • 东营市

    • 山东省

  • 临沂市

    • 山东省

  • 威海市

    • 山东省

  • 德州市

    • 山东省

  • 日照市

    • 山东省

  • 枣庄市

    • 山东省

  • 泰安市

    • 山东省

  • 济南市

    • 山东省

  • 济宁市

    • 山东省

  • 淄博市

    • 山东省

  • 滨州市

    • 山东省

  • 潍坊市

    • 山东省

  • 烟台市

    • 山东省

  • 聊城市

    • 山东省

  • 菏泽市

    • 山东省

  • 青岛市

    • 山西省

  • 临汾市

    • 山西省

  • 吕梁市

    • 山西省

  • 大同市

    • 山西省

  • 太原市

    • 山西省

  • 忻州市

    • 山西省

  • 晋中市

    • 山西省

  • 晋城市

    • 山西省

  • 朔州市

    • 山西省

  • 运城市

    • 山西省

  • 长治市

    • 山西省

  • 阳泉市

    • 广东省

  • 东莞市

    • 广东省

  • 中山市

    • 广东省

  • 云浮市

    • 广东省

  • 佛山市

    • 广东省

  • 广州市

    • 广东省

  • 惠州市

    • 广东省

  • 揭阳市

    • 广东省

  • 梅州市

    • 广东省

  • 汕头市

    • 广东省

  • 汕尾市

    • 广东省

  • 江门市

    • 广东省

  • 河源市

    • 广东省

  • 深圳市

    • 广东省

  • 清远市

    • 广东省

  • 湛江市

    • 广东省

  • 潮州市

    • 广东省

  • 珠海市

    • 广东省

  • 肇庆市

    • 广东省

  • 茂名市

    • 广东省

  • 阳江市

    • 广东省

  • 韶关市

    • 广西壮族自治区

  • 北海市

    • 广西壮族自治区

  • 南宁市

    • 广西壮族自治区

  • 崇左市

    • 广西壮族自治区

  • 来宾市

    • 广西壮族自治区

  • 柳州市

    • 广西壮族自治区

  • 桂林市

    • 广西壮族自治区

  • 梧州市

    • 广西壮族自治区

  • 河池市

    • 广西壮族自治区

  • 玉林市

    • 广西壮族自治区

  • 百色市

    • 广西壮族自治区

  • 贵港市

    • 广西壮族自治区

  • 贺州市

    • 广西壮族自治区

  • 钦州市

    • 广西壮族自治区

  • 防城港市

    • 新疆维吾尔自治区

  • 乌鲁木齐市

    • 新疆维吾尔自治区

  • 伊犁哈萨克自治州

    • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州

    • 新疆维吾尔自治区

  • 克拉玛依市

    • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州

    • 新疆维吾尔自治区

  • 吐鲁番市

    • 新疆维吾尔自治区

  • 和田地区

    • 新疆维吾尔自治区

  • 哈密市

    • 新疆维吾尔自治区

  • 喀什地区

    • 新疆维吾尔自治区

  • 塔城地区

    • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州

    • 新疆维吾尔自治区

  • 昌吉回族自治州

    • 新疆维吾尔自治区

  • 自治区直辖县级行政区划

    • 新疆维吾尔自治区

  • 阿克苏地区

    • 新疆维吾尔自治区

  • 阿勒泰地区

    • 江苏省

  • 南京市

    • 江苏省

  • 南通市

    • 江苏省

  • 宿迁市

    • 江苏省

  • 常州市

    • 江苏省

  • 徐州市

    • 江苏省

  • 扬州市

    • 江苏省

  • 无锡市

    • 江苏省

  • 泰州市

    • 江苏省

  • 淮安市

    • 江苏省

  • 盐城市

    • 江苏省

  • 苏州市

    • 江苏省

  • 连云港市

    • 江苏省

  • 镇江市

    • 江西省

  • 上饶市

    • 江西省

  • 九江市

    • 江西省

  • 南昌市

    • 江西省

  • 吉安市

    • 江西省

  • 宜春市

    • 江西省

  • 抚州市

    • 江西省

  • 新余市

    • 江西省

  • 景德镇市

    • 江西省

  • 萍乡市

    • 江西省

  • 赣州市

    • 江西省

  • 鹰潭市

    • 河北省

  • 保定市

    • 河北省

  • 唐山市

    • 河北省

  • 廊坊市

    • 河北省

  • 张家口市

    • 河北省

  • 承德市

    • 河北省

  • 沧州市

    • 河北省

  • 石家庄市

    • 河北省

  • 秦皇岛市

    • 河北省

  • 衡水市

    • 河北省

  • 邢台市

    • 河北省

  • 邯郸市

    • 河南省

  • 三门峡市

    • 河南省

  • 信阳市

    • 河南省

  • 南阳市

    • 河南省

  • 周口市

    • 河南省

  • 商丘市

    • 河南省

  • 安阳市

    • 河南省

  • 平顶山市

    • 河南省

  • 开封市

    • 河南省

  • 新乡市

    • 河南省

  • 洛阳市

    • 河南省

  • 漯河市

    • 河南省

  • 濮阳市

    • 河南省

  • 焦作市

    • 河南省

  • 省直辖县级行政区划

    • 河南省

  • 许昌市

    • 河南省

  • 郑州市

    • 河南省

  • 驻马店市

    • 河南省

  • 鹤壁市

    • 浙江省

  • 丽水市

    • 浙江省

  • 台州市

    • 浙江省

  • 嘉兴市

    • 浙江省

  • 宁波市

    • 浙江省

  • 杭州市

    • 浙江省

  • 温州市

    • 浙江省

  • 湖州市

    • 浙江省

  • 绍兴市

    • 浙江省

  • 舟山市

    • 浙江省

  • 衢州市

    • 浙江省

  • 金华市

    • 海南省

  • 三亚市

    • 海南省

  • 三沙市

    • 海南省

  • 儋州市

    • 海南省

  • 海口市

    • 海南省

  • 省直辖县级行政区划

    • 湖北省

  • 十堰市

    • 湖北省

  • 咸宁市

    • 湖北省

  • 孝感市

    • 湖北省

  • 宜昌市

    • 湖北省

  • 恩施土家族苗族自治州

    • 湖北省

  • 武汉市

    • 湖北省

  • 省直辖县级行政区划

    • 湖北省

  • 荆州市

    • 湖北省

  • 荆门市

    • 湖北省

  • 襄阳市

    • 湖北省

  • 鄂州市

    • 湖北省

  • 随州市

    • 湖北省

  • 黄冈市

    • 湖北省

  • 黄石市

    • 湖南省

  • 娄底市

    • 湖南省

  • 岳阳市

    • 湖南省

  • 常德市

    • 湖南省

  • 张家界市

    • 湖南省

  • 怀化市

    • 湖南省

  • 株洲市

    • 湖南省

  • 永州市

    • 湖南省

  • 湘潭市

    • 湖南省

  • 湘西土家族苗族自治州

    • 湖南省

  • 益阳市

    • 湖南省

  • 衡阳市

    • 湖南省

  • 邵阳市

    • 湖南省

  • 郴州市

    • 湖南省

  • 长沙市

    • 甘肃省

  • 临夏回族自治州

    • 甘肃省

  • 兰州市

    • 甘肃省

  • 嘉峪关市

    • 甘肃省

  • 天水市

    • 甘肃省

  • 定西市

    • 甘肃省

  • 平凉市

    • 甘肃省

  • 庆阳市

    • 甘肃省

  • 张掖市

    • 甘肃省

  • 武威市

    • 甘肃省

  • 甘南藏族自治州

    • 甘肃省

  • 白银市

    • 甘肃省

  • 酒泉市

    • 甘肃省

  • 金昌市

    • 甘肃省

  • 陇南市

    • 福建省

  • 三明市

    • 福建省

  • 南平市

    • 福建省

  • 厦门市

    • 福建省

  • 宁德市

    • 福建省

  • 泉州市

    • 福建省

  • 漳州市

    • 福建省

  • 福州市

    • 福建省

  • 莆田市

    • 福建省

  • 龙岩市

    • 西藏自治区

  • 山南市

    • 西藏自治区

  • 拉萨市

    • 西藏自治区

  • 日喀则市

    • 西藏自治区

  • 昌都市

    • 西藏自治区

  • 林芝市

    • 西藏自治区

  • 那曲市

    • 西藏自治区

  • 阿里地区

    • 贵州省

  • 六盘水市

    • 贵州省

  • 安顺市

    • 贵州省

  • 毕节市

    • 贵州省

  • 贵阳市

    • 贵州省

  • 遵义市

    • 贵州省

  • 铜仁市

    • 贵州省

  • 黔东南苗族侗族自治州

    • 贵州省

  • 黔南布依族苗族自治州

    • 贵州省

  • 黔西南布依族苗族自治州

    • 辽宁省

  • 丹东市

    • 辽宁省

  • 大连市

    • 辽宁省

  • 抚顺市

    • 辽宁省

  • 朝阳市

    • 辽宁省

  • 本溪市

    • 辽宁省

  • 沈阳市

    • 辽宁省

  • 盘锦市

    • 辽宁省

  • 营口市

    • 辽宁省

  • 葫芦岛市

    • 辽宁省

  • 辽阳市

    • 辽宁省

  • 铁岭市

    • 辽宁省

  • 锦州市

    • 辽宁省

  • 阜新市

    • 辽宁省

  • 鞍山市

    • 重庆市

  • 县

    • 重庆市

  • 市辖区

    • 陕西省

  • 咸阳市

    • 陕西省

  • 商洛市

    • 陕西省

  • 安康市

    • 陕西省

  • 宝鸡市

    • 陕西省

  • 延安市

    • 陕西省

  • 榆林市

    • 陕西省

  • 汉中市

    • 陕西省

  • 渭南市

    • 陕西省

  • 西安市

    • 陕西省

  • 铜川市

    • 青海省

  • 果洛藏族自治州

    • 青海省

  • 海东市

    • 青海省

  • 海北藏族自治州

    • 青海省

  • 海南藏族自治州

    • 青海省

  • 海西蒙古族藏族自治州

    • 青海省

  • 玉树藏族自治州

    • 青海省

  • 西宁市

    • 青海省

  • 黄南藏族自治州

    • 黑龙江省

  • 七台河市

    • 黑龙江省

  • 伊春市

    • 黑龙江省

  • 佳木斯市

    • 黑龙江省

  • 双鸭山市

    • 黑龙江省

  • 哈尔滨市

    • 黑龙江省

  • 大兴安岭地区

    • 黑龙江省

  • 大庆市

    • 黑龙江省

  • 牡丹江市

    • 黑龙江省

  • 绥化市

    • 黑龙江省

  • 鸡西市

    • 黑龙江省

  • 鹤岗市

    • 黑龙江省

  • 黑河市

    • 黑龙江省

  • 齐齐哈尔市