搜索

贝尔曼方程

数学术语

贝尔曼方程（Bellman Equation）也被称作动态规划方程（Dynamic Programming Equation），由理查·贝尔曼（Richard Bellman）发现。

来源
贝尔曼方程最早应用在工程领域的控制理论和其他应用数学领域，而后成为经济学上的重要工具。
几乎所有的可以用最佳控制理论（Optimal Control Theory）解决的问题也可以通过分析合适的贝尔曼方程得到解决。然而，贝尔曼方程通常指离散时间（discrete-time）最佳化问题的动态规划方程。
处理连续时间（continuous-time）最佳化问题上，也有类似那些偏微分方程，称作汉密尔顿-雅克比-贝尔曼方程（Hamilton–Jacobi–Bellman Equation，HJB Equation）。
简介
贝尔曼方程是关于未知函数（目标函数）的函数方程组。应用最优化原理和嵌入原理建立函数方程组的方法称为函数方程法。在实际运用中要按照具体问题寻求特殊解法。动态规划理论开拓了函数方程理论中许多新的领域。
特点和应用范围 ：
若多阶段决策过程为连续型，则动态规划与变分法处理的问题有共同之处。动态规划原理可用来将变分法问题归结为多阶段决策过程，用动态规划的贝尔曼方程求解。在最优控制理论中动态规划方法比极大值原理更为适用，但动态规划还缺少严格的逻辑基础。
60年代，В．Г．沃尔昌斯基对动态规划方法作了数学论证。
动态规划方法的五个特点：
①在策略变量较多时，与策略穷举法相比可降低维数；
②在给定的定义域或限制条件下很难用微分方法求极值的函数，可用动态规划方法求极值；
③对于不能用解析形式表达的函数,可给出递推关系求数值解;
④动态规划方法可以解决古典方法不能处理的问题，如两点边值问题和隐变分问题等；
⑤许多数学规划问题均可用动态规划方法来解决，例如，含有随时间或空间变化的因素的经济问题。
投资问题、库存问题、生产计划、资源分配、设备更新、最优搜索、马尔可夫决策过程，以及最优控制和自适应控制等问题，均可用动态规划方法来处理。
解析概念
想了解贝尔曼方程，先要了解许多相关概念。首先，任何最佳化问题都有目标：旅行时间最小化、成本最小化、利润最大化、效用最大化等。用来描述目标的数学函数就称为目标函数。
动态规划是把一个规划问题转化为抽象状态之间的转移，因此，它需要追踪决策背景情况随时间的变化。作正确决策所需要当前情况的信息被称作是状态（State）（贝尔曼，1957，Ch. III.2）。例如，为了决定每一个时间要花一些钱，人们必须要知道他们初始财富的量，此例中财富就是一种状态变数（State Variables），或简称状态（State），当然也可能还有其他的种类。
控制变数（Control Variables）是控制理论中描述输入的变量，简称控制（Control）。例如给还是当前所具有的财富（状态），人们便可以用以取决还是当下的消费（控制变数）。靠选当下的控制变数能被视为挑选下状态，广义而语言，下状态受到当下控制变数比其他因数的影响。
举一个简单的例子：当前的财富（状态）比消费（控制变数）会决定未来的财富（新的状态），虽然通常也还有其他的因素可以影响未来的财富（例如获得意外之财）。
动态规划方法中最佳化的步骤可以被描述为“找某种规则告诉我们各可能状态下的（最佳）控制为何。例如：假如消费（c）的与财富（W）相关，我们想要找到一套规则c（W）来以财富描述消费。
这些“把控制（Controls）表示成状态（States）的函数”的规则被称为策略函数（Policy Function）。
动态规划与最优控制的关系
最优控制亦即“汉密尔顿函数”，贝尔曼方程和汉密尔顿函数都是用于解决动态过程的最优问题，都是关于状态变量、控制变量和时间的一个函数（实质是泛函）。
不同的是，汉密尔顿函数是通过取任意一个时点实现最优从而求取整个动态过程的最优，而贝尔曼方程是通过将多级最优决策转化为多个单级最优决策从而求取整个动态过程的最优，所以贝尔曼方程还叫做动态规划的基本递推方程。
此外，贝尔曼方程还能用于处理非线性的动态优化，这是汉密尔顿函数做不到的。
基本原理
动态规划的理论基础是最优性原理和嵌入原理。
最优化原理一个最优策略，具有如下性质：不论初始状态和初始决策（第一步决策）如何，以第一步决策所形成的阶段和状态作为初始条件来考虑时，余下的决策对余下的问题而言也必构成最优策略。
最优化原理体现了动态规划方法的基本思想。
嵌入原理
一个具有已知初始状态和固定步数的过程总可以看作是初始状态和步数均不确定的一族过程中的一个特殊情况。这种把所研究的过程嵌入一个过程族的原理称为嵌入原理。
通过研究过程族的最优策略族的共同性质得出一般通解，此通解自然也适用于原来的特殊问题。动态规划的基本方法就是根据嵌入原理把一个多步决策问题化为一系列较简单的一步决策问题，可显著降低数学处理上的难度。
贝尔曼方程的基本形式
问题的基本形式可以描述为：
Max ∑β^tF(X(t),U(t))
s.t. X(t+1)=G(X(t),U(t)),t=0,1,2,3……
X(t=0)=X0，初始状态给定，而其后任意时间的状态变量数值都是可变的。
定义值函数为：
V(X(t),t)=Max ∑β^tF(X(t),U(t))，β∈(0,1)
所以，任意阶段t的贝尔曼方程就可以表示为
U(X(t),t)=Max F(X(t),U(t))+βV(X(t+1),t+1)
贝尔曼方程解的基本形式直接给出，证明过程太复杂，此处不详列。
∂F/∂U(t)+β(∂V/∂X(t+1))(∂G/∂U(t+1))=0
此方程还可以转化成为动态规划最优化条件的欧拉方程，方法是将贝尔曼方程的解与贝尔曼方程对X(t+1)求偏导的结果联立求解。
全国各地天气预报查询

上海市

  • 市辖区

    • 云南省

  • 临沧市

    • 云南省

  • 丽江市

    • 云南省

  • 保山市

    • 云南省

  • 大理白族自治州

    • 云南省

  • 德宏傣族景颇族自治州

    • 云南省

  • 怒江傈僳族自治州

    • 云南省

  • 文山壮族苗族自治州

    • 云南省

  • 昆明市

    • 云南省

  • 昭通市

    • 云南省

  • 普洱市

    • 云南省

  • 曲靖市

    • 云南省

  • 楚雄彝族自治州

    • 云南省

  • 玉溪市

    • 云南省

  • 红河哈尼族彝族自治州

    • 云南省

  • 西双版纳傣族自治州

    • 云南省

  • 迪庆藏族自治州

    • 内蒙古自治区

  • 乌兰察布市

    • 内蒙古自治区

  • 乌海市

    • 内蒙古自治区

  • 兴安盟

    • 内蒙古自治区

  • 包头市

    • 内蒙古自治区

  • 呼伦贝尔市

    • 内蒙古自治区

  • 呼和浩特市

    • 内蒙古自治区

  • 巴彦淖尔市

    • 内蒙古自治区

  • 赤峰市

    • 内蒙古自治区

  • 通辽市

    • 内蒙古自治区

  • 鄂尔多斯市

    • 内蒙古自治区

  • 锡林郭勒盟

    • 内蒙古自治区

  • 阿拉善盟

    • 北京市

  • 市辖区

    • 吉林省

  • 吉林市

    • 吉林省

  • 四平市

    • 吉林省

  • 延边朝鲜族自治州

    • 吉林省

  • 松原市

    • 吉林省

  • 白城市

    • 吉林省

  • 白山市

    • 吉林省

  • 辽源市

    • 吉林省

  • 通化市

    • 吉林省

  • 长春市

    • 四川省

  • 乐山市

    • 四川省

  • 内江市

    • 四川省

  • 凉山彝族自治州

    • 四川省

  • 南充市

    • 四川省

  • 宜宾市

    • 四川省

  • 巴中市

    • 四川省

  • 广元市

    • 四川省

  • 广安市

    • 四川省

  • 德阳市

    • 四川省

  • 成都市

    • 四川省

  • 攀枝花市

    • 四川省

  • 泸州市

    • 四川省

  • 甘孜藏族自治州

    • 四川省

  • 眉山市

    • 四川省

  • 绵阳市

    • 四川省

  • 自贡市

    • 四川省

  • 资阳市

    • 四川省

  • 达州市

    • 四川省

  • 遂宁市

    • 四川省

  • 阿坝藏族羌族自治州

    • 四川省

  • 雅安市

    • 天津市

  • 市辖区

    • 宁夏回族自治区

  • 中卫市

    • 宁夏回族自治区

  • 吴忠市

    • 宁夏回族自治区

  • 固原市

    • 宁夏回族自治区

  • 石嘴山市

    • 宁夏回族自治区

  • 银川市

    • 安徽省

  • 亳州市

    • 安徽省

  • 六安市

    • 安徽省

  • 合肥市

    • 安徽省

  • 安庆市

    • 安徽省

  • 宣城市

    • 安徽省

  • 宿州市

    • 安徽省

  • 池州市

    • 安徽省

  • 淮北市

    • 安徽省

  • 淮南市

    • 安徽省

  • 滁州市

    • 安徽省

  • 芜湖市

    • 安徽省

  • 蚌埠市

    • 安徽省

  • 铜陵市

    • 安徽省

  • 阜阳市

    • 安徽省

  • 马鞍山市

    • 安徽省

  • 黄山市

    • 山东省

  • 东营市

    • 山东省

  • 临沂市

    • 山东省

  • 威海市

    • 山东省

  • 德州市

    • 山东省

  • 日照市

    • 山东省

  • 枣庄市

    • 山东省

  • 泰安市

    • 山东省

  • 济南市

    • 山东省

  • 济宁市

    • 山东省

  • 淄博市

    • 山东省

  • 滨州市

    • 山东省

  • 潍坊市

    • 山东省

  • 烟台市

    • 山东省

  • 聊城市

    • 山东省

  • 菏泽市

    • 山东省

  • 青岛市

    • 山西省

  • 临汾市

    • 山西省

  • 吕梁市

    • 山西省

  • 大同市

    • 山西省

  • 太原市

    • 山西省

  • 忻州市

    • 山西省

  • 晋中市

    • 山西省

  • 晋城市

    • 山西省

  • 朔州市

    • 山西省

  • 运城市

    • 山西省

  • 长治市

    • 山西省

  • 阳泉市

    • 广东省

  • 东莞市

    • 广东省

  • 中山市

    • 广东省

  • 云浮市

    • 广东省

  • 佛山市

    • 广东省

  • 广州市

    • 广东省

  • 惠州市

    • 广东省

  • 揭阳市

    • 广东省

  • 梅州市

    • 广东省

  • 汕头市

    • 广东省

  • 汕尾市

    • 广东省

  • 江门市

    • 广东省

  • 河源市

    • 广东省

  • 深圳市

    • 广东省

  • 清远市

    • 广东省

  • 湛江市

    • 广东省

  • 潮州市

    • 广东省

  • 珠海市

    • 广东省

  • 肇庆市

    • 广东省

  • 茂名市

    • 广东省

  • 阳江市

    • 广东省

  • 韶关市

    • 广西壮族自治区

  • 北海市

    • 广西壮族自治区

  • 南宁市

    • 广西壮族自治区

  • 崇左市

    • 广西壮族自治区

  • 来宾市

    • 广西壮族自治区

  • 柳州市

    • 广西壮族自治区

  • 桂林市

    • 广西壮族自治区

  • 梧州市

    • 广西壮族自治区

  • 河池市

    • 广西壮族自治区

  • 玉林市

    • 广西壮族自治区

  • 百色市

    • 广西壮族自治区

  • 贵港市

    • 广西壮族自治区

  • 贺州市

    • 广西壮族自治区

  • 钦州市

    • 广西壮族自治区

  • 防城港市

    • 新疆维吾尔自治区

  • 乌鲁木齐市

    • 新疆维吾尔自治区

  • 伊犁哈萨克自治州

    • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州

    • 新疆维吾尔自治区

  • 克拉玛依市

    • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州

    • 新疆维吾尔自治区

  • 吐鲁番市

    • 新疆维吾尔自治区

  • 和田地区

    • 新疆维吾尔自治区

  • 哈密市

    • 新疆维吾尔自治区

  • 喀什地区

    • 新疆维吾尔自治区

  • 塔城地区

    • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州

    • 新疆维吾尔自治区

  • 昌吉回族自治州

    • 新疆维吾尔自治区

  • 自治区直辖县级行政区划

    • 新疆维吾尔自治区

  • 阿克苏地区

    • 新疆维吾尔自治区

  • 阿勒泰地区

    • 江苏省

  • 南京市

    • 江苏省

  • 南通市

    • 江苏省

  • 宿迁市

    • 江苏省

  • 常州市

    • 江苏省

  • 徐州市

    • 江苏省

  • 扬州市

    • 江苏省

  • 无锡市

    • 江苏省

  • 泰州市

    • 江苏省

  • 淮安市

    • 江苏省

  • 盐城市

    • 江苏省

  • 苏州市

    • 江苏省

  • 连云港市

    • 江苏省

  • 镇江市

    • 江西省

  • 上饶市

    • 江西省

  • 九江市

    • 江西省

  • 南昌市

    • 江西省

  • 吉安市

    • 江西省

  • 宜春市

    • 江西省

  • 抚州市

    • 江西省

  • 新余市

    • 江西省

  • 景德镇市

    • 江西省

  • 萍乡市

    • 江西省

  • 赣州市

    • 江西省

  • 鹰潭市

    • 河北省

  • 保定市

    • 河北省

  • 唐山市

    • 河北省

  • 廊坊市

    • 河北省

  • 张家口市

    • 河北省

  • 承德市

    • 河北省

  • 沧州市

    • 河北省

  • 石家庄市

    • 河北省

  • 秦皇岛市

    • 河北省

  • 衡水市

    • 河北省

  • 邢台市

    • 河北省

  • 邯郸市

    • 河南省

  • 三门峡市

    • 河南省

  • 信阳市

    • 河南省

  • 南阳市

    • 河南省

  • 周口市

    • 河南省

  • 商丘市

    • 河南省

  • 安阳市

    • 河南省

  • 平顶山市

    • 河南省

  • 开封市

    • 河南省

  • 新乡市

    • 河南省

  • 洛阳市

    • 河南省

  • 漯河市

    • 河南省

  • 濮阳市

    • 河南省

  • 焦作市

    • 河南省

  • 省直辖县级行政区划

    • 河南省

  • 许昌市

    • 河南省

  • 郑州市

    • 河南省

  • 驻马店市

    • 河南省

  • 鹤壁市

    • 浙江省

  • 丽水市

    • 浙江省

  • 台州市

    • 浙江省

  • 嘉兴市

    • 浙江省

  • 宁波市

    • 浙江省

  • 杭州市

    • 浙江省

  • 温州市

    • 浙江省

  • 湖州市

    • 浙江省

  • 绍兴市

    • 浙江省

  • 舟山市

    • 浙江省

  • 衢州市

    • 浙江省

  • 金华市

    • 海南省

  • 三亚市

    • 海南省

  • 三沙市

    • 海南省

  • 儋州市

    • 海南省

  • 海口市

    • 海南省

  • 省直辖县级行政区划

    • 湖北省

  • 十堰市

    • 湖北省

  • 咸宁市

    • 湖北省

  • 孝感市

    • 湖北省

  • 宜昌市

    • 湖北省

  • 恩施土家族苗族自治州

    • 湖北省

  • 武汉市

    • 湖北省

  • 省直辖县级行政区划

    • 湖北省

  • 荆州市

    • 湖北省

  • 荆门市

    • 湖北省

  • 襄阳市

    • 湖北省

  • 鄂州市

    • 湖北省

  • 随州市

    • 湖北省

  • 黄冈市

    • 湖北省

  • 黄石市

    • 湖南省

  • 娄底市

    • 湖南省

  • 岳阳市

    • 湖南省

  • 常德市

    • 湖南省

  • 张家界市

    • 湖南省

  • 怀化市

    • 湖南省

  • 株洲市

    • 湖南省

  • 永州市

    • 湖南省

  • 湘潭市

    • 湖南省

  • 湘西土家族苗族自治州

    • 湖南省

  • 益阳市

    • 湖南省

  • 衡阳市

    • 湖南省

  • 邵阳市

    • 湖南省

  • 郴州市

    • 湖南省

  • 长沙市

    • 甘肃省

  • 临夏回族自治州

    • 甘肃省

  • 兰州市

    • 甘肃省

  • 嘉峪关市

    • 甘肃省

  • 天水市

    • 甘肃省

  • 定西市

    • 甘肃省

  • 平凉市

    • 甘肃省

  • 庆阳市

    • 甘肃省

  • 张掖市

    • 甘肃省

  • 武威市

    • 甘肃省

  • 甘南藏族自治州

    • 甘肃省

  • 白银市

    • 甘肃省

  • 酒泉市

    • 甘肃省

  • 金昌市

    • 甘肃省

  • 陇南市

    • 福建省

  • 三明市

    • 福建省

  • 南平市

    • 福建省

  • 厦门市

    • 福建省

  • 宁德市

    • 福建省

  • 泉州市

    • 福建省

  • 漳州市

    • 福建省

  • 福州市

    • 福建省

  • 莆田市

    • 福建省

  • 龙岩市

    • 西藏自治区

  • 山南市

    • 西藏自治区

  • 拉萨市

    • 西藏自治区

  • 日喀则市

    • 西藏自治区

  • 昌都市

    • 西藏自治区

  • 林芝市

    • 西藏自治区

  • 那曲市

    • 西藏自治区

  • 阿里地区

    • 贵州省

  • 六盘水市

    • 贵州省

  • 安顺市

    • 贵州省

  • 毕节市

    • 贵州省

  • 贵阳市

    • 贵州省

  • 遵义市

    • 贵州省

  • 铜仁市

    • 贵州省

  • 黔东南苗族侗族自治州

    • 贵州省

  • 黔南布依族苗族自治州

    • 贵州省

  • 黔西南布依族苗族自治州

    • 辽宁省

  • 丹东市

    • 辽宁省

  • 大连市

    • 辽宁省

  • 抚顺市

    • 辽宁省

  • 朝阳市

    • 辽宁省

  • 本溪市

    • 辽宁省

  • 沈阳市

    • 辽宁省

  • 盘锦市

    • 辽宁省

  • 营口市

    • 辽宁省

  • 葫芦岛市

    • 辽宁省

  • 辽阳市

    • 辽宁省

  • 铁岭市

    • 辽宁省

  • 锦州市

    • 辽宁省

  • 阜新市

    • 辽宁省

  • 鞍山市

    • 重庆市

  • 县

    • 重庆市

  • 市辖区

    • 陕西省

  • 咸阳市

    • 陕西省

  • 商洛市

    • 陕西省

  • 安康市

    • 陕西省

  • 宝鸡市

    • 陕西省

  • 延安市

    • 陕西省

  • 榆林市

    • 陕西省

  • 汉中市

    • 陕西省

  • 渭南市

    • 陕西省

  • 西安市

    • 陕西省

  • 铜川市

    • 青海省

  • 果洛藏族自治州

    • 青海省

  • 海东市

    • 青海省

  • 海北藏族自治州

    • 青海省

  • 海南藏族自治州

    • 青海省

  • 海西蒙古族藏族自治州

    • 青海省

  • 玉树藏族自治州

    • 青海省

  • 西宁市

    • 青海省

  • 黄南藏族自治州

    • 黑龙江省

  • 七台河市

    • 黑龙江省

  • 伊春市

    • 黑龙江省

  • 佳木斯市

    • 黑龙江省

  • 双鸭山市

    • 黑龙江省

  • 哈尔滨市

    • 黑龙江省

  • 大兴安岭地区

    • 黑龙江省

  • 大庆市

    • 黑龙江省

  • 牡丹江市

    • 黑龙江省

  • 绥化市

    • 黑龙江省

  • 鸡西市

    • 黑龙江省

  • 鹤岗市

    • 黑龙江省

  • 黑河市

    • 黑龙江省

  • 齐齐哈尔市