動学的最適化 (非確率的)

動学的最適化 (非確率的)
Shigeki Isogai
Department of Economics, Pennsylvania State University
April 13, 2014
Shigeki Isogai
動学的最適化 (非確率的)
本スライドでやること
最適成長モデルを用いて動学的最適化の方法を解説する．
特に動的計画法 (Dynamic Programming; DP) の考え方につい
て詳しく説明する．
Shigeki Isogai
動学的最適化 (非確率的)
最適成長モデル
経済には永遠に生きる一人の代表的個人が存在し，代表的個人
は消費の列 {ct }∞
t=0 から効用
∞
∑
β t u(ct )
t=0
を得る．β ∈ (0, 1) は主観的割引価値である．
個人は各 t 期に生産量 yt のうち一部を消費 ct に，残りを投資
it に回して資本を蓄積する．
蓄積された資本は財の生産に使われる．生産技術は資本ストッ
ク kt の関数 f (kt ) で表される．
最初期の資本ストック k0 は既に決まっているとする．
資本は 1 期時間が経つごとに減耗していく．減耗の割合を資本
減耗率 δ ∈ [0, 1] で表す．
Shigeki Isogai
動学的最適化 (非確率的)
最適成長モデル
すると資本蓄積の式は
kt+1 = (1 − δ)kt + it
経済の資源制約は
yt = ct + it
また生産技術は yt = f (kt ) で表される．
it を消去して整理すると
f (kt ) = ct + kt+1 − (1 − δ)kt
が得られる．
この制約の下で代表的個人は効用を最大化するように
{ct }, {kt } を選ぶ．
Shigeki Isogai
動学的最適化 (非確率的)
最適成長モデル (sequential approach)
まとめると，代表的個人は以下の最適化問題を解く．
max
{ct },{kt }
∞
∑
β t u(ct )
t=0
s.t. f (kt ) = ct + kt+1 − (1 − δ)kt ,
t = 0, 1, 2, · · ·
k0 given
注意すべきは操作変数，制約条件ともに時間の数だけ (つまり
無限個) あること．
しかし，実際のところ無限個のラグランジュ乗数を使ってやれ
ば解くことができる (厳密性に関してはちょっと微妙？)．
t 期に対応する制約条件のラグランジュ乗数を λt とする．
Shigeki Isogai
動学的最適化 (非確率的)
最適成長モデル (sequential approach)
ラグランジュ関数は以下のようになる：
L=
∞
∑
β t u(ct ) +
t=0
∞
∑
λt {f (kt ) − ct − kt+1 + (1 − δ)kt }
t=0
t = 0 の時を除いて kt が二回登場することに注意しながら一階
条件 (FOC) を求めると t = 0, 1, 2, · · · について
[ct ]
[kt+1 ]
β t u ′ (ct ) = λt
(1)
′
(2)
−λt + λt+1 f (kt+1 ) + λt+1 (1 − δ) = 0
Shigeki Isogai
動学的最適化 (非確率的)
Euler 方程式
λt を消去すると t = 0, 1, 2, · · · について
{
}
u ′ (ct ) = βu ′ (ct+1 ) f ′ (kt+1 ) + 1 − δ
が成り立つことがわかる．
これを異時点間の最適化条件，もしくは Euler 方程式という．
左辺は t 期に消費を増やすことによる効用の増加，右辺はそれ
によって t + 1 期に得られるはずだった消費を放棄することに
よる効用の減少 (または機会費用の効用による表現) を表して
いる．
どちらかが大きければ消費の仕方を変えることで効用を増加さ
せることができる．
Euler 方程式 (と追加の条件) によって動学的最適化問題の解が
特徴付けられる．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法：有限期のモデルの場合
次に動的計画法について解説する．
まずは次の T 期のモデルについて考えてみる．
max
{ct },{kt }
T
∑
β t u(ct )
t=0
s.t. f (kt ) = ct + kt+1 − (1 − δ)kt ,
t = 0, 1, 2, · · · T
kT +1 ≥ 0
k0 given
最終期に「借金」を残さないよう，制約 kT +1 ≥ 0 が追加され
たこと (これを終端条件という) を除けば以前の問題と同様で
ある．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法のアイディア：動学的整合性
ラグランジュ乗数法による解法は，いわば t = 0 期に一度に将
来の消費量と資本蓄積の量を決めてしまうようなやり方
だった．
もし消費者が十分に合理的ならばそのように一度に決めた計画
と，各期その場その場で決める計画とは結果的には同じになる
はずである．
このような消費者の合理性を動学的整合性という．
つまり「今日何するか決めたら，後は明日の自分が上手いこと
やってくれるだろう」ということ．
Shigeki Isogai
動学的最適化 (非確率的)
後ろ向き帰納法
そこで「明日の自分が上手いことやる」の部分，つまり最終期
を考えてみよう．
T 期が始まった時点で資本蓄積 kT が前の期から持ち越されて
いる．
この状態で T 期の消費を決める．
最大化問題は
max u(cT )
cT
s.t. f (kT ) = cT + kT +1 − (1 − δ)kT
kT +1 ≥ 0
kT given
Shigeki Isogai
動学的最適化 (非確率的)
後ろ向き帰納法
資本を残す意味はないので kT +1 = 0，従って
cT = f (kT ) + (1 − δ)kT
が解となる．
最適化の必要条件
u ′ (cT ) = λT
は成り立っていることに注意しよう．
このときこの問題の価値関数を
{
VT (kT ) := max u(cT ) :
f (kT ) = cT + kT +1 − (1 − δ)kT ,
}
kT +1 ≥ 0
と書く．
Shigeki Isogai
動学的最適化 (非確率的)
後ろ向き帰納法
次に T − 1 期の最適化を考える．
このとき T 期になってからの意思決定問題は既に解いている
から，わざわざ解き直す必要はない．従って最適化問題は以下
のようになる：
max u(cT −1 ) + βVT (kT )
cT −1
s.t. f (kT −1 ) = cT −1 + kT − (1 − δ)kT −1
kT −1 given
kT がわかっていれば T 期の問題は次の期に解けるから T 期
の効用を価値関数でおきかえることができる (β で割引くのを
忘れずに)．
Shigeki Isogai
動学的最適化 (非確率的)
後ろ向き帰納法
制約条件を用いて kT を消去すると
max u(cT −1 ) + βVT [f (kT −1 ) + (1 − δ)kT −1 − cT −1 ]
cT −1
FOC は
u ′ (cT −1 ) = βVT′ (kT )
包絡線定理と T 期の問題の FOC により
{
}
{
}
VT′ (kT ) = λT f ′ (kT ) + 1 − δ = u ′ (cT ) f ′ (kT ) + 1 − δ
従って
{
}
u ′ (cT −1 ) = βu ′ (cT ) f ′ (kT ) + 1 − δ
を得る．これはラグランジュ乗数法で解いたときの条件と一致
する．
Shigeki Isogai
動学的最適化 (非確率的)
後ろ向き帰納法
以後同様に解いていくことによって消費の列 {ct } と {kt } を求
めることができ，その条件はラグランジュ乗数法で導出した
Euler 方程式と一致する．
このようにして動学的整合性の考え方と価値関数を用いて逐次
的に問題を解いていくのが動的計画法である．
ここで重要なのは t 期の問題を解くには前期から持ち越された
資本の量 kt を知っていれば十分だったということ．
このように各期の問題を解くのに十分な情報を与える変数を
状態変数という．
状態変数は一つとは限らない．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法：無限期の問題
では当初の問題
max
{ct },{kt }
∞
∑
β t u(ct )
t=0
s.t. f (kt ) = ct + kt+1 − (1 − δ)kt ,
t = 0, 1, 2, · · ·
k0 given
を解いていこう．
無限期のモデルでは最終期はないが，どの期から始めてもその
後にさらに無限期が続く，という意味ですべての期の問題が相
似的である．
異なりうるのは最初に与えられている資本ストックの量だけ．
資本ストックの量を状態変数として動的計画法を用いる．
t 期の問題の価値関数を V (kt ) とおく．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法：無限期の問題
このとき価値関数は以下の方程式をみたす：
V (kt ) = max {u(ct ) + βV (kt+1 ) : f (kt ) = ct + kt+1 − (1 − δ)kt }
ct
価値関数に関してこのような式が成り立つことをベルマンの最
適性原理といい，この式をベルマン方程式という．
この問題の性質は特定の時点 t に依存しない (これを定常性と
いう) ので，時間の添字を省略し，来期の変数には ′ をつけて
表すことにする．
また上の問題を操作変数 c に関する最適化と考えるよりも来期
の状態変数 k ′ に関する最適化と考えた方が計算が楽になるこ
とが多い．そこで制約条件を用いて c を消去する．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法：無限期の問題
従ってベルマン方程式は
{ [
]
}
V (k) = max
u f (k) + (1 − δ)k − k ′ + βV (k ′ )
′
k
と書き換えられる．
最適化問題の FOC から
u ′ (c) = βV ′ (k ′ )
を得る．これを解けば (解けるとしよう)k ′ , c を k の関数とし
て表せる:
k ′ = ϕ(k),
c = ψ(k)
これを政策関数 (policy function) などという (残念ながらよい
日本語訳がない)．
Shigeki Isogai
動学的最適化 (非確率的)
動的計画法：無限期の問題
policy function を用いると価値関数は
V (k) = u [f (k) + (1 − δ)k − ϕ(k)] + βV [ϕ(k)]
で与えられる．
包絡線定理により
{
}
V ′ (k) = u ′ (c) f ′ (k) + 1 − δ
これを 1 期ずらして FOC に代入すれば Euler 方程式
{
}
u ′ (c) = βV ′ (k ′ ) = βu ′ (c ′ ) f (k ′ ) + 1 − δ
を得る．
Shigeki Isogai
動学的最適化 (非確率的)

Download Report