WATAPEDIA
--
数学
-- フィッシャー情報量
Last updated Jun. 6, 2011
Home
Return
PDFを表示
記事が表示されない場合は，ブラウザが非対応です．<br>上のPDFを表示をクリックしてください．<br><br><br><br><br><br><br>comp -MYPEDIA Math- フィ ッシャー情報量 Fisher information 1 概要 フィ ッシャー情報量とは，最尤法1で観測値から分布のパラメータを特定する際に， 観測する確率変数がパラメータに対して持つ情報量を表す量である． 2 スコアの定義 フィ ッシャー情報量の定義の前に，フィ ッシャー情報量と関係深いスコアを定義 しておく．対数尤度をパラメータに関して微分したものをスコアと呼ぶ．スコアは フィ ッシャー情報量の定義に関連する． スコアの定義 スコア V は対数尤度 log L(θ | x) をパラメータ θ に関して微分したもの で，以下のように定義される． V (θ) = ∂ ∂θ log L(θ | X) = 1 L(θ | X) ∂ ∂θ L(θ | X) ここで，スコアは観測値 X の関数なので，確率変数であることに注意． スコアの期待値は 0 となることが知られている．証明は以下の通り． 観測値 X の確率密度関数を f(x | θ) とすると， E[V (θ)] = ∫ ∞ −∞ 1 L(θ | x) ∂ ∂θ L(θ | x) · f(x | θ) dx = ∫ ∞ −∞ ∂ ∂θ L(θ | x)dx (∵ f(x | θ) = L(θ | x)) = ∂ ∂θ ∫ ∞ −∞ L(θ | x)dx = ∂ ∂θ 1 = 0 1最尤法 . . 1 Math 一覧へ . . comp -MYPEDIA Math- 3 定義 スコアの分散をフィ ッシャー情報量と呼ぶ． フィ ッシャー情報量の定義 フィ ッシャー情報量 I(θ) はスコアの分散で定義される． I(θ) = Var[V (θ) | θ] = E [ {V (θ)}2 | θ ] さらに，フィ ッシャー情報量は一般的な条件下で，対数尤度の 2 階微分の期待値 の負を取ったものになっている． フィ ッシャー情報量の変形 フィ ッシャー情報量は ∫ ∂2 ∂θ2 f(x | θ)dx = 0 の条件下で，以下のように書 き換えられる． I(θ) = −E [ ∂2 ∂θ2 log L(θ | X) ] 証明は以下を参照． 以下に証明を示す． ∂2 ∂θ2 log L(θ | x) = ∂ ∂θ ∂ ∂θ L(θ | x) L(θ | x) = ∂2 ∂θ2 L(θ | x) L(θ | x) − { ∂ ∂θ L(θ | x) L(θ | x) } 2 = ∂2 ∂θ2 L(θ | x) L(θ | x) − { ∂ ∂θ log L(θ | x) } 2 x を確率変数 X に置き換え，両辺の期待値を取ると E [ ∂2 ∂θ2 log L(θ | X) ] = E [ ∂2 ∂θ2 L(θ | X) L(θ | X) ] − E [{ ∂ ∂θ log L(θ | X) } 2 ] = ∫ ∂2 ∂θ2 L(θ | x)dx − E [{ ∂ ∂θ log L(θ | X) } 2 ] (∵ f(x | θ) = L(θ | x)) = −E [{ ∂ ∂θ log L(θ | X) } 2 ] (∵ ∫ ∂2 ∂θ2 f(x | θ)dx = 0) 2 Math 一覧へ . . comp -MYPEDIA Math- パラメータが複数の場合，パラメータ θ をベクトルとして，分散を分散共分散行 列として拡張することで得られる．この場合，フィ ッシャー情報量は行列の形で与 えられ，フィ ッシャー情報行列と呼ばれる． 複数パラメータの場合のフィ ッシャー情報量 パラメータ θ がベクトルで与えられる場合，フィ ッシャー情報量は行列 となり，フィ ッシャー情報行列と呼ばれる．フィ ッシャー情報行列の (i, j) 成分は以下で与えられる． Ii,j (θ) = Cov ( ∂ ∂θi log L(θ | X), ∂ ∂θj log L(θ | X) ) また，単パラメータの場合と同様，ナブラを用いることで以下のように変形する ことができる． 複数パラメータの場合のフィ ッシャー情報量の変形 スカラーのパラメータの場合同様，θ がベクトルで与えられる場合も， ∫ ∂ ∂θi ∂ ∂θj L(θ | X)dx = 0 の条件下で，フィ ッシャー情報行列は微分演算 子 ∇ を用いて以下のように表せる． I(θ) = −E [ ∇∇T L(θ | X) ] 観測からフィ ッシャー情報行列を得る場合，−∇∇T L(θ | X) に X のサン プルを代入し，平均を取る (ただし，サンプルが独立の場合)．この行列 を特にフィ ッシャー情報行列と区別して Observed information matrix と 呼ぶ． 4 フィ ッシャー情報量の特性 独立な確率変数に関するフィ ッシャー情報量は分散の加法性から，それぞれの確 率変数に関するフィ ッシャー情報量の和になる． フィ ッシャー情報量の加算性 独立な確率変数 X，Y に関するフィ ッシャー情報量 IX,Y は，X，Y そ れぞれのフィ ッシャー情報量 IX ，IY の和になる． IX,Y = IX + IY 3 Math 一覧へ . . comp -MYPEDIA Math- また，最尤推定量の推定精度を意味する分散共分散行列はフィ ッシャー情報行列 の逆行列になることが知られている． 最尤推定量の分散共分散行列とフィ ッシャー情報行列の関係 n 回のサンプリングから最尤法によって得られる最尤推定量を θ∗ n とし， これを確率変数と見なすと，分散共分散行列は以下で定義され，これは フィ ッシャー情報行列の逆行列の 1/n に一致する． Σ(θ) = E[(θ∗ n − E[θ∗ n ])(θ∗ n − E[θ∗ n ])T ] = I−1(θ) n ここで θ はパラメータの真の値であることに注意する． 4 Math 一覧へ . .