情報のエントロピー
大学受験の合格発表を見に行く時、ドキドキしただろうか?
(a) 落ちるとわかっている人 (合格率 P = 0.0) は、
どうせ落ちるのでドキドキしない。
(b) 受かるとわかっている人 (合格率 P = 1.0) も、
大船に乗った気分でドキドキしない。
(c) 自己採点で合格ラインギリギリだった人 (合格率 P = 0.5) は、
トンデモなくドキドキする。
→ ドキドキ感 = - P log
P - (1 - P) log (1 - P)
シャノンの情報エントロピー
C.E.Shannon (1916-2001) が提唱: S = - Σi Pi
log Pi
上の例で「N 人の合否」を伝達しようとすると「合を1、否を0」
とする他ないような気がする。この場合、信号の長さは N になる。
合否合合合否否否合否否否合合否合否合否合合否否否....
101110001000110101011000....
ホントかな? 合格率が P = 0.4 である場合を例に取ろう。頭から3人
づつに区切って送ってみよう。
合否合 合合否 否否合 否否否 合合否 合否合 否合合 否否否 ....
伝送に必要な3文字語
は、全部で 8 種類あって、その出現確率は
否否否 0.6*0.6*0.6 = 0.216 00 ←付け焼き刃で
否否合 0.6*0.6*0.4 = 0.144 100 作ったので間
否合否 0.6*0.4*0.6 = 0.144 101 違えてるかも
合否否 0.4*0.6*0.6 = 0.144 110 しれない
否合合 0.6*0.4*0.4 = 0.096 010
合合否 0.4*0.4*0.6 = 0.096 011
合否合 0.4*0.6*0.4 = 0.096 1110
合合合 0.4*0.4*0.4 = 0.064 1111
となる。一番右に書いてあるのは、対応するハフマン符号の一例で
確率の大きいものに短い信号を割り当てられる。では、どこまで短
くできるのか? 区切る人数 M を大きくして行くと、
合格した人 PM 人 と不合格だった人 (1-P)M 人
を含む M文字語
(とその周辺) が等しい確率で頻出することになる。
このような組み合わせは
W = M! / [ (P M) ! {(1-P) M} ! ] ←スターリングの公式でバラす
〜 exp[ M{ - P log P - (1-P) log (1-P) } ]
だけあるので、これらの代表的な文字配列に
log2 W 〜 M{ - P log P - (1-P) log (1-P)
} / log 2
の桁数の 2 進む数を割り当てることによって、N >> M のデータ全体を
(N / M) log2 W 〜 N{ - P log P - (1-P)
log (1-P) } / log 2
と - P log P - (1-P) log
(1-P) に比例する長さの信号で送れるはずだ。
※ データの間に相関があれば、もっと縮めることも可能。
Gibbs のエントロピー
熱平衡状態のギブス・エントロピーと P =
exp(-βε)
という数式上の関連がある。例えばイジンク模型の平均場
近似での統計エントロピーは
N サイト中 M 個が Up ならば (さっきの合否問題と同様に)
p = P_up = M/N, q = P_down = (N-M)/N で、
S = k log [ N! / M! (N-M)! ] ←ボルツマンエントロピー
= k [ N log N - M log M - (N-M) log (N-M) ]
= N k [ log N - p log M - q log (N-M) ]
= N k [ (p+q) log N - p log M - q log (N-M) ]
= N k [ -p log p - q log q ]
= - N k [ p log p + q log q ] ←ギブスエントロピー
オマケ: 平均場近似よりも進んだ Bethe 近似
平均場近似は exp ( βJ σσ' ) という隣接相関を完全に無視
→ 滅茶苦茶に荒い近似
ベーテ近似:
例えば 1 次元では「あるサイトが上に向いている確率 p」
と q = 1-p を導入して、下の配列が現れる確率をそれぞれ
....↑-σ-↑.... p*p*exp[-β h(↑-σ-↑) ]
....↑-σ-↓.... p*q*exp[-β h(↑-σ-↓) ]
....↓-σ-↑.... q*p*exp[-β h(↓-σ-↑) ]
....↓-σ-↓.... q*q*exp[-β h(↓-σ-↓) ]
で与えた上で、中心サイトが上を向いている確率が p と一致する
条件を探す。ボルツマン重率から考えると平均場近似よりも自然。
近似になっています。「確率 p」を「1 サイト密度行列」解釈し直す
と量子場の理論 (ex. Heisenberg Model) にも、ベーテ近似を拡張で
きるはず。(忘れ去られた未解決問題)
←トップページに戻る