情報のエントロピー 

 大学受験の合格発表を見に行く時、ドキドキしただろうか?

  (a) 落ちるとわかっている人 (合格率 P = 0.0) は、
            どうせ落ちるので
ドキドキしない。

  (b) 受かるとわかっている人 (合格率 P = 1.0) も、
           大船に乗った気分で
ドキドキしない。

  (c) 自己採点で合格ラインギリギリだった人 (合格率 P = 0.5) は、
           トンデモなく
ドキドキする。

 
ドキドキ感 = - P log P - (1 - P) log (1 - P)

シャノンの情報エントロピー

 C.E.Shannon (1916-2001) が提唱: S = - Σi Pi log Pi

 上の例で「N 人の合否」を伝達しようとすると「合を1、否を0」
とする他ないような気がする。この場合、信号の長さは N になる。

   合否合合合否否否合否否否合合否合否合否合合否否否....
   101110001000110101011000....

ホントかな? 合格率が P = 0.4 である場合を例に取ろう。頭から3人
づつに区切って送ってみよう。

   合否合 合合否 否否合 否否否 合合否 合否合 否合合 否否否 ....

伝送に必要な
3文字語 は、全部で 8 種類あって、その出現確率は

  否否否 0.6*0.6*0.6 = 0.216 00  
←付け焼き刃で
  否否合 0.6*0.6*0.4 = 0.144 100  
作ったので間
  否合否 0.6*0.4*0.6 = 0.144 101  
違えてるかも
  合否否 0.4*0.6*0.6 = 0.144 110  
しれない
  否合合 0.6*0.4*0.4 = 0.096 010
  合合否 0.4*0.4*0.6 = 0.096 011
  合否合 0.4*0.6*0.4 = 0.096 1110
  合合合 0.4*0.4*0.4 = 0.064 1111

となる。一番右に書いてあるのは、対応する
ハフマン符号の一例で
確率の大きいものに短い信号を割り当てられる。では、どこまで短
くできるのか? 区切る人数 M を大きくして行くと、

    合格した人 PM 人 と不合格だった人 (1-P)M 人

を含む
M文字語 (とその周辺) が等しい確率で頻出することになる。
このような組み合わせは

  W = M! / [ (P M) ! {(1-P) M} ! ] 
←スターリングの公式でバラす

   〜 exp[ M{ - P log P - (1-P) log (1-P) } ]

だけあるので、これらの
代表的な文字配列

   log
2 W 〜 M{ - P log P - (1-P) log (1-P) } / log 2

の桁数の 2 進む数を割り当てることによって、N >> M のデータ全体を

   (N / M) log
2 W 〜 N{ - P log P - (1-P) log (1-P) } / log 2

- P log P - (1-P) log (1-P) に比例する長さの信号で送れるはずだ。

  ※ データの間に相関があれば、もっと縮めることも可能。

Gibbs のエントロピー

  熱平衡状態のギブス・エントロピーと
P = exp(-βε)
  という
数式上の関連がある。例えばイジンク模型平均場
  近似
での統計エントロピー

  N サイト中 M 個が Up ならば (さっきの合否問題と同様に)

  p = P_up = M/N, q = P_down = (N-M)/N で、

  S = k log [ N! / M! (N-M)! ] ←ボルツマンエントロピー

   = k [ N log N - M log M - (N-M) log (N-M) ]

   = N k [ log N - p log M - q log (N-M) ]

   = N k [ (p+q) log N - p log M - q log (N-M) ]

   = N k [ -p log p - q log q ]

   = - N k [ p log p + q log q ] ←ギブスエントロピー

オマケ: 平均場近似よりも進んだ Bethe 近似

 平均場近似は exp ( βJ σσ' ) という隣接相関を完全に無視
                    
→ 滅茶苦茶に荒い近似
 ベーテ近似:
  例えば 1 次元では「あるサイトが上に向いている確率 p」
  と q = 1-p を導入して、下の配列が現れる確率をそれぞれ

    ....↑-σ-↑.... p*p*exp[-β h(↑-σ-↑) ]

    ....↑-σ-↓.... p*q*exp[-β h(↑-σ-↓) ]

    ....↓-σ-↑.... q*p*exp[-β h(↓-σ-↑) ]

    ....↓-σ-↓.... q*q*exp[-β h(↓-σ-↓) ]

 で与えた上で、中心サイトが上を向いている確率が p と一致する
 条件を探す。ボルツマン重率から考えると平均場近似よりも自然。
近似になっています。「確率 p」を「1 サイト密度行列」解釈し直す
と量子場の理論 (ex. Heisenberg Model) にも、ベーテ近似を拡張で
きるはず。(忘れ去られた未解決問題)


←トップページに戻る