エントロピー

有限個の値をとる確率変数のエントロピー $H (X) = - \sum_{x} p (x) lo g_{2} p (x)$ を、 $0 lo g 0 = 0$ の約束のもとで求められる。2 値の場合の $h (p) = - p lo g_{2} p - (1 - p) lo g_{2} (1 - p)$ の値と、 $p = \frac{1}{2}$ で最大になることを使える

前提

対数の定義と性質（数学II 指数関数と対数関数）
確率変数と確率分布（数学B 統計的な推測）

この技能までの道筋（20 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）

説明

エントロピーは、確率変数の値が「どれだけ予想しにくいか（不確かさ）」を1つの数で表す量です。有限個の値をとる確率変数 $X$ について、確率分布だけから $H (X) = - \sum_{x} p (x) lo g_{2} p (x)$ を計算します。底が2のときの単位はビットです。データ圧縮で必要な平均の符号の長さや、通信で送れる情報の量を考えるときの出発点になります。

なぜそうしてよいのか

確率 $p$ の出来事が起きたときの「驚きの大きさ」を $lo g_{2} \frac{1}{p} = - lo g_{2} p$ で測ります。確率1の出来事は少しも驚かないので $- lo g_{2} 1 = 0$ です。確率 $\frac{1}{2}$ の出来事（コインの表）の驚きは $1$ で、これを1ビットとします。独立な2つの出来事が両方起きる確率は $pq$ です。対数の積の性質から $- lo g_{2} (pq) = (- lo g_{2} p) + (- lo g_{2} q)$ となり、驚きが足し算になります。確率が小さいほど驚きが大きく、独立なら足し算になる、という性質を満たすのがこの式です。

エントロピーは、この驚き $- lo g_{2} p (x)$ を確率 $p (x)$ で重み付けした平均、つまり期待値 $H (X) = \sum_{x} p (x) (- lo g_{2} p (x))$ です。 $0 < p (x) \leq 1$ では $- lo g_{2} p (x) \geq 0$ なので、 $H (X) \geq 0$ です。 $H (X) = 0$ となるのは、 $X$ が確率1である1つの値をとり、まったく不確かさがないときです。確率0の値は実際には起こらないので、平均に寄与させません。そこで $0 lo g_{2} 0 = 0$ と約束します。 $p$ を正の側から0に近づけると $p lo g_{2} p$ が0に近づくことも、この約束と合っています。

値が2つで確率が $p, 1 - p$ のとき、エントロピーは $h (p) = - p lo g_{2} p - (1 - p) lo g_{2} (1 - p)$ です。 $p$ と $1 - p$ を入れ替えても式は変わらないので、 $h (p) = h (1 - p)$ が成り立ちます。いくつか値を計算すると、 $h (0) = h (1) = 0$ 、 $h (\frac{1}{4}) = 2 - \frac{3}{4} lo g_{2} 3 \approx 0.811$ 、 $h (\frac{1}{2}) = 1$ です。どちらの値が出るかいちばん予想しにくいのは、2つが同じ確率のときです。実際 $h (p)$ は $p = \frac{1}{2}$ でただ1つの最大値 $1$ をとり、 $0 \leq h (p) \leq 1$ が成り立ちます。

手順

確率分布の表を作り、確率の和が $1$ になることを確かめる。
確率が $0$ の値は $0 lo g_{2} 0 = 0$ の約束により項ごと除く。
確率が正の各値について $- p (x) lo g_{2} p (x) = p (x) lo g_{2} \frac{1}{p ( x )}$ を計算する。対数の性質を使って $lo g_{2} \frac{1}{p ( x )}$ を求めておくと楽。
それらをすべて足して $H (X) = \sum_{x} p (x) lo g_{2} \frac{1}{p ( x )}$ を得る。結果が $0$ 以上であることを確認する。
値が2つ（確率 $p, 1 - p$ ）なら $h (p) = - p lo g_{2} p - (1 - p) lo g_{2} (1 - p)$ を使う。 $h (p) = h (1 - p)$ 、 $h (\frac{1}{2}) = 1$ が最大であることも利用できる。

例題

確率変数 $X$ は値 $1, 2, 3, 4, 5$ をとり、その確率がそれぞれ $\frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{8}, 0$ である。 $X$ のエントロピー $H (X)$ （対数の底は2）を求めよ。

例題の解答

手順1: 確率の和を確かめる。 $\frac{1}{2} + \frac{1}{4} + \frac{1}{8} + \frac{1}{8} + 0 = 1$ なので、確率分布になっている。
手順2: $X = 5$ の確率は $0$ なので、 $0 lo g_{2} 0 = 0$ の約束によりこの項は $0$ として除く。
手順3: 残りの各値について $p lo g_{2} \frac{1}{p}$ を計算する。
- $X = 1$ : $\frac{1}{2} lo g_{2} 2 = \frac{1}{2} \cdot 1 = \frac{1}{2}$
- $X = 2$ : $\frac{1}{4} lo g_{2} 4 = \frac{1}{4} \cdot 2 = \frac{1}{2}$
- $X = 3$ : $\frac{1}{8} lo g_{2} 8 = \frac{1}{8} \cdot 3 = \frac{3}{8}$
- $X = 4$ : 同様に $\frac{3}{8}$
手順4: 合計すると $H (X) = \frac{1}{2} + \frac{1}{2} + \frac{3}{8} + \frac{3}{8} = \frac{7}{4}$ となる。これは $0$ 以上なので妥当である。よって $H (X) = \frac{7}{4}$ ビット。

答え: $\frac{7}{4}$

よくある誤り

マイナスを付け忘れて $\sum_{x} p (x) lo g_{2} p (x)$ を計算し、負の値を答えてしまう誤り。たとえば $\frac{1}{2} lo g_{2} \frac{1}{2} + \frac{1}{2} lo g_{2} \frac{1}{2} = - 1$ となる。正しくはマイナスを付けて $H = - (- 1) = 1$ 。エントロピーは必ず $0$ 以上になる。
確率 $0$ の値に対して $lo g_{2} 0$ を計算しようとして行き詰まる、または項を「定義できない」とする誤り。正しくは $0 lo g_{2} 0 = 0$ と約束して、その項を $0$ とする。例題では $X = 5$ の項が $0$ になる。
$X$ のとる値そのものを式に入れて $- \sum_{x} x lo g_{2} x$ のように計算してしまう誤り。正しくは確率だけを使い $- \sum_{x} p (x) lo g_{2} p (x)$ とする。値が $1, 2, 3$ でも $10, 100, 1000$ でも、確率が同じならエントロピーは同じになる。
2値の $h (p)$ で片方の項しか書かない誤り。たとえば $h (\frac{1}{4}) = - \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{1}{2}$ としてしまう。正しくは2つの項を足し、 $h (\frac{1}{4}) = \frac{1}{2} + \frac{3}{4} lo g_{2} \frac{4}{3} = 2 - \frac{3}{4} lo g_{2} 3 \approx 0.811$ となる。また底2の指定があるのに自然対数で計算した場合は、 $lo g_{2} x = \frac{l o g x}{l o g 2}$ で直す必要がある。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

この技能を使う問題

この技能の次に学べること

同時エントロピーと条件付きエントロピー（大学数学情報理論・符号理論）
ハフマン符号（大学数学情報理論・符号理論）
ベルヌーイ測度・マルコフ測度のエントロピー（大学院数学力学系・エルゴード理論）
フォン・ノイマンエントロピーとエンタングルメント・エントロピー（大学院物理量子情報・量子計算）