multiplus

気まぐれに書評とか。

『シャノンの情報理論入門』

理系大学院出身の同期はこの人を知っていた。「シャノンエントロピー」という名前が一般的らしい。「情報エントロピー」、これが今回の本の主要なテーマだ。情報エントロピーの概念もまた、先日ご紹介したチューリングの計算機と同様に、現代のコンピュータに対して非常に重要な影響を与えた。

シャノンの情報理論入門 (ブルーバックス)

シャノンの情報理論入門 (ブルーバックス)

シャノンが考えたことはとてもシンプルなことだった。シャノンは、「通信を高速に、正確に」行うためにはどうしたらよいかということを研究した人だ。最終目標として「価値ある情報を高速に、正確に送る」ことを掲げ、そのための理論を作り上げた。それが情報エントロピーだったし、相互情報量だったし通信許容量の概念だった。

今日は簡単に情報エントロピーについてまとめたいと思う。

情報エントロピーというのはもともと物理学のエントロピーの概念を参考にしたといっていいと思う。もっとも、「情報エントロピー」という名前を使うようにアドバイスしたのは、あのフォン・ノイマンだったそうだけれど。

情報エントロピーには「大きい」と「小さい」が存在する。情報エントロピーが大きいと「価値の高い情報」ということになり、逆だとその逆となる。一般に、情報エントロピーは以下の数式で表される。

H(X) = log2(1/P(X)) = -log2P(X)ビット

最後がビットで終わっているという点に注意が必要だ。これは要するに、その情報を伝えるのにかかる情報量を表している。だからエントロピーが大きいということはそれだけ伝えるのが難しい情報であり、希少性が高い。したがって、情報のありがたさが大きい、ということだ。

ここで、具体例を使って情報エントロピーを考えてみる。

「もし、日本で竜巻が起きる確率が0.01だったとしたら、それを伝えるのにかかる情報量はいくつか?」

= -log2(1/100) = 6.64 bit

で、この情報量を減らして効率よく通信を行う方法もシャノンは考えた。符号化にはいくつかパターンがあって、上手にパターン化すると通信量を減らすことができるのだ。これは現代では.zipなどの圧縮技術に用いられているという。正直情報関係の学部ではないから詳しいことはわからないけれど、コンピュータと数学とは密接にかかわり合っているのだと改めて考えさせられた。