エントロピー（entropy ; Entropie）
◆情報量としてのエントロピー
□「エントロピーの統計的・確率的解釈は1877年にボルツマンによって提出された。彼によれば、系の不可逆変化は「非常に確からしくない状態から常により確からしい状態に変化し、最後には最も確からしい状態すなわち熱平衡状態に到達する」ことであり、したがってエントロピーは系の巨視的状態が実現する確率に関係した量でなければならない。そこで彼はエントロピーSをS＝klogW（ただしkはボルツマン定数、Wは与えられた系の巨視的状態に対応する微視的状態の数）と定義したのである」（菊池［1998：173］）
□「本来、熱力学において、システム内の分子が無秩序的な均衡状態に向かう確率を表す抽象的な量として用いられたことば。不確定性と訳す。シャノンは、この用語を伝達されたメッセージの曖昧さの測度として用いた。またベルタランフィは一般システム理論のなかで、開放システムの組織化過程を強調するために「負のエントロピー」（negative entropy）という概念を提示してる」（社会学小辞典［1997：44］）
□「生起確率pの事象が起きたことを告げる情報量は「-logp」、情報源のエントロピーは平均情報量「-∫ plogp」でそれぞれ与えられる。これらはシャノン、C.E.の情報理論の基礎概念に他ならない。情報量のこの定義は、「情報を少しずつ告げても、一括して告げても結果は同じ」という加法性から導かれる。たとえばトランプの札を当てるとき、絵柄を告げる情報量f（4）と番号を告げる情報量f（13）の和は、直接札を告げる情報量f（52）に等しい。このことから、情報量の関数fは対数関数となる（log4+log13＝log52）。平均情報量は情報源の性質を表し、一般に事象の生起の仕方が無秩序で予測をつけがたいとき、平均情報量は増大する。エントロピーとはもともと熱力学・統計力学の用語で、分子運動の無秩序性の度合いを意味するが、情報理論においてこの用語概念が流用されたのである」（西垣［2012：119］）