情報熱力学入門：情報理論のその先へ
この記事はeeic （東京大学工学部電気電子・電子情報工学科） Advent Calendar 2019の２日目の記事として作成されました．
実はeeicにも情報熱力学をやっている研があるのですが，そもそも情報熱力学ってなんぞやという方が多いと思うので簡単な入門を書きました．この分野を学ぶことで情報理論をより深く理解できると思います．弊学科のスローガン「情報を極め，物理世界を変容させる」を達成するために必修化しましょう．
さっと読みたい方は不可逆性とは？，情報熱力学の諸分野へどうぞ.
不可逆性とは？
世の中の全てのものは（何も手を加えなければ）乱雑な状態に向かって進みます．これはエントロピー増大の法則あるいは熱力学第二法則として知られている原理であり，不可逆性とも言われます．例えば以下の動画ではシミュレーションにより気体分子が次第に拡散していく様子が観察されます．
www.youtube.com ですが本当にこの世界は不可逆なのでしょうか？少なくとも気体分子の例に限っては可逆であることを簡単に示すことができます．
思考実験をしましょう．上の動画の最後の状態で速度（進行方向）を逆向きにします．そしてシミュレーションを再開するとどうなるでしょうか？正解は動画を逆再生したかのように元の偏った状態に戻っていくのです．これはありえない現象でしょうか？いいえ，そんなことはありません．特定の位置と速度からスタートするだけでエントロピーは減少するのです．
この一見不思議な現象はロシュミットのパラドクスとして1876年に提案されました．問題をより一般的に記述すると，世界は不可逆なはずなのにミクロな分子１つ１つが従う運動方程式は可逆である（速度を反転しても成立する）という矛盾が存在するのです．
情報熱力学はこの感覚的な問題にゆらぎの定理という答えを与えました．定理が主張するところによると，
エントロピーが\(s\)増大する確率\(P(s)\)と\(s\)減少する確率\(P(-s)\)の間には
\[\frac{P(s)}{P(-s)}=e^s\]
という関係が成立する
のです．気体分子の例で考えると，エントロピーが増大する初期状態は減少するような初期状態に対し圧倒的に多くのパターンがあるといえます．
ゆらぎの定理の導出
情報熱力学の雰囲気をつかむために最も有名な定理であるゆらぎの定理をゼロから導出します．この分野に特有の表現がいくつか登場しますが，式変形自体は簡単なのでゆっくり追ってみてください．
0. 詳しく知りたい人向けの注意
今回は簡単のためにボルツマン定数\(k_B\)および温度\(T\)を\(1\)としています．そのため本来\(\frac{1}{k_BT}E(x)\)となるべきところが全て\(E(x)\)になっています．詳しく学ぶ場合はこれらの係数に注意してください．
1. 確率分布とエネルギー
始めに確率分布のエネルギー表示を導入しましょう．
任意の確率分布は\[ E(x):=-\log{f(x)} \tag{1} \]によって\[ f(x)=e^{-E(x)} \]と表せます．この
を状態が
であるときのエネルギーだとみなすことが全ての始まりです．
\(E(x)\)をエネルギーとみなす根拠は統計力学にあります．実は上式は統計力学のカノニカル分布と同じ形をしているのです．情報熱力学の基本的なアイディアは確率分布やマルコフ過程を統計力学の視点で捉え直すことです．こうすることで様々な概念を輸入することができます．
統計力学に登場するカノニカル分布とは，
状態\(x\)についてエネルギーが\(E(x)\)であるときその実現確率が
\[f(x)=\frac{1}{Z}e^{-E(x)}\;\;(Zは正規化係数)\]
となる
というモデルです．カノニカル分布のモデルでは先に\(E(x)\)が存在し，それによって各状態の実現確率\(f(x)\)が定まります．
2. 状態遷移とエネルギー
\( f(x) \)を定常分布に持つようなマルコフ連鎖の十分条件を考えます．それは遷移確率について次の詳細釣り合い（detailed balance, DB)が成り立つことです：
\[ \frac{W(x_k \rightarrow x_{k+1})}{W(x_{k+1}\rightarrow x_k)}=\frac{f(x_{k+1})}{f(x_k)}.\]
と
のエネルギー差
を用いればこの関係は
\[ \frac{W(x_k \rightarrow x_{k+1})}{W(x_{k+1}\rightarrow x_k)}=e^{-\Delta E} \tag{2}\]
と表すことができます．こうして遷移確率とエネルギーが関連付けられました．
さて，ここで図のようなマルコフ連鎖を考えます．このサイクルは確率的な周期運動のモデルになっており，例えば生体内の代謝サイクルなどが該当します．ATPなどでエネルギーが供給されて化学反応が時計回りに優勢になっている状況です．
このマルコフ連鎖の定常分布は明らかに\(f(x_0)=f(x_1)=f(x_2)=1/3\)です．するとどうでしょう，から遷移確率は
\[ \frac{W(x_k \rightarrow x_{k+1})}{W(x_{k+1}\rightarrow x_k)}=1\]
となってしまいます！
原因は定常状態に確率の流れが存在することです．実はカノニカル分布で扱えるのは流れのない平衡状態だけで，流れがある非平衡定常状態では状態のエネルギー\( (1) \)を定義することができません．
そこで，非平衡統計力学では次の局所詳細釣り合い(local detailed balance, LDB)を導入します：
\[ \frac{W(x_k \rightarrow x_{k+1})}{W(x_{k+1}\rightarrow x_k)}=e^{-\Delta E}. \tag{3} \]
\( (2) \)式と同じように見えますが実は\( \Delta E\)が違います．DBではエネルギー\( E(x)\)を元に\( \Delta E\)を定めましたが，LDBでは\( (3)\)式によって\( \Delta E\)を定めるのです．こうすることにより大域的な\( E(x)\)を定義することができなくとも，遷移確率とそこで消費されるエネルギー\( \Delta E\)を関連付けることができます．
LDBはassumptionであり，このような式が成り立つという前提の下で以降の議論が展開されます．LDBを仮定してしまってよいのだろうか，と思われるかもしれません．しかしながらLDBの仮定は物理的な実験結果とよく符合しており，これまでのところ議論に矛盾を生じさせていないため，広く受け入れられています．
3. 軌跡とエネルギー
次に状態の時間発展を考えます．より一般的なシステムを考えるために遷移確率はシステムのハイパーパラメータ\( \lambda\)によって制御されるとします：
\[W(x_k\rightarrow x_{k+1};\lambda).\]
\( \lambda\)は正確にはプロトコルと呼ばれ，物理的なシステムの場合例えば温度などに対応します．そして時刻\(t_k\)での値を\(\lambda_k\)と表します*1．
以上の遷移確率のもとで，状態が時刻\(t_0\)で\(x_0\)であるとき\(t_M\)までに軌跡\(\Gamma\)：
\[\Gamma=\{x_0,x_1,...,x_M\}\]
を辿る確率は
\[\mathcal{P}_F(\Gamma)=\prod_{k=0}^{M - 1}{W(x_k\rightarrow x_{k+1};\lambda_k)}\]
となります．次に状態が\(\Gamma\)と逆に進む場合の確率を考えます．プロトコル\(\lambda_k^R=\lambda_{M - 1 - k} \)のもとで，状態が時刻\(t_0\)で\(x_M\)であるとき\(t_M\)までに軌跡\(\Gamma\)：
\[\Gamma^R=\{x_M,...,x_0\}\]
を辿る確率は
\[\mathcal{P}_R(\Gamma^R)=\prod_{k=0}^{M - 1}{W(x_{M - k}\rightarrow x_{M - k - 1};\lambda^R_k)}\]
となります．これらの確率の比を考えると
\[\frac{\mathcal{P}_F(\Gamma)}{\mathcal{P}_R(\Gamma^R)}=\prod_{k=0}^{M - 1}{\frac{W(x_k\rightarrow x_{k+1};\lambda_k)}{W(x_{k+1}\rightarrow x_{k};\lambda_k)}}\]
となり，\((3)\)LDBを使うと過程\(\Gamma\)の間に流入したエントロピー（エネルギー）\(S_m\)との間に
\[S_m=\log{\frac{\mathcal{P}_F(\Gamma)}{\mathcal{P}_R(\Gamma^R)}}\]
という関係があることがわかります．
実はこの\(S_m\)は熱力学的エントロピーに対応しています．本来DBやLDBはエントロピーについて成り立つ式ですが，今回はわかりやすさのために比例定数を調整し「エントロピー＝エネルギー」で話を進めています．
4. シャノンエントロピーと総エントロピー
状態の時間発展がある軌跡\(\Gamma\)を辿る確率をより一般化します．前項での確率\(\mathcal{P}_F(\Gamma) \)は時刻\(t_0\)で\(x_0\)であるという条件付き確率でした．そこでプロトコル\(\lambda_0\)の下で状態\(x_0\)をとる確率を\(P_\mathrm{init}(x_0;\lambda_0)\)とすると，境界まで考慮した軌跡の確率は
\[\mathbb{P}_F(\Gamma)=P_\mathrm{init}(x_0;\lambda_0)\mathcal{P}_F(\Gamma)\]
となり，同様にプロトコル\(\lambda^R\)の下での確率は
\[\mathbb{P}_R(\Gamma^R)=P_\mathrm{end}(x_M;\lambda_{M - 1})\mathcal{P}_R(\Gamma^R)\]
となります．そしてその比を考えていくわけですが，その前に情報量の差\(S\)を
\[S=\log{P_\mathrm{init}(x_0;\lambda_0)}-\log{P_\mathrm{end}(x_M;\lambda_{M - 1})}\]
と定義しておきます．これはstochastic Shannon entropyとも呼ばれている量です．
これらのエントロピーを用いると，トータルで生じるエントロピー\(S_\mathrm{tot}\)が
\[\log{\frac{\mathbb{P}_F(\Gamma)}{\mathbb{P}_R(\Gamma^R)}}=S+S_m=:S_\mathrm{tot}\]
と表されます．また逆のプロトコル\(\lambda^R\)の下で生成されるエントロピー\(S_\mathrm{tot}^R\)は
\[S_\mathrm{tot}^R(\Gamma^R)=\log{\frac{\mathbb{P}_R(\Gamma^R)}{\mathbb{P}_F(\Gamma)}}=-S_\mathrm{tot}\]
を満たします．
5. ゆらぎの定理
いよいよ，ゆらぎの定理を導出します！
軌跡\(\Gamma\)を周辺化することでエントロピーの確率分布を求めます：
\begin{aligned}P_F(S_\mathrm{tot}=s)&=\sum_\Gamma{\delta(S_\mathrm{tot}(\Gamma)-s)\mathbb{P}_F(\Gamma)}\\&=\sum_\Gamma{\delta(S_\mathrm{tot}(\Gamma)-s)e^{S_\mathrm{tot}}\mathbb{P}_R(\Gamma^R)}\\&=e^s\sum_\Gamma{\delta(S_\mathrm{tot}(\Gamma)-s)\mathbb{P}_R(\Gamma^R)}\\&=e^s\sum_\Gamma^R{\delta(-S_\mathrm{tot}^R(\Gamma^R)-s)\mathbb{P}_R(\Gamma^R)}\\&=e^sP_R(S_\mathrm{tot}^R=-s).\end{aligned}
以上よりDetailed Fluctuation Theorem（詳細ゆらぎの定理，DFT)が成り立ちます：
\[\frac{P_F(S_\mathrm{tot}=s)}{P_R(S_\mathrm{tot}^R=-s)}=e^s.\]
ゆらぎの定理によって，エントロピーが増える確率は同じ量だけ減る確率よりも圧倒的に大きいということがわかります．
気体分子の例に適用するには注意が必要です．
6. 熱力学第二法則
ゆらぎの定理は熱力学第二法則に矛盾しているわけではありません．そのことを簡単に確認しておきましょう．
確率の総和より次のIntegral Fluctuation Theorem（IFT）が成り立ちます：
\begin{aligned}1&=\sum_{\Gamma^R}{\mathbb{P}_R(\Gamma^R)}\\&=\sum_{\Gamma}{e^{-S_\mathrm{tot}}\mathbb{P}_F(\Gamma)}\\&=\left\langle e^{-S_\mathrm{tot}}\right\rangle.\end{aligned}
ここでJensenの不等式を用いると
\[e^{\langle-S_\mathrm{tot}\rangle}\leq1\]
となり，
\[\langle S_\mathrm{tot}\rangle\geq0\]
が示せます．したがって情報熱力学では第二法則は期待値について成り立ちます．
情報熱力学の諸分野
情報熱力学に関連した分野として確率熱力学と非平衡統計力学があり，これらはいずれも明確に区別することはできません．しかしながら情報系のAdvent Calendarなので情報らしい関連研究をいくつか紹介したいと思います．
1. 相互情報量の導入
相互情報量を考慮することで情報を仕事に変える研究がなされています．Maxwell's demonの話は聞いたことがあるのではないでしょうか．情報理論的な解析が進んだことで様々なタイプのdemonが考案されており，フィードバック制御の理解に活用されています．
2. 熱力学不確定性関係（Thermodynamic Uncertainty Relations, TUR）
例えば概日時計のように，生体内には様々なサイクルが存在します．これらは化学反応や代謝などゆらぎを伴う仕組みであることが多く，マルコフ連鎖としてモデル化されます．熱力学不確定性関係はこうしたマルコフ連鎖について消費するエネルギーとゆらぎ（分散）の関係を記述する不等式です．定性的には，マルコフ連鎖が（逆戻りすることなく）一方向に進んでいくにはより多くのエネルギーが必要になると言えます．様々なモデルと統計量について多彩な式が導出されています．キーワードは大偏差原理やCramer-Rao不等式などです．
3. 等式による統計量の推定
上のTURは不等式でしたが，一方でマルコフ過程の期待値について成り立つ等式としてIntegral Fluctuation Theoremやそれを変形して得られるJarzynski等式が存在します．これらの等式を用いることでマルコフ連鎖の標本から様々な統計量の推定を行うことができます．
結び
情報熱力学には情報とエネルギーを実際に変換するという物理寄りの側面と物理のアナロジーによってアルゴリズムの見通しを良くするという情報寄りの側面があります．そして今回紹介したような古典力学に従う理論はおおよそ固まってきており，界隈における現在の関心は量子系にシフトしつつあります．量子情報では計算に本質的に物理を導入できるようになるため，情報熱力学のこうした側面が真価を発揮するかもしれません．
参考文献
- F. Ritort. Nonequilibrium fluctuations in small systems: From physics to biology. Advances in chemical physics, 2008.
簡潔で読みやすいレビュー論文です．この記事のゆらぎの定理の導出は基本的にこの論文に基いています．非平衡の例として物理や生物，電気回路が紹介されています．ただしLDBの定義（論文中\((8)\)式）が間違っているためその後の式変形にも注意が必要です．この論文が出された頃は情報熱力学が十分に確立されていませんでした． - J. M. Horowitz and M. Esposito. Thermodynamics with Continuous Information Flow. Physical Review X, 2014.
T. Sagawa and M. Ueda. Generalized Jarzynski Equality under Nonequilibrium Feedback Control. Physical Review Letters, 2010.
S. Toyabe, T. Sagawa, M. Ueda, and E. Muneyuki. Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality. Nature Physics, 2010.
相互情報量やフィードバック制御，Maxwell's demon周りの文献です．特に１つ目の文献では相互情報量の時間微分であるLearning rateという量が登場します．
