|
|
Line 13: |
Line 13: |
|
| |
|
| == Methode == | | == Methode == |
| Vorurteilsfreie Schätzung ( Jaynes , 1957): | | Vorurteilsfreie Schätzung (Jaynes, 1957): |
| (unbiased guess; Prinzip des maximalen Nichtwissens) | | (unbiased guess; Prinzip des maximalen Nichtwissens) |
|
| |
|
| * Verallgemeinerung des Laplacschen Prinzips vom unzureichenden Grund. | | * Verallgemeinerung des Laplacschen Prinzips vom unzureichenden Grund. |
| ** ( Minimum der Shannon- Information <math>I\left( \rho (x) \right)</math>= Maximum des Nichtwissens <math>S\left( \rho (x) \right)</math> liefert Gleichverteilung) | | ** (Minimum der Shannon- Information <math>I\left( \rho (x) \right)</math>= Maximum des Nichtwissens <math>S\left( \rho (x) \right)</math> liefert Gleichverteilung) |
| * '''Jetzt: '''Zusätzlich zur Normierung der P<sub>i</sub> sind die Mittelwerte von m Zufallsvariablen: | | * '''Jetzt: '''Zusätzlich zur Normierung der P<sub>i</sub> sind die Mittelwerte von m Zufallsvariablen: |
|
| |
|
Line 31: |
Line 31: |
| <u>'''Annahme:'''</u> | | <u>'''Annahme:'''</u> |
|
| |
|
| Jedes Elementarereignis <math>{{A}_{i}}</math> hat gleiche '''a-priori'''- Wahrscheinlichkeit , das heißt OHNE zusätzliche Kenntnisse <math>\left\langle {{M}^{n}} \right\rangle </math> gilt Gleichverteilung über den <math>{{A}_{i}}</math>. | | Jedes Elementarereignis <math>{{A}_{i}}</math> hat gleiche '''a-priori'''- Wahrscheinlichkeit, das heißt OHNE zusätzliche Kenntnisse <math>\left\langle {{M}^{n}} \right\rangle </math> gilt Gleichverteilung über den <math>{{A}_{i}}</math>. |
|
| |
|
| == Informationstheoretisches Prinzip== | | == Informationstheoretisches Prinzip== |
| (nach (Jaynes 1922-1998)) | | (nach (Jaynes 1922-1998)) |
|
| |
|
| Suche die Wahrscheinlichkeitsverteilung , die unter der Erfüllung aller bekannten Angaben als Nebenbedingung die '''minimale Information''' enthält: | | Suche die Wahrscheinlichkeitsverteilung, die unter der Erfüllung aller bekannten Angaben als Nebenbedingung die '''minimale Information''' enthält: |
|
| |
|
| Also: <math>I(P)=\sum\limits_{i=1}^{N}{{}}{{P}_{i}}\ln {{P}_{i}}=!=Minimum</math> | | Also: <math>I(P)=\sum\limits_{i=1}^{N}{{}}{{P}_{i}}\ln {{P}_{i}}=!=Minimum</math> |
Line 50: |
Line 50: |
|
| |
|
|
| |
|
| Es gilt: von den N Variationen <math>\delta {{P}_{i}}</math> sind nur N-m-1 unabhängig voneinander ! | | Es gilt: von den N Variationen <math>\delta {{P}_{i}}</math> sind nur N-m-1 unabhängig voneinander! |
|
| |
|
| :<math>\sum\limits_{i}^{{}}{{}}\delta {{P}_{i}}=0</math> | | :<math>\sum\limits_{i}^{{}}{{}}\delta {{P}_{i}}=0</math> |
Line 61: |
Line 61: |
| Lagrange- Multiplikator <math>{{\lambda }_{n}}</math> | | Lagrange- Multiplikator <math>{{\lambda }_{n}}</math> |
|
| |
|
| <u>Anleitung</u>: Wähle <math>\Psi ,{{\lambda }_{n}}</math> so, dass die Koeffizienten von <math>\left( m+1 \right)\delta {{P}_{i}}</math>´s verschwinden, die übrigen N-(m+1) sind dann frei variierbar ! | | <u>Anleitung</u>: Wähle <math>\Psi ,{{\lambda }_{n}}</math> so, dass die Koeffizienten von <math>\left( m+1 \right)\delta {{P}_{i}}</math>´s verschwinden, die übrigen N-(m+1) sind dann frei variierbar! |
|
| |
|
| Somit: | | Somit: |
Line 73: |
Line 73: |
| {{Def|:<math>\Rightarrow {{P}_{i}}=\exp \left( \Psi -{{\lambda }_{n}}{{M}_{i}}^{n} \right)</math> '''verallgemeinerte kanonische Verteilung'''|verallgemeinerte kanonische Verteilung}} | | {{Def|:<math>\Rightarrow {{P}_{i}}=\exp \left( \Psi -{{\lambda }_{n}}{{M}_{i}}^{n} \right)</math> '''verallgemeinerte kanonische Verteilung'''|verallgemeinerte kanonische Verteilung}} |
|
| |
|
| Die Lagrange- Multiplikatoren <math>\Psi ,{{\lambda }_{n}}</math> sind dann durch die m+1 Nebenbedingungen eindeutig bestimmt ! | | Die Lagrange- Multiplikatoren <math>\Psi ,{{\lambda }_{n}}</math> sind dann durch die m+1 Nebenbedingungen eindeutig bestimmt! |
|
| |
|
| ===Kontinuierliche Ereignismenge=== | | ===Kontinuierliche Ereignismenge=== |
Line 117: |
Line 117: |
| {{FB|Legendre- Transformation}}: | | {{FB|Legendre- Transformation}}: |
|
| |
|
| Sei <math>\Psi (t)</math> eine Bahn ! | | Sei <math>\Psi (t)</math> eine Bahn! |
|
| |
|
| Dann ist <math>M:=\frac{d\Psi (t)}{dt}</math> die Geschwindigkeit. | | Dann ist <math>M:=\frac{d\Psi (t)}{dt}</math> die Geschwindigkeit. |
Line 152: |
Line 152: |
|
| |
|
| heißt legendre- Transformierte von | | heißt legendre- Transformierte von |
| :<math>\Psi (t)</math> | | :<math>\Psi (t)</math>. |
| .
| | |
|
| |
|
| === Anwendung auf die verallgemeinerte kanonische Verteilung: === | | === Anwendung auf die verallgemeinerte kanonische Verteilung: === |
Line 181: |
Line 181: |
|
| |
|
| {{Beispiel|'''Beispiel:''' | | {{Beispiel|'''Beispiel:''' |
| :<math>x=\left( {{q}_{1}},...,{{q}_{3N}},{{p}_{1}}....,{{p}_{3N}} \right)\in \Gamma </math> ( Phasenraumelement) | | :<math>x=\left( {{q}_{1}},...,{{q}_{3N}},{{p}_{1}}....,{{p}_{3N}} \right)\in \Gamma </math> (Phasenraumelement) |
|
| |
|
| mit <math>\Gamma </math> als Phasenraum der kanonisch konjugierten Variablen | | mit <math>\Gamma </math> als Phasenraum der kanonisch konjugierten Variablen |
Line 211: |
Line 211: |
|
| |
|
|
| |
|
| Damit können wir die Legendre- Transformation ( verallgemeinert auf mehrere Variablen) identifizieren: | | Damit können wir die Legendre- Transformation (verallgemeinert auf mehrere Variablen) identifizieren: |
|
| |
|
|
| |
|
Line 221: |
Line 221: |
|
| |
|
|
| |
|
| :<math>I\left( M \right)\to I=\Psi -{{\lambda }_{n}}\left\langle {{M}^{n}} \right\rangle </math> Legendre- Transformierte von <math>\Psi </math> ! | | :<math>I\left( M \right)\to I=\Psi -{{\lambda }_{n}}\left\langle {{M}^{n}} \right\rangle </math> Legendre- Transformierte von <math>\Psi </math>! |
|
| |
|
| Es folgt: | | Es folgt: |
Line 362: |
Line 362: |
| '''Nebenbemerkung:''' | | '''Nebenbemerkung:''' |
|
| |
|
| Also sind <math>I\left( \left\langle {{M}^{n}} \right\rangle \right)</math> und <math>-\Psi \left( {{\lambda }_{n}} \right)</math> konvex ! | | Also sind <math>I\left( \left\langle {{M}^{n}} \right\rangle \right)</math> und <math>-\Psi \left( {{\lambda }_{n}} \right)</math> konvex! |
|
| |
|
| == Zusammenhang mit der Korrelationsmatrix == | | == Zusammenhang mit der Korrelationsmatrix == |
|
| |
|
| :<math>{{Q}^{mn}}:=\left\langle \Delta {{M}^{m}}\Delta {{M}^{n}} \right\rangle </math> ist Korrelationsmatrix ( siehe oben) | | :<math>{{Q}^{mn}}:=\left\langle \Delta {{M}^{m}}\Delta {{M}^{n}} \right\rangle </math> ist Korrelationsmatrix (siehe oben) |
|
| |
|
| :<math>={{\left\langle {{M}^{m}}{{M}^{n}} \right\rangle }_{c}}</math> 2. Kumulante | | :<math>={{\left\langle {{M}^{m}}{{M}^{n}} \right\rangle }_{c}}</math> 2. Kumulante |
Line 383: |
Line 383: |
|
| |
|
|
| |
|
| Suszeptibilität ! | | Suszeptibilität! |
|
| |
|
| Also: Die Korrelationsmatrix ist das Negative der Suszeptibilität !! | | Also: Die Korrelationsmatrix ist das Negative der Suszeptibilität!! |
|
| |
|
| Also: | | Also: |
Line 397: |
Line 397: |
| ;{{FB|Fluktuationen}}: Zufällige Schwankungen um den Mittelwert | | ;{{FB|Fluktuationen}}: Zufällige Schwankungen um den Mittelwert |
|
| |
|
| ;{{FB|Dissipation}}: Systematische Änderung der Mittelwerte ! | | ;{{FB|Dissipation}}: Systematische Änderung der Mittelwerte! |
|
| |
|
| == Korrektur einer Verteilung durch Zusatzinformationen == | | == Korrektur einer Verteilung durch Zusatzinformationen == |
Line 408: |
Line 408: |
| & m=1,...,m \\ | | & m=1,...,m \\ |
| \end{align}</math> | | \end{align}</math> |
| : minimalisiert ( Vorsicht: Index und Laufende sind ungünstigerweise gleich bezeichnet !) | | : minimalisiert (Vorsicht: Index und Laufende sind ungünstigerweise gleich bezeichnet!) |
|
| |
|
| '''Jetzt:''' | | '''Jetzt:''' |
|
| |
|
| Zusatzinformationen ( zusätzliche Mittelwerte beobachtet): | | Zusatzinformationen (zusätzliche Mittelwerte beobachtet): |
|
| |
|
| :<math>\begin{align} | | :<math>\begin{align} |
Line 428: |
Line 428: |
|
| |
|
|
| |
|
| unter dieser Nebenbedingung !! | | unter dieser Nebenbedingung!! |
|
| |
|
| Also: | | Also: |
Line 481: |
Line 481: |
|
| |
|
|
| |
|
| da diese Mittelwerte nicht durch die Zusatzinfo geändert werden ! | | da diese Mittelwerte nicht durch die Zusatzinfo geändert werden! |
|
| |
|
|
| |
|
Line 490: |
Line 490: |
|
| |
|
|
| |
|
| Das heißt: Der Informationsgewinn entspricht gerade der Änderung der Shannon- Info ! | | Das heißt: Der Informationsgewinn entspricht gerade der Änderung der Shannon- Info! |
|
| |
|
| ==Siehe auch== | | ==Siehe auch== |
|
| |
|
| <references /> | | <references /> |
Thermodynamikvorlesung von Prof. Dr. E. Schöll, PhD
{{#set:Urheber=Prof. Dr. E. Schöll, PhD|Inhaltstyp=Script|Kapitel=1|Abschnitt=3}}
Kategorie:Thermodynamik
__SHOWFACTBOX__
Makroskopische thermodynamische Zustände sind gegeben durch die Mittelwerte
![{\displaystyle \left\langle M(x)\right\rangle }](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e8ceaa50f2792baa1c38e42e7a6d7e6d9fdc721)
von Mikroobservablen M(x), interpretiert als Zufallsvariable.
Rückschlüsse von
![{\displaystyle \left\langle M(x)\right\rangle }](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e8ceaa50f2792baa1c38e42e7a6d7e6d9fdc721)
auf die Wahrscheinlichkeitsverteilung
![{\displaystyle \rho (x)?}](https://wikimedia.org/api/rest_v1/media/math/render/svg/06fe14f5bd75f8e95724d2cb8378c4146200bd9a)
Vorurteilsfreie Schätzung (Jaynes, 1957):
(unbiased guess; Prinzip des maximalen Nichtwissens)
- Verallgemeinerung des Laplacschen Prinzips vom unzureichenden Grund.
- Jetzt: Zusätzlich zur Normierung der Pi sind die Mittelwerte von m Zufallsvariablen:
![{\displaystyle {\begin{aligned}&{{M}_{i}}^{n}\\&n=1,2,...,m\\&\Rightarrow \left\langle {{M}^{n}}\right\rangle =\sum \limits _{i=1}^{N}{}{{P}_{i}}{{M}_{i}}^{n}\\&n=1,...,m\\&m<<N\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/39659d9e686e3e5f402f0f40f48d3d61d170e521)
Annahme:
Jedes Elementarereignis
hat gleiche a-priori- Wahrscheinlichkeit, das heißt OHNE zusätzliche Kenntnisse
gilt Gleichverteilung über den
.
Informationstheoretisches Prinzip[edit | edit source]
(nach (Jaynes 1922-1998))
Suche die Wahrscheinlichkeitsverteilung, die unter der Erfüllung aller bekannten Angaben als Nebenbedingung die minimale Information enthält:
Also:
Nebenbed.:
![{\displaystyle {\begin{aligned}&\sum \limits _{i=1}^{N}{}{{P}_{i}}=1\\&\left\langle {{M}^{n}}\right\rangle =\sum \limits _{i=1}^{N}{}{{P}_{i}}{{M}_{i}}^{n}\\&n=1,...,m\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fcdd42505e5be9878e1e6be55760e49d41d7b45d)
Variation:
Es gilt: von den N Variationen
sind nur N-m-1 unabhängig voneinander!
![{\displaystyle \sum \limits _{i}^{}{}\delta {{P}_{i}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8e99d90854f968df2878b6b851556d6393ccc27a)
Lagrange- Multiplikator
![{\displaystyle \sum \limits _{i}^{}{}{{M}_{i}}^{n}\delta {{P}_{i}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/869443680cdd57c65f985f1d2f67af7a284c6846)
Lagrange- Multiplikator
Anleitung: Wähle
so, dass die Koeffizienten von
´s verschwinden, die übrigen N-(m+1) sind dann frei variierbar!
Somit:
![{\displaystyle \Rightarrow \delta I=\sum \limits _{i=1}^{N}{}\left(\ln {{P}_{i}}-\Psi +{{\lambda }_{n}}{{M}_{i}}^{n}\right)\delta {{P}_{i}}=!=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b4e636af8d9d92b8e2d5386d0024ffcef2338d35)
Vorsicht: Auch Summe über
(Einsteinsche Summenkonvention!)
{{#set:Definition=verallgemeinerte kanonische Verteilung|Index=verallgemeinerte kanonische Verteilung}}
Die Lagrange- Multiplikatoren
sind dann durch die m+1 Nebenbedingungen eindeutig bestimmt!
Kontinuierliche Ereignismenge[edit | edit source]
![{\displaystyle I(\rho )=\int _{}^{}{{{d}^{d}}x\rho (x)\ln \rho (x)}=!=Minimum}](https://wikimedia.org/api/rest_v1/media/math/render/svg/56c83d5629df0539511b49b834b48ca8c07e0a15)
unter der Nebenbedingung
![{\displaystyle {\begin{aligned}&\int _{}^{}{{{d}^{d}}x\rho (x)}=1\\&\int _{}^{}{{{d}^{d}}x\rho (x)}{{M}^{n}}(x)=\left\langle {{M}^{n}}\right\rangle \\&n=1,...,m\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f1d738c4db439c04c3814c39c9d6ede5304b4dab)
Durchführung einer Funktionalvariation:
![{\displaystyle \delta \rho (x)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7430fc48c996b480707a085b0b13e3bf06480060)
![{\displaystyle {\begin{aligned}&\delta I(\rho )=\int _{}^{}{{{d}^{d}}x\left(\ln \rho (x)+1\right)\delta \rho (x)}=0\\&\Rightarrow \int _{}^{}{{{d}^{d}}x\delta \rho (x)}=0\\&\int _{}^{}{{{d}^{d}}x{{M}^{n}}(x)\delta \rho (x)}=0\\&\Rightarrow \int _{}^{}{{{d}^{d}}x\left(\ln \rho -\Psi +{{\lambda }_{n}}{{M}^{n}}\right)\delta \rho (x)}=0\\&\Rightarrow \rho (x)=\exp(\Psi -{{\lambda }_{n}}{{M}^{n}})\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/805a5086c15debdf2f8142c6f1655e912df44aea)
Vergleiche: A. Katz, Principles of Statistial Mechanics
Eigenschaften der verallgemeinerten kanonischen Verteilung[edit | edit source]
hier: noch rein informationstheoretisch,
später: wichtige Anwendungen in der Thermodynamik
Legendre- Transformation{{#set:Fachbegriff=Legendre- Transformation|Index=Legendre- Transformation}}:
Sei
eine Bahn!
Dann ist
die Geschwindigkeit.
Aus
kann die Bahn
noch nicht rekonstruiert werden, jedoch aus
![{\displaystyle I(M)=\Psi (t)-M(t)t}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e39749a0b03855a8b8d0c6235d2a2d286f089514)
mit t=t(M):
![{\displaystyle {\begin{aligned}&{\frac {dI}{dM}}={\frac {d\Psi (t)}{dt}}{\frac {dtM}{dM}}-M{\frac {dt}{dM}}-t\\&M:={\frac {d\Psi (t)}{dt}}\\&\Rightarrow {\frac {dI}{dM}}=-t\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/641e2263bb53fa5123ff76a1648f673c75e46f28)
hieraus folgt
![{\displaystyle M(t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fec7adc70ea0e1d365e5f7244b6f7ddad9fbf485)
eingesetzt in
![{\displaystyle I(M)=\Psi (t)-M(t)t\Rightarrow \Psi (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c1e192cf12e89032001d934455fb233697da1624)
durch Eisnetzen gewinnt man
![{\displaystyle \Psi (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fc70cdfb4274988ac81c279cccf1eb47f3a20e6f)
Jedenfalls:
![{\displaystyle I(M)=\Psi (t)-M(t)t}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e39749a0b03855a8b8d0c6235d2a2d286f089514)
heißt legendre- Transformierte von
.
Anwendung auf die verallgemeinerte kanonische Verteilung:[edit | edit source]
![{\displaystyle \Rightarrow {{P}_{i}}=\exp \left(\Psi -{{\lambda }_{n}}{{M}_{i}}^{n}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/121ab0e874475fa356894b87b5c26b205be56e7b)
Normierung:
Also gilt:
und
sind durch
vollständig parametrisiert.
Nebenbemerkung
Die Verteilung
bzw.
wirkt auf dem Raum der Zufallsvariablen
(diskret) bzw.
(kontinuierlich).
sind Parameter.
sind Erwartungswerte ![{\displaystyle \left\langle {{M}^{n}}\right\rangle \in R}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e56ce7b1a3bed94515dd3021aec78515a242e6c)
Shannon- Information:
![{\displaystyle {\begin{aligned}&I(P)=\sum \limits _{i}^{}{}{{P}_{i}}\ln {{P}_{i}}=\sum \limits _{i}^{}{}{{P}_{i}}\left(\Psi -{{\lambda }_{n}}{{M}_{i}}^{n}\right)=\Psi -{{\lambda }_{n}}\sum \limits _{i}^{}{}{{P}_{i}}{{M}_{i}}^{n}\\&I=\Psi \left({{\lambda }_{1}},...{{\lambda }_{m}}\right)-{{\lambda }_{n}}\left\langle {{M}^{n}}\right\rangle \\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/728ed4ca98313f5558bfb8a310f64f8c8a42b0bd)
Aus
Damit können wir die Legendre- Transformation (verallgemeinert auf mehrere Variablen) identifizieren:
Variable ![{\displaystyle {{\lambda }_{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/663e2014746ced5423aa9869fabbbb26b7595670)
neue Variable ![{\displaystyle \left\langle {{M}^{n}}\right\rangle }](https://wikimedia.org/api/rest_v1/media/math/render/svg/41c947d92dcdc4df98febebd9be07e712dfddb5b)
Legendre- Transformierte von
!
Es folgt:
![{\displaystyle {\frac {\partial I}{\partial \left\langle {{M}^{n}}\right\rangle }}=-{{\lambda }_{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6ffb788b3689ce91b17c9967303ba157fc39908a)
wegen:
![{\displaystyle {\begin{aligned}&{\frac {\partial I}{\partial \left\langle {{M}^{n}}\right\rangle }}={\frac {\partial \Psi }{\partial {{\lambda }_{m}}}}{\frac {\partial {{\lambda }_{m}}}{\partial \left\langle {{M}^{n}}\right\rangle }}-{\frac {\partial {{\lambda }_{m}}}{\partial \left\langle {{M}^{n}}\right\rangle }}\left\langle {{M}^{m}}\right\rangle -{{\lambda }_{n}}\\&{\frac {\partial \Psi }{\partial {{\lambda }_{m}}}}=\left\langle {{M}^{m}}\right\rangle \\&\Rightarrow {\frac {\partial I}{\partial \left\langle {{M}^{n}}\right\rangle }}=-{{\lambda }_{n}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b794b1b795dd228b1adfa48881270e81b4e43163)
Zusammengefasst:
{{#set:Gleichung=Gibbsche Fundamentalgleichung|Index=Gibbsche Fundamentalgleichung}}
Betachte Variation:
![{\displaystyle \left\langle {{M}^{n}}\right\rangle \to \left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle }](https://wikimedia.org/api/rest_v1/media/math/render/svg/6cb6b1aba641a64a9b013c59170638dbfc488401)
dann:
![{\displaystyle {\begin{aligned}&{{\lambda }_{n}}\to {{\lambda }_{n}}+\delta {{\lambda }_{n}}\\&\Psi \to \Psi +\delta \Psi \\&{{P}_{i}}\to {{P}_{i}}+\delta {{P}_{i}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e1ce11e84bac4727d25a1cac088cfb4c85d7c68e)
Informationsgewinn:
![{\displaystyle {\begin{aligned}&K\left(P+\delta P,P\right)=\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right)\ln \left({{P}_{i}}+\delta {{P}_{i}}\right)-\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right)\ln {{P}_{i}}\\&\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right)\ln \left({{P}_{i}}+\delta {{P}_{i}}\right)=I\left(P+\delta P\right)\\&\Rightarrow K\left(P+\delta P,P\right)=\left(\Psi +\delta \Psi \right)-\left({{\lambda }_{n}}+\delta {{\lambda }_{n}}\right)\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)-\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right)\left(\Psi -{{\lambda }_{n}}{{M}^{n}}_{i}\right)\\&\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right)\left(\Psi -{{\lambda }_{n}}{{M}^{n}}_{i}\right)=\Psi -{{\lambda }_{n}}\sum \limits _{i}^{}{}\left({{P}_{i}}+\delta {{P}_{i}}\right){{M}^{n}}_{i}=\Psi -{{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)\\&\Rightarrow K\left(P+\delta P,P\right)=\left(\Psi +\delta \Psi \right)-\left({{\lambda }_{n}}+\delta {{\lambda }_{n}}\right)\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)-\Psi +{{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)\\&=\delta \Psi -\delta {{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/31d279f0405a70883384a897c037ca940086024e)
Wir können die variierten Funktionen für kleine Variationen
![{\displaystyle \delta {{\lambda }_{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f2cb522c07861f6c36b20f7e4fc71f08013afb7b)
entwickeln:
![{\displaystyle {\begin{aligned}&\delta \Psi ={\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\delta {{\lambda }_{n}}+{\frac {1}{2}}{\frac {{{\partial }^{2}}\Psi }{\partial {{\lambda }_{n}}\partial {{\lambda }_{m}}}}\delta {{\lambda }_{n}}\delta {{\lambda }_{m}}+....\\&\delta \left\langle {{M}^{n}}\right\rangle ={\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{n}}}}\delta {{\lambda }_{n}}+{\frac {1}{2}}{\frac {{{\partial }^{2}}\left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{n}}\partial {{\lambda }_{m}}}}\delta {{\lambda }_{n}}\delta {{\lambda }_{m}}+....\\&\Rightarrow K\left(P+\delta P,P\right)=\delta \Psi -\delta {{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle +\delta \left\langle {{M}^{n}}\right\rangle \right)=\left({\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\delta {{\lambda }_{n}}-\left\langle {{M}^{n}}\right\rangle \right)\delta {{\lambda }_{n}}+\left({\frac {1}{2}}{\frac {\partial }{\partial {{\lambda }_{m}}}}{\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}-{\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\right)\delta {{\lambda }_{n}}\delta {{\lambda }_{m}}\\&{\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}=\left\langle {{M}^{n}}\right\rangle \Rightarrow \left({\frac {1}{2}}{\frac {\partial }{\partial {{\lambda }_{m}}}}{\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}-{\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\right)=-{\frac {1}{2}}{\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\\&\left({\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\delta {{\lambda }_{n}}-\left\langle {{M}^{n}}\right\rangle \right)=0\\&\Rightarrow K\left(P+\delta P,P\right)=-{\frac {1}{2}}{\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\delta {{\lambda }_{n}}\delta {{\lambda }_{m}}\\&K\left(P+\delta P,P\right)\geq 0\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7b3e23e1cb6401aa7bcd81722079bf8ec8d91527)
Vergleiche oben
also folgt:
![{\displaystyle {\begin{aligned}&\Rightarrow K\left(P+\delta P,P\right)=-{\frac {1}{2}}{\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\delta {{\lambda }_{n}}\delta {{\lambda }_{m}}\geq 0\\&\Rightarrow {\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{m}}}}\leq 0\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/53c110293664ce5147424074c9d54a8bef50c3d5)
negativ semidefinit, für alle
Definiere Suszeptibilitätsmatrix{{#set:Fachbegriff=Suszeptibilitätsmatrix|Index=Suszeptibilitätsmatrix}}:
![{\displaystyle {{\eta }^{mn}}:={\frac {\partial \left\langle {{M}^{n}}\right\rangle }{\partial {{\lambda }_{n}}}}={\frac {{{\partial }^{2}}\Psi }{\partial {{\lambda }_{n}}\partial {{\lambda }_{m}}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/de05bf5ee03ff5e9565605876f65aee3ba949f1d)
Diese Matrix beschreibt die Änderung von
bei Variation von
:
![{\displaystyle \delta \left\langle {\bar {M}}\right\rangle ={\bar {\bar {\eta }}}\delta {\bar {\lambda }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dc9c8ac46cade6ff2300a1e7c2472699f46d0d3e)
bzw.:
![{\displaystyle {{\tilde {\eta }}_{\sigma \lambda }}:={\frac {\partial {{\lambda }_{\sigma }}}{\partial \left\langle {{M}^{\lambda }}\right\rangle }}=-{\frac {{{\partial }^{2}}I}{\partial \left\langle {{M}^{\lambda }}\right\rangle \partial \left\langle {{M}^{\sigma }}\right\rangle }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/37be26c1f9a814ee88e705ca0b70c57786036fc0)
In Matrixschreibweise:
![{\displaystyle {\begin{aligned}&\delta {\bar {\lambda }}={\tilde {\bar {\bar {\eta }}}}\delta \left\langle {\bar {M}}\right\rangle \\&{\tilde {\bar {\bar {\eta }}}}={{\bar {\bar {\eta }}}^{-1}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ba6dd48de42e251c28c78ef9b3c1d54bdefbe542)
Wegen
![{\displaystyle {\begin{aligned}&{\frac {\partial }{\partial {{\lambda }_{n}}}}\left({\frac {\partial \Psi }{\partial {{\lambda }_{m}}}}\right)={\frac {\partial }{\partial {{\lambda }_{m}}}}\left({\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\right)\\&\left({\frac {\partial \Psi }{\partial {{\lambda }_{m}}}}\right)=\left\langle {{M}^{m}}\right\rangle \Rightarrow {\frac {\partial }{\partial {{\lambda }_{n}}}}\left({\frac {\partial \Psi }{\partial {{\lambda }_{m}}}}\right)={{\eta }^{mn}}\\&\left({\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\right)=\left\langle {{M}^{n}}\right\rangle \Rightarrow {\frac {\partial }{\partial {{\lambda }_{m}}}}\left({\frac {\partial \Psi }{\partial {{\lambda }_{n}}}}\right)={{\eta }^{nm}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0faf5400825667bd81a041fca0efc17af8adebb5)
Somit:
ist symmetrisch
Aus
folgt:
![{\displaystyle {{\eta }^{mn}}\delta {{\lambda }_{m}}\delta {{\lambda }_{n}}=\delta \left\langle {{M}^{n}}\right\rangle \delta {{\lambda }_{n}}={{\tilde {\eta }}_{nm}}\delta \left\langle {{M}^{n}}\right\rangle \delta \left\langle {{M}^{m}}\right\rangle \leq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e6927e908fcdcc081d858176c9f615704ceff1a3)
Also: negativ- semidefinite quadratisceh Form:
![{\displaystyle {\begin{aligned}&\Rightarrow {{\eta }^{nn}}\leq 0\\&{{\tilde {\eta }}_{nn}}\leq 0\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/59d8f0ce76010d01f453d848954f33f91f8ade68)
Nebenbemerkung:
Also sind
und
konvex!
Zusammenhang mit der Korrelationsmatrix[edit | edit source]
ist Korrelationsmatrix (siehe oben)
2. Kumulante
mit Kumulantenerzeugender
![{\displaystyle {\begin{aligned}&\Gamma \left(\alpha \right)=\ln \left\langle \exp \left({{\alpha }_{n}}{{M}^{n}}\right)\right\rangle =\ln \sum \limits _{i}^{}{}{{P}_{i}}\exp \left({{\alpha }_{n}}{{M}_{i}}^{n}\right)=\ln \sum \limits _{i}^{}{}{{e}^{\Psi -\left({{\lambda }_{n}}-{{\alpha }_{n}}\right){{M}_{i}}^{n}}}\\&=\ln \left[{{e}^{\Psi }}\cdot \sum \limits _{i}^{}{}{{e}^{-\left({{\lambda }_{n}}-{{\alpha }_{n}}\right){{M}_{i}}^{n}}}\right]=\Psi \left(\lambda \right)+\ln \left[\sum \limits _{i}^{}{}{{e}^{-\left({{\lambda }_{n}}-{{\alpha }_{n}}\right){{M}_{i}}^{n}}}\right]\\&\ln \left[\sum \limits _{i}^{}{}{{e}^{-\left({{\lambda }_{n}}-{{\alpha }_{n}}\right){{M}_{i}}^{n}}}\right]=-\Psi \left(\lambda -\alpha \right)\\&\Rightarrow \Gamma \left(\alpha \right)=\Psi \left(\lambda \right)-\Psi \left(\lambda -\alpha \right)\\&\Rightarrow {{Q}^{mn}}=-{{\left.{\frac {{{\partial }^{2}}\Psi \left(\lambda -\alpha \right)}{\partial {{\alpha }_{m}}\partial {{\alpha }_{n}}}}\right|}_{\alpha =0}}=-{\frac {{{\partial }^{2}}\Psi \left(\lambda \right)}{\partial {{\lambda }_{m}}\partial {{\lambda }_{n}}}}=-{{\eta }^{mn}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/12b546906afbc18973beedf504730b149bd3cbe1)
Suszeptibilität!
Also: Die Korrelationsmatrix ist das Negative der Suszeptibilität!!
Also:
{{#set:Gleichung=Fluktuations-Dissipations-Theorem|Index=Fluktuations-Dissipations-Theorem}}
Fluktuations/ Dissipations- Theorem:
- Fluktuationen{{#set
- Fachbegriff=Fluktuationen|Index=Fluktuationen}}: Zufällige Schwankungen um den Mittelwert
- Dissipation{{#set
- Fachbegriff=Dissipation|Index=Dissipation}}: Systematische Änderung der Mittelwerte!
Korrektur einer Verteilung durch Zusatzinformationen[edit | edit source]
Sei
die Verteilung, die
unter Kenntnis der Nebenbedingungen
![{\displaystyle {\begin{aligned}&\sum \limits _{i}^{}{}{{P}_{i}}^{0}=1\\&\sum \limits _{i}^{}{}{{P}_{i}}^{0}{{M}_{i}}^{m}=\left\langle {{M}^{m}}\right\rangle \\&m=1,...,m\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2f8d94acbbfab64b69ee923fad1173bcdc33d1e8)
- minimalisiert (Vorsicht: Index und Laufende sind ungünstigerweise gleich bezeichnet!)
Jetzt:
Zusatzinformationen (zusätzliche Mittelwerte beobachtet):
![{\displaystyle {\begin{aligned}&\sum \limits _{i}^{}{}{{P}_{i}}{{V}_{i}}^{\sigma }=\left\langle {{V}_{i}}^{\sigma }\right\rangle \\&\sigma =1,...,s\\&\sum \limits _{i}^{}{}{{P}_{i}}=1\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8f3b53e7e0380e2cbe727c79727febb5f8dea8c5)
Prinzip der vorurteilsfreien Schätzung[edit | edit source]
Suche Minimum des Informationsgewinns
![{\displaystyle K\left(P,{{P}^{0}}\right)=\sum \limits _{i}^{}{}{{P}_{i}}\ln {\frac {{P}_{i}}{{{P}_{i}}^{0}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/00757637a09ec468f5ff334e331aaa034c8ca56d)
unter dieser Nebenbedingung!!
Also:
![{\displaystyle \sum \limits _{i}^{}{}\left(\ln {{P}_{i}}-\ln {{P}_{i}}^{0}+1+\xi +{{\xi }_{\sigma }}{{V}_{i}}^{\sigma }\right)\delta {{P}_{i}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a132ab34be2308e070abc41fe88a837737332383)
mit neuen Lagrange- Multiplikatoren
![{\displaystyle \xi ,{{\xi }_{\sigma }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/69eace603907122a22d1146c089097d312f4f163)
![{\displaystyle {\begin{aligned}&\Rightarrow 1+\xi =-\Xi \\&\sum \limits _{i}^{}{}\left(\ln {{P}_{i}}-\ln {{P}_{i}}^{0}-\Xi +{{\xi }_{\sigma }}{{V}_{i}}^{\sigma }\right)\delta {{P}_{i}}=0\\&\Rightarrow {{P}_{i}}={{P}_{i}}^{0}\exp \left(\Xi -{{\xi }_{\sigma }}{{V}_{i}}^{\sigma }\right)\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e0e198ddeafe79654cad88f9b928eb411d7e99a9)
Mit
![{\displaystyle {{P}_{i}}^{0}=\exp \left(\Psi -{{\lambda }_{n}}{{M}_{i}}^{n}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5495916f6e7e38256760c0124b71452ac8737f76)
folgt:
![{\displaystyle {\begin{aligned}&K\left(P,{{P}^{0}}\right)=\sum \limits _{i}^{}{}{{P}_{i}}\ln {{P}_{i}}-{{P}_{i}}\ln {{P}_{i}}^{0}+{{P}_{i}}^{0}\ln {{P}_{i}}^{0}-{{P}_{i}}^{0}\ln {{P}_{i}}^{0}\\&\sum \limits _{i}^{}{}{{P}_{i}}\ln {{P}_{i}}=I(P)\\&\sum \limits _{i}^{}{}{{P}_{i}}^{0}\ln {{P}_{i}}^{0}=I({{P}^{0}})\\&-{{P}_{i}}\ln {{P}_{i}}^{0}+{{P}_{i}}^{0}\ln {{P}_{i}}^{0}=-\sum \limits _{i}^{}{}\left({{P}_{i}}-{{P}_{i}}^{0}\right)\ln {{P}_{i}}^{0}\\&\ln {{P}_{i}}^{0}=\Psi -{{\lambda }_{n}}{{M}_{i}}^{n}\\&-\sum \limits _{i}^{}{}\left({{P}_{i}}-{{P}_{i}}^{0}\right)\left(\Psi -{{\lambda }_{n}}{{M}_{i}}^{n}\right)={{\lambda }_{n}}\left(\sum \limits _{i}^{}{}\left({{P}_{i}}{{M}_{i}}^{n}\right)-\sum \limits _{i}^{}{}\left({{P}_{i}}^{0}{{M}_{i}}^{n}\right)\right)\\&\sum \limits _{i}^{}{}\left({{P}_{i}}{{M}_{i}}^{n}\right)=\left\langle {{M}^{n}}\right\rangle \\&\sum \limits _{i}^{}{}\left({{P}_{i}}^{0}{{M}_{i}}^{n}\right)={{\left\langle {{M}^{n}}\right\rangle }_{0}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2c4159b929e40cb8f1ac6d6f608bbcb287995660)
Da nun die Mittelwerte
![{\displaystyle \left\langle {{M}^{n}}\right\rangle ,{{\left\langle {{M}^{n}}\right\rangle }_{0}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/28231d71724b3ba6dbef52e7bb6f9d4973ceaac1)
nicht durch die Zusatzinfo geändert werden muss gelten:
![{\displaystyle {\begin{aligned}&K\left(P,{{P}^{0}}\right)=I(P)-I({{P}^{0}})+{{\lambda }_{n}}\left(\sum \limits _{i}^{}{}\left({{P}_{i}}{{M}_{i}}^{n}\right)-\sum \limits _{i}^{}{}\left({{P}_{i}}^{0}{{M}_{i}}^{n}\right)\right)\\&=I(P)-I({{P}^{0}})+{{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle -{{\left\langle {{M}^{n}}\right\rangle }_{0}}\right)\\&keine{\ddot {A}}nderung\\&\Rightarrow {{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle -{{\left\langle {{M}^{n}}\right\rangle }_{0}}\right)=0\\&\left\langle {{M}^{n}}\right\rangle ={{\left\langle {{M}^{n}}\right\rangle }_{0}}\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/49e752a2deeec11ab0300f16e2d2aeda31261b81)
da diese Mittelwerte nicht durch die Zusatzinfo geändert werden!
![{\displaystyle {\begin{aligned}&\Rightarrow K\left(P,{{P}^{0}}\right)=I(P)-I({{P}^{0}})+{{\lambda }_{n}}\left(\sum \limits _{i}^{}{}\left({{P}_{i}}{{M}_{i}}^{n}\right)-\sum \limits _{i}^{}{}\left({{P}_{i}}^{0}{{M}_{i}}^{n}\right)\right)\\&=I(P)-I({{P}^{0}})+{{\lambda }_{n}}\left(\left\langle {{M}^{n}}\right\rangle -{{\left\langle {{M}^{n}}\right\rangle }_{0}}\right)=I(P)-I({{P}^{0}})\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c865729e3049291d563e929b6f51a7b3fdb73ae)
Das heißt: Der Informationsgewinn entspricht gerade der Änderung der Shannon- Info!