Informationstheorie für Physiker...

        198? K. Huber, Strahlenzentrum Univ. Gießen
        Version 21.Jul.2023

1 Vorwort

Dieses Thema hatte mich schon sehr früh interessiert und ich hatte dabei festgestellt, dass es sowohl Informatiker als auch Physiker schon lange beschäftigt. Deshalb ist es dann auch in meine Informatikvorlesung für Physiker übernommen worden. Und dieses alte Skript (198?) ist mir kürzlich beim Aufräumen wieder in die Hände gefallen. Ich fand, statt es zum Papiermüll zu geben, wäre es nicht verkehrt, es auf unseren ’lokalen Seiten’ zugänglich zu machen.
So ist es also neu formatiert und ein wenig aktualisiert im Internet gelandet.

Siehe auch:
J. Peters, Die physikalische Bedeutung der Information, NTZ 199 (1968)

2 Was ist Information?

Bevor wir uns überlegen, wie die Information in unser physikalisches Weltbild passt, müssen wir uns natürlich erst einmal darüber klar werden, was Information überhaupt ist. Selbstverständlich wissen wir so in etwa was Information ist, schließlich leben wir im Informationszeitalter, so sagt man jedenfalls. Aber um sie in die Physik zu integrieren, müssen wir sie zumindest auch messen können.

Die Information ist ein Kind der Informatik. Wir werden deshalb nicht umhin können, uns ein paar Begriffe der Informatik näher anzusehen. Alle diese Begriffe sind Ihnen vermutlich längst geläufig. Trotzdem, wenn ich Sie auf den Kopf zu frage nach dem Unterschied zwischen:

 digital
 dual
 binär

hätten Sie da sofort die richtige Antwort parat? Trösten Sie sich, mir geht es ebenso. Deshalb eine kurze Einführung in die Informationstheorie. Diese ist ein Zweig der Informatik. Sie wurde 1948 von Shannon gegründet und ist inzwischen auch im DIN 46300 fixiert.

2.1 digital und analog

Dieser Begriff ist uns seit es Digitaluhren und -Thermometer gibt natürlich vertraut. Es ist die zeichenweise Darstellung eines Wertes im Gegensatz zur analogen Darstellung z.B. durch Zeiger. Entsprechend gibt es

 Digitalrechner   das sind Ziffernrechner und
 Analogrechner    die mit kontinuierlichen Spannungen arbeiten.

Mit Analogrechnern kann man mit recht geringem Aufwand Differentialgleichungen lösen, indem man sie elektrisch nachbildet. Sie sind inzwischen allerdings aus der Mode gekommen. Hier im Haus existiert noch so ein Gerät, das demnächst von dem Computermuseum Oldenburg übernommen wird.

2.2 Zahlensysteme

Nun zu dual. Es gehört in die Kategorie der Zahlensysteme. Die Menschen haben sich an das Dezimalsystem gewöhnt. Das hängt sicher mit den zehn Fingern zusammen. Das Dezimalsystem kennt die zehn Ziffern von 0 bis 9, nach 9 erfolgt ein Übertrag in die nächst höhere Dezimalstelle.

Früher haben die Leute gerne mit dem Duodezimalsystem auf der Basis 12 gerechnet. Das Dutzend und das Schock als die nächst höheren Duodezimalstellen sind ja heute noch in Gebrauch und die Uhr hat immer noch 12 Stunden auf dem Ziffernblatt. Schuld am Duodezimalsystem ist vermutlich der Mond, der uns bekanntlich 12 Monate im Jahr beschert.

Das Dualsystem mit seinen beiden Ziffern 0 und 1 ist für den täglichen Gebrauch eher ungeeignet. Zwar wird das Kleine Einmaleins erfreulich einfach:

 0 * 1 = 0
 1 * 0 = 0
 1 * 1 = 1

aber Zahlendarstellungen werden schrecklich lang (Faktor log2(10) = 3.322). Leibnitz hat dann aber entdeckt, dass das duale Zahlensystem bestens für einen Computer geeignet ist, weil dieser auch nur zwei Finger hat, nämlich die Schaltzustände Ein/Aus.

das Oktalsystem mit 8 Ziffern (0,..,7) und
das Hexadezimalsystem mit 16 Ziffern (0,..9,A,..F),

weil sie das Zusammenfassen von 3 bzw. 4 Dualziffern zu einer Oktal- bzw. Hexadezimalziffer ermöglichen, womit die Zahlen wieder eine praktikable Länge kriegen.

(Anmerkung zu ’hexadezimal’: ’oktal’ und ’dezimal’ haben einen lateinischen Ursprung, ’hexa’ ist jedoch griechisch. Es müsste eigentlich ’sedezimal’ heißen. Da hat wohl jemand in der Schule nicht richtig aufgepasst!)

2.3 Alphabete

Was bleibt da noch für binär übrig? Nun, binär gehört in die Kategorie der Alphabete. Alphabete bestehen aus einem Zeichenvorrat, aus dem man durch aneinanderreihen Nachrichten bilden kann. Beispiele für Alphabete sind:

 Chinesisches Alphabet: ca. 50.000 Zeichen (Schriftzeichen)

 Lateinisches Alphabet: 30 Zeichen (Buchstaben)         A, B, C,...
 
 Dezimal-Alphabet     : 10 Zeichen (Ziffern)            0, 1, 2,...

 Binäres Alphabet     :  2 Zeichen (Bits)               H, L
                                                   oder X, O
      weniger gut wegen Verwechslung mit Dezimalziffern 0, 1
 (Bits = binary digits = Binär-Zeichen)

(Anmerkung: Zum Teil werden die Begriffe aus den Alphabeten kunterbunt gemischt mit denen aus den Zahlensystemen. Der dual zählende IC-Baustein als "Binär-Zähler" bezeichnet, ist da so ein Beispiel. Der "binär codierte Dezimal-Zähler" ein anderes. Aber sagen Sie ruhig auch "Binär-Zähler", dann versteht Sie wenigstens jeder...)

2.4 Nachricht und Information

Die nächsten beiden Begriffe aus der Informatik sind dann schon Nachricht und Information.
Wir betrachten folgende Anordnung:
eine Tastatur, ein Verbindungskabel und eine Anzeigetafel.

    ------------                    -----------
    |          |       Kabel        |         |
    | Tastatur |--------------------| Anzeige |
    |          |   Nachr.-Übertr.   |         |
    ------------                    -----------
     N.-Sender                      N.-Empfänger
             --------- Wirkung ------->

Wenn Sie eine Taste drücken, soll auf der Anzeige irgend etwas aufleuchten. Es gibt eine Wirkung. Das was Sie von der Tastatur zur Anzeige übertragen, ist eine Nachricht. Entsprechend bezeichnet man die Tastatur als Nachrichten-Sender, über das Kabel geschieht die Nachrichten-Übertragung und die Anzeige ist der Nachrichten-Empfänger.

Es gibt vielfältige Formen von Nachrichten. Wenn ich hier zu Ihnen spreche, oder Sie Ihren Nachbarn anstoßen, oder der Schmetterling Duftmoleküle auf die Reise schickt, auf die sein Partner in einiger Entfernung reagiert: all das sind Nachrichten.

Alle diese Nachrichten haben eines gemeinsam: sie transportieren etwas zum Empfänger, das dort mehr oder weniger Wirkung hat. Diese Qualität der Nachricht ist die Information. Man sagt: Die Nachricht ist der Träger der Information oder Information wird durch Nachrichten transportiert

Damit hätten wir den schwierigsten Schritt eigentlich schon geschafft und wissen was Information ist. Jetzt fehlt uns nur noch das Messen der Information.

2.5 Messen der Information

Messen heißt im Wesentlichen vergleichen mit einem Standard. D.h. wir müssen alle die verschiedenen Formen von Nachrichten auf eine gemeinsame Form bringen.

Zunächst wandeln wir alle analogen Nachrichten wie z.B. Schall, Licht und ähnliche in digitale Nachrichten um. Dass dies prinzipiell eindeutig geht, hat Shannon mit seinem Abtasttheorem gezeigt. Ich will hier nicht näher darauf eingehen, es soll uns genügen, dass es funktioniert.

Wir haben es also jetzt nur noch mit digitalen Nachrichten, d.h. durch Zeichen dargestellte Nachrichten zu tun. Nun wählen wir ein Alphabet, um die Nachricht darzustellen. Diesen Vorgang nennt man übrigends das Kodieren der Nachricht.

Wir machen nun einen ersten, primitiven und nicht immer ganz richtigen Versuch, den Informationsgehalt einer Nachricht zu messen, in dem wir einfach die Anzahl der Zeichen zählen, durch die sie kodiert ist. Nach dem Motto: lange Nachricht, viel Information.

 I("NACHRICHT") = 9 deutsche Zeichen

Auf diese Weise würden wir natürlich eine Babylonische Einheitenverwirrung für die Information erhalten. Deshalb hat man sich auf ein gemeinsames, neutrales Alphabet geeinigt. Sie ahnen sicher welches. Es ist das "Binäre Alphbet", auf dessen Eignung für die Datenverarbeitung bereits Leibnitz hingewiesen hat.

 I(HLLHLH) = 6 bit
   !!! bit: Informationseinheit
   !!! Bit: Binär-Zeichen

Der Informationsgehalt dieser Nachricht, was sie auch immer bedeuten mag, ist 6 bit. 1 bit ist die Einheit der Information, und im Gegensatz zu den Binär-Zeichen klein geschrieben.

 lange Nachricht ---> viel Information

natürlich nicht zwingend wie jeder aufmerksame Zeitungsleser schon längst weiß. Vielmehr müssen wir die Nachricht vor dem Messen auf eine minimal notwendige Länge reduzieren.

Wir nehmen eine Telefonzentrale. Damit diese Telefonzentrale die gewünschte Verbindung herstellen kann, müssen wir ihr Information übermitteln. Das tun wir, indem wir mit der Wählscheibe eine Nachricht kodieren und zuschicken.

Wohlgemerkt, das was man üblicherweise als Telefonnummer bezeichnet, wird hier nicht als Zahl, sondern als eine aus einer Zeichenfolge bestehende Nachricht verstanden. Die Zeichen stammen aus dem Dezimalziffern-Alphabet mit zehn Zeichen. Tatsächlich handhabt man Telefonnummern ja auch üblicherweise so und sagt nicht unser Sekretariat hat die Nummer 7 022 590 sondern 7,0,2,2,5,9,0.

Hat die Telefonanlage nun viele Anschlüsse, so benötigt sie viel Information, um den richtigen Anschluss auswählen zu können, und eine entsprechend lange Telefonnummer. Es besteht also ein direkter Zusammenhang zwischen dem Informationsbedarf und den Wahlmöglichkeiten auf der Empfängerseite:

 Anschlüsse    Telefonnummern   Informationsbedarf
  100             00 - 99         2 dezimalziffern
 1000            000 - 999        3 dezimalziffern
 I(Telefonnummer) = log(Anschlüsse) dezimalziffern

In diesem Beispiel sind gerade alle Telefonnummern belegt und wir können die Nachricht nicht weiter reduzieren, so dass wir durch Abzählen der Zeichen in der Nachricht ihren Informationsgehalt erhalten. Auch würde das Anhängen von weiteren Ziffern den Informationsgehalt der Nachricht nicht erhöhen da er der minimale Bedarf an Information sein soll.

Wir haben hier die Informationseinheit "dezimalziffern" verwendet, die man aber leicht in "bit" umrechnen kann:

 mit 1 dezimalziffer kann ich 10 Zustände unterscheiden
 1 dezimalziffer ---> 10 Zustände
 3 bit		--->  8 Zustände
 4 bit		---> 16 Zustände
 ---> Anzahl Bits = ld(Zustände)
 1 dezimalziffer = ld(10) bit = 3.322 bit
 (ld: dualer Logarithmus)

In den vorausgegangen Beispielen waren gerade soviele Anschlüsse wie Nummern vorhanden. Was nun, wenn nur 33 Anschlüsse existieren? Die Lösung ist einfach. Wir nehmen statt des Dezimalziffern-Alphabetes eines mit genau 33 verschieden Zeichen und verfahren wie zuvor.

 1 z33 ---> 33 Zustände
 5 bit ---> 32 Zustände
 6 bit ---> 64 Zustände
 1 Z33 = ld(33) bit = 5.044 bit
 daher:
 I(Nachricht) = ld(Wahlmöglichkeiten) bit
 (ld: dualer Logarithmus)

Ich will Ihnen nicht verschweigen, dass die Informationstheorie den Informationsbegriff allgemeiner (und damit auch sehr viel weniger anschaulich) definiert als ich das hier getan habe.

 I(Nachricht) = ld(1 / Wahrscheinlichkeit für das Auftreten der Nachr.)

Ich habe Ihnen den Spezialfall vorgeführt, dass alle Nachrichten gleichwahrscheinlich sind, was für unsere weiteren Betrachtungen völlig ausreichen ist.

2.6 Redundanz

Telefonnummern werden natürlich immer in Dezimalziffern kodiert, und sind daher unter Umständen länger als unbedingt notwendig. Für unser obiges Beispiel ergibt sich:

 1 z33 = ld(33) bit   = 5.044 bit       Information
 2 z10 = 2*ld(10) bit = 6.644 bit       Nachrichtenlänge
 --------------------------------
                 Diff.= 1.600 bit       Redundanz

Diesen Rest nennt man Redundanz, was soviel wie Weitschweifigkeit heißt. Bei der Nachrichtenübertragung kostet er zusätzlich Geld und Zeit. Beim Zeitungsdrucken kostet er Papier und beim Telefonieren Einheiten.

Aber die Redundanz hat auch nützliche Seiten. Redundanz ermöglicht z.B. Fehlererkennung und Fehlerkorrektur. Dazu einige Beispiele:

 Unsere Sprache ist stark redundant
 Wörter: NACHRCHT ---> NACHRICHT      Fehlerkorrektur möglich
 (Kaum zu erkennen, da das Gehirn automatisch korrigiert)

 Zahlen:  5368 ---> 53628              keine Fehlererkennung möglich


 Paritätsbit für Ein-Bit-Fehlererkennung
    L O L L O L O L P	
    P = Paritätsbit, ergänzt auf gerade oder ungerade L

 ECC-Bits für Ein-Bit-Fehlerkorrektur und Mehr-Bit-Fehlererkennung
    VAX-Memory: 6 ECC-Bits pro 32 Bit-Wort

3 Information in der Physik

Zunächst möchte ich Ihnen einen Kommentar von Norbert Wiener vorstellen, den ich zu diesem Thema entdeckt habe.

Norbert Wiener (...):
Information ist Information, weder Materie noch Energie. 
Kein Materialismus, der dieses nicht berücksichtigt, 
kann den heutigen Tag überleben.

Leider habe ich ein etwas gestörtes Verhältnis zur damaligen wissenschaftlichen Ausdrucksweise. Aber ich würde es so verstehen, dass Information entweder überhaupt keine physikalische Größe ist, oder aber eine neue Grundgröße.

Um aber den recht drastischen Drohungen des Herrn Wiener gerecht zu werden, sollten wir diesem Problem einmal selber auf den Grund gehen. Zu diesem Zweck ist ein kurzer Ausflug in die Thermodynamik notwendig.

3.1 Entropie

Sie erinnern sich:
Die Entropie ist eine Zustandsfunktion, die Auskunft gibt über die Richtung, in der physikalische Vorgänge ablaufen.

S = Int(Z1,Z2)(dQ/T) + S(Z1)
    Z1:    Anfangszustand
    Z2:    Endzustand
    dQ:    Wärmeänderung
    T:     abs. Temperatur
    S(Z1): Entropie im Anfangszustand

S = k * ln(W)
    k: Boltzmann-Konstante
    W: "Thermodynamische Wahrscheinlichkeit",
        (Vorrat an gleichwahrscheinlichen ununterscheidbaren
         Mikrozuständen, die den gleichen Makrozustand darstellen)

Zur Erläuterung dieser Begriffe ein einfaches Modell, das dem Gedankengang Boltzmanns folgt:

Nach Boltzmann gibt es nun folgende Beschreibungsmöglichkeiten für die Verteilung der Moleküle im Kasten:

Bekanntlich sind nur die Makrozustände physikalisch zu unterscheiden, da die einzelnen Moleküle (gleicher Art) nicht von einander zu unterscheiden sind.

Wird ein solches System sich selbst überlassen, so durchläuft es immer wieder alle seine Mikrozustände mit gleicher Wahrscheinlichkeit. Dies erlaubt einen Schluss von seiner Struktur auf seine Dynamik:

Unabhängig davon bei welchem Zustand man startet, wird man nach einer gewissen Zeit mit größter Wahrscheinlichkeit immer den Makrozustand beobachten, der die meisten Mikrozustände hat. Dies ist der Zustand mit der Gleichverteilung der Moleküle auf alle Zellen. Bei einem makroskopischen System hat der Zustand der Gleichverteilung eine erdrückende Wahrscheinlichkeit gegenüber etwa dem Zustand, bei dem alle Moleküle in einer Zelle sind:

3.2 Physikalische Nachricht

An ein solches mikroskopisches, physikalisches System senden wir nun eine Nachricht. Die Nachricht muss so beschaffen sein, dass sie von dem System verstanden wird. Sie soll sich deshalb auf die Mikrozustände des Systems beziehen. Durch die Nachricht wollen wir einen der möglichen Mikrozustände auswählen. Dies ist ersichtlich der gleiche Sachverhalt wie bei unserem Beispiel mit der Telefonvermittlung. Die benötigte Information, um einen aus N gleichwahrscheinlichen Zuständen auszuwählen ist:

Nun kann ich aber physikalisch keine Mikro- sondern nur Makrozustände beobachten. Ich werde deshalb versuchen mit meiner Nachricht einen Makrozustand auszuwählen. Dies ist vergleichbar mit dem Fall, dass ich bei einer Telefonnummer die letzte Ziffer weglasse und die zugehörigen 10 Anschlüsse gemeinsam adressiere. Die benötigte Nachricht wird dadurch kürzer und auch ihr Informationsgehalt:

Für ein physikalisches System bedeutet eine solche Einschränkung von zunächst N möglichen Mikrozuständen auf schließlich W eine Entropieänderung. In der statistischen Schreibweise von Boltzmann lässt sie sich ausdrücken durch:

Wir sehen also:
das Zuführen von Information vermindert in einem physikalischen System die Entropie um

Wir können damit dann auch die Informationsmaßeinheit 1 bit umrechnen in physikalische Einheiten:

3.3 Konsequenzen

Diese physikalische Interpretation der Information hat ein einige interessante Konsequenzen:

Als Informationsspeicher können wir alle Systeme verwenden, die sich in einen Zustand höherer physikalischer Ordnung bringen lassen und dort stabil verharren. Bekanntlich sind dies z.B. magnetisierbare Schichten und auch die DNS als biologischer Speicher.

3.3.1 Nachrichten von Raumsonden

Für I=1bit ist dies die Energie, die ich bei der Temperatur T mindestens aufwenden muss, um 1 bit zu übertragen.

Sie werden das für lächerlich wenig halten, aber es gibt Situationen, in denen das durchaus zum Tragen kommt. Ich habe Ihnen dazu ein Beispiel gerechnet:

Ein aktuelles Beispiel für eine solch entfernte Mission sind die Voyager-Sonden, die auf dem Weg sind unser Sonnensystem zu verlassen und von denen man auf der Erde nur noch ein "Flüstern" empfängt.
Die aktuellen Daten (2023) von Voyager 1 (Nasa, Wikipedia):

Entfernung:           24 * 10^9 km
Sendeleistung:        25 W
Antennendurchmesser:  3.7 m
Antennengewinn:       36 dBi (dBi: Bezugspunkt Kugeloberfläche = 0 dBi)
Empfang auf der Erde: 4.5 * 10^-21 Ws/bit
Bit-Rate:             160 bit/s
Bodenantennen:        34 bzw. 70 m

3.3.2 Maxwellscher Dämon

Wir haben also gesehen, dass jeder Informationsfluss notwendigerweise mit einem Energiefluss verbunden ist. Dieser Zusammenhang klärt auch das Problem des "Maxwellschen Dämon". Sie erinnern sich sicher an dieses Paradoxon zum zweiten Hauptsatz:

Der Dämon und sein Handwerkszeug sind masselos, so dass er für seine Aktionen keine Energie benötigt. Er sitzt dort oben auf unserem Kasten mit den Molekülen und wartet, bis alle Moleküle auf einer Seite sind, um dann schnell den Schieber zuzumachen. Dies führt in dem abgeschlossenen System zu einer Entropieerniedrigung, was offensichtlich dem zweiten Hauptsatz wiederspricht. Die Erklärung ist, dass ein Informationsfluss stattfinden muss, damit der Dämon den richtigen Zeitpunkt erkennt. Und damit verbunden ist ein Energiefluss. Die Voraussetzungen für dieses Gedankenexperiment sind einfach falsch. Szilard hat dies exakt durchgerechnet und bestätigt.

3.3.3 More...

Zum Schluss noch eine eher Philosophische Betrachtung: Messen bedeutet, einem System Information zu entziehen. Dadurch wird zwangsläufig seine Entropie erhöht. Will ich von einem System alles wissen, so bringe ich dieses System in einen Zustand maximaler Entropie, der bekanntlich der Endzustand in seiner dynamischen Entwicklung ist. Dies führt zu dem Dilemma, dass ich entweder zu wenig von dem System weiß, um seine zukünftige Entwicklung vollständig vorhersagen zu können, oder aber ich habe durch meine Messerei das System in seinen Endzustand versetzt, der keine weitere Entwicklung mehr erlaubt.

3.4 Aber...

Abschließend möchte ich Ihnen nicht verschweigen, dass die physikalische Interpretation der Information nicht ganz unumstritten ist. Insbesondere die Informationstheoretiker lassen sich ihre Information von den Physikern nicht gerne streitig machen und verweisen auf die sehr viel iniversellere Anwendbarkeit des Informationsbegriffes. Brillouin hat versucht diesen Schwierigkeiten zu entgehen durch die Einführung

• digital und analog
• Zahlensysteme
• Alphabete
• Nachricht und Information
• Messen der Information
• Redundanz

• Entropie
• Physikalische Nachricht
• Konsequenzen
• Aber...