Das Interesse der
• Informationssoziologie
richtet sich auf die quantifizierende Erfassung von

• Informationsaufkommen z.B. im Wissenschaftsbereich
• Zahl der Zeitschriften
• der Monographien
• Dissertationen etc.
• Zahl der Wissenschaftler
• Publikationshäufigkeit
• Zitationshäufigkeit
• Alterungsrate der Literatur
• Nationale / internationale Verteilung etc.

Mit der Erhebung und Auswertung
dieser Daten beschäftigt sich
näherhin die Szientometrie.

• Informationsdiensten
• Dokumentationsstellen
• Hosts (Inf.-Service-Rechenzentren)
• Inf.-Vermittlungsstellen
• Datenbanken
  Anzahl der Dokumentationseinheiten
  Vollständigkeit der Gebietsabdeckung
  Aktualität etc.
• Gedruckten I-Diensten
  Referateorganen etc.
• Nationaler / internationaler Verteilung der I-Dienste

Mit der Erhebung und Auswertung
dieser Daten beschäftigen sich
die Informetrie / Bibliometrie.

Das Interesse der
• Informationstechnik
richtet sich auf die quantifizierende Erfassung von

• Leistungsdaten eines IT-Systems
  z.B. seine Rechengeschwindigkeit
  Kanalkapazitäten
  Speicherkapazitäten
• Softwaredaten
  Leistungsdaten von Datenbank-Management-Systemen
  Retrievalsystemen
  Anzahl verwalteter Zielinformationen
  Thesaurusgrößen
  Suchprozeduren
  Zugriffsdauer
  etc.

Mit der Erhebung und Auswertung
dieser Daten beschäftigt sich
die Informetrie

Meßbarkeit der Information i.e.S.

Das Interesse der Nachrichtentechnik:

"Nachrichten bilden eine verwickelte Mischung aus Überraschung und Wiederholung. Dies wird offenkundig, wenn man sich vergegenwärtigt, daß die gesamte Vielfalt aufgeschriebener Gedanken durch die Kombination von 26 Buchstaben beherrschbar ist. Diese Situation ist bei jeder Art von Nachricht gegeben: Eine Liste von Zeichen wird auf irgendeine Weise festgelegt und eine bestimmte Nachricht durch eine bestimmte Kombination von Zeichen der Liste wiedergegeben."
R.V.L. Hartley: Transmission of Information, in: Bell System Technology, Journal 7, 1928, 535-63:

Nachrichten sind nach Hartley zusammengesetzt
aus:
Information (i.S. von Neuigkeit) und
Redundanz (i.S. von Wiederholungen, von Bekanntem)

Wie läßt sich der Neuigkeitsgehalt einer Nachricht feststellen ?

Voraussetzung ist die:

Erfahrbarkeit der Information

• physikalische Erfahrbarkeit:
  → elektrische Impulse als Signale
  → Speicherzustände
• logische Erfahrbarkeit:
  → Zeichen(-gegebenheiten) als Daten:
  Zeichenrepertoire
  (z.B. lat. Alphabet + 1 Leerzeichen + Sonderzeichen, Zahlzeichen)
  → Verkettungsregeln und -arten:
  lineare Verkettung
  keine Agglomerate

Das Informationsmaß mißt den (formalen)
Neuigkeitswert einer Nachricht
= Überraschungswert,
mit dem ein Zeichen aus einem Zeichenvorrat als Nachricht erscheint.

Ziel der Messung: Schaffung einer Grundlage zur
Kompensation der Störanfälligkeit
einer Nachrichtenübertragung (über Redundanzen)

Meßverfahren: Informationswert als Neuigkeitswert

a) Messung von ein-elementigen Nachrichten eines Repertoires mit n Zeichen (Rep(n))

Der Meßwert der Nachricht (Information) entspricht dem Überraschungswert, den ein gesendetes Zeichen beim Empfänger besitzt in Abhängigkeit von der Vorhersagbarkeit des Zeichens ausgedrückt durch die von der Repertoiregröße bestimmten Anzahl der Alternativen (Anzahl zu treffender Auswahlentscheidungen).

Erläuterung:

Gegeben ist z.B. ein Zeichenrepertoire (zur Codierung einer Nachricht) von (für Expedient und Rezipient) bekannter Mächtigkeit, z.B.:

Rep(n) = {a,b,c,d,}
(Mächtigkeit = 4)

• Aus der Sicht des Expedienten:
  
  Der Meßwert der Information mißt die Auswahlfreiheit für die Codierung einer 1-elementigen Nachricht.
  
  
• Aus der Sicht des Rezipienten:
  
  Der Meßwert der Information mißt die Unvorhersagbarkeit des für die 1-elementige Nachricht verwendeten Codes.

Die Folgerung aus beiden Definitionen ist gleich.

1. Fall:

Das Rep(n) besteht nur aus einem Zeichen:

Bei n = 1 (z.B. n = a)
gibt es keine Sende-/Empfangsalternative:

Es gibt keine Auswahlfreiheit für den Sender.

Es gibt keine Unvorhersagbarkeit für den Empfänger.

Die Sendung einer 1-elementigen Nachricht aus dem Rep(a) hat keinen Neuigkeitswert und damit keinen Informationsgehalt.

Der Informationsgehalt ist 0.

2. Fall:

Das Rep(n) besteht aus zwei Zeichen.

Bei n=2 (z.B. n = a,b) gibt es genau 1 Sende-/Empfangsalternative, bzw. ist 1 Auswahlentscheidung zu treffen; genauer: zu treffen ist 1 Binärentscheidung = 1 bit (binary digit)

Der Meßwert der Binärentscheidung stellt den Informationswert dar.

Zemanek: "Der Informationsgehalt (I) entspricht dem Entscheidungsgehalt. (EG)"

Bei n = 2 ist EG = 1 bit bzw. ist I = 1 bit

3. Fall:

Das Repertoire besteht aus vier Zeichen.

Bei n = 4 (z.B. n = a,b,c,d,) muß sich der Expedient bei der Codierung einer 1-elementigen Nachricht für eine von vier Alternativen entscheiden, der Rezipient erwartet eine von vier alternativen Zeichensendungen.

Diese sogen. quartäre Entscheidung läßt sich in zwei binäre Entscheidungen aufteilen:

1. Schritt: { a,b } v { c,d }
2. Schritt: a v b (bzw. c v d)

Die Auswahlfreiheit entspricht damit 2 binären Entscheidungen.

Bei n = 4 ist EG = 2 bit bzw. ist I = 2 bit.

Aus den betrachteten Fällen ergibt sich:

Für 1-elementige Nachrichten codiert aus Zeichenrepertoiren der Mächtigkeit n ergibt sich als Informationswert für das einzelne Zeichen bei

	n = 1    EG = 0    I = 0 bit
	n = 2    EG = 1    I = 1 bit
	n = 4    EG = 2    I = 2 bit

(Unterstellung: Jedes Zeichen besitzt den gleichen Informationswert)

Nach dem Prinzip der Reduktion möglicher Entscheidungsalternativen auf Binärentscheidungen gilt bei:

	n =  8    EG = 3    I = 3 bit
	n = 16    EG = 4    I = 4 bit

Die Größe des Informationswertes hängt (bei 1-elementigen) Nachrichten allein von der Größe des Repertoires ab.

Allgemein gilt:

Der Entscheidungsgehalt (EG) bzw. Informationswert (I) läßt sich durch die Anzahl der Binärentscheidungen angeben, die für die Auswahl eines Zeichens aus Rep(n) erforderlich sind, also durch die Anzahl der in n enthaltenen 2er-Potenzen.

Der EG (I) eines Zeichens aus Rep(n) läßt sich durch den Exponenten von als 2er-Potenz ausgedrücktem n angeben.

z.B. bei n = 8 = n = 2³
ist der EG bzw. I eines / jedes Zeichens = 3;
allgemein
n = 2^EG EG / I = ldn bit

Der Entscheidungsgehalt = Informationsgehalt einer 1-elementigen Nachricht ist gleich dem Logarithmus zur Basis 2 von n (n = Mächtigkeit des verwendeten Zeichenrepertoires) angegeben in bit.

Beispiel: Bestimmung einer verdeckt gezogenen Skatkarte (Bestimmung des Informationswertes einer verdeckt gezogenen Karte) (max.)

z.B.:
1. Auswahlschritt schwarz v rot
2. Auswahlschritt Kreuz v Pik
3. Auswahlschritt Zahl v Bild
4. Auswahlschritt {7,8} v {9,10}
5. Auswahlschritt 7 v 8

oder:

n = 32 = 2⁵ n = 2^EG

EG = I = ld 32 = 5 bit

Der Neuigkeitswert einer beliebigen aufgedeckten Skatkarte beträgt 5 bit.

Bei n ungleich einer Potenz von 2
z.B. n = 3 = Rep(a,b,c)
lautet die Anwendung des Baconschen Fundamentalsatzes wie folgt:

1. Schritt {a} v {b,c}
2. Schritt {b} v {c}

Es entspricht die Zahl der Auswahlentscheidungen der nächst höheren 2er-Potenz der Zeichenanzahl über n hinaus.

I = EG (ai) = ld (n) bit:
(n)=über die Mächtigkeit (i) des Rep a hinausliegende nächst höhere Potenz von 2

Bei wachsendem Repertoire wachsen
- Auswahlfreiheit
- Unvorhersagbarkeit

Da n stets >= 1 ist EG stets >= 0
Das Informationsmaß ist also stets positiv.

Je größer der Zeichenvorrat
desto größer der Informationsgehalt
des einzelnen Zeichens
(gilt für jedes Zeichen in gleicher Weise).

b) Messung von mehr-elementigen Nachrichten eines Repertoires mit n Zeichen (Rep(n))

Auswahlfreiheit und (Un)vorhersagbarkeit (als Grundlage zur Bestimmung des I-Wertes für Expedient und Rezipient) entsprechen sich allerdings nur, wenn gilt

Rep_E = Rep_R

Praktische Bedeutung

Jedes Zeichen eines Rep {n} ist durch einen Binär-Code darstellbar mit ld (n) Stellen / Zeichen

Beispiel: Re {a,b,c,d}
n = 4 = 2²

Code-Positionen
ld (n) = ld (4) = 2

00 = a
01 = b
10 = c
11 = d

Binär-Code Konstruktion

Der Informationswert einer 1-elementigen Nachricht (Senden / Empfangen eines Zeichens) aus einem gegebenen Zeichenrepertoire bestimmt die Anzahl der erforderlichen Stellen eines für dieses Repertoire geschaffenen Bibär-Codes.

Aus der Stellenzahl ergibt sich die Mächtigkeit des Codes.

Erweiterter ASCII-Code
= 8-stelliger Code
= 2⁸ = 256 Zeichen

Das Informationsmaß mißt die Wahrscheinlichkeit des Auftretens einzelner Zeichen (Zeichenketten) in einer gegebenen Zeichenfolge.
(Die Mächtigkeit des Zeichenrepertoires, also n, muß bekannt sein)

Ziel der Messung: Vorhersagbarkeit des (nächsten) gesendeten Zeichens als Grundlage zur Störungskompensation
[Ereignisstatistischer Ansatz]

Erläuterung

C.E. Shannon u. W. Weaver, The mathematical Theory of Communication, Urbana 1949 (Neudruck 1964)

Bei dem ereignis-statistischen Ansatz zur Bestimmung eines Informationswertes geht es um die quantitative Abschätzung bzw. näherungsweise Bestimmung des Eintretens zufälliger (Zeichen-) Ereignisse. Der Informationswert ist ein Maß für die Wahrscheinlichkeit / Unwahrscheinlichkeit des Eintretens eines Zeichenereignisses.

Der Wert von Wahrscheinlichkeiten liegt stets zwischen 0 und 1

0 ≤ p ≤ 1

Es wird festgelegt:

1. Die Auftretenswahrscheinlichkeit eines Ereignisses erhält den Wert p = 1, wenn es für dieses Ereignis keine Alternativen gibt, z.B. bei einem Rep. mit n = 1 Zeichen. Es besteht keine Sendealternative.
   
   Für dieses Ereignis soll gelten:
   Es besitzt keinen Informationswert: I = 0 bit
   
   
2. Die Auftretenswahrscheinlichkeit eines Ereignisses erhält den Wert p = 0, wenn es für dieses Ereignis unendlich viele Alternativen gibt, z.B. bei einem Rep. mit n = ∞ Zeichen.
   
   Es bestehen unendlich viele Sendealternativen.
   
   Für ein Ereignis aus diesen Alternativen soll gelten:
   Es besitzt einen unendlichen Informationswert: I = | bit

Der in der Mitte liegende Fall ergibt das Maß für die Informationseinheit:

Bei einem Rep(n) mit n = 2 (z.B. Münzwurf) ist die Sendewahrscheinlichkeit eines bestimmten Zeichens = 50 Prozent:

p = ½ (bei 0 ≤ p ≤ 1)

Für p = ½ soll gelten: Informationswert = 1 bit.

Allgemein gilt:

Je größer die Wahrscheinlichkeit eines Zeichenereignisses (Annäherung von p an den Wert 1), desto geringer ist sein Informationswert (Annäherung von I an den Wert 0)

Je geringer die Wahrscheinlichkeit eines Zeichenereignisses (Annäherung von p an den Wert 0), desto höher ist sein Informationswert (Annäherung von I an den Wert ∞)

Je größer ein Zeichenrepertoire, desto höher ist der Informationswert jedes einzelnen Zeichens (bei Annahme gleicher Auftretenswahrscheinlichkeiten).

Ein Nutzen
der Informationswertberechnung
im Sinne des o. gen. Ziels (Störungskompensation)
zeigt sich aber erst,
wenn man die in den Formeln
angenommene Gleichwertigkeit
der Zeichen eines Rep n
durch einen empirisch belegbaren Wert
der Auftretenswahrscheinlichkeit
eines bestimmten Zeichens ersetzt.

Danach gilt in deutschen Texten (Basis 20 Mio Silben)

Buchstabe   Wahrscheinlichkeitswert

    e      0,147004
    n      0,088351
    a      0,043309
    y      0,000173
    q      0,000142
    x      0,000129

Berücksichtigt man das Auftreten von Buchstabengruppen (z.B.: en, er, ch, ck, ung, sch, keit, heit, ) liegt der Informationsgehalt pro Buchstabe nur bei 1,2 - 1,5 bit.

Praktische Konsequenz

Die Toleranzfähigkeit gegenüber fehlerhafter Zeichenübertragung beim Empfänger ist relativ hoch.

Je mehr
Rep Sender mit Rep Empfänger
- Zeichenvorrat, Wortschatz, Wortbildungsregeln -
übereinstimmt und
je vergleichbarer die Sprachkompetenz von Sender und Empfänger ist, desto leichter lassen sich Übertragungsstörungen beim Nachrichtenaustausch kompensieren.

Technische Konsequenzen

Auswertung der Wahrscheinlichkeitswerte der Zeichen des Alphabets

• bei der Konstruktion von
  - Codes
  - Korrekturprogrammen
  
  
• bei der Entwicklung von OCR-Software
  (Unterstützung der Zeichenerkennung durch Kontextauswertung)

Y. Bar Hillel und R. Carnap haben vorgeschlagen, den Informationswert einer Nachricht (als gültige Aussage über eine Welt) durch die Anzahl der durch die Nachricht ausschließbaren (nicht geltenden Sätze) auszudrücken.

Eine inhaltliche Erkenntnis (semantische Information) nimmt demnach zu, je mehr mögliche Zustandsbeschreibungen durch eine Nachricht ausgeschlossen werden.

Dieser Ansatz setzt eine logisch-fixierte Sprache voraus, deren Wörter und einstelligen Prädikate vollständig bekannt sind, weil nur so die Zahl der möglichen Zustandsbeschreibungen der Bezugswelt ermitteltbar ist.

Anwendbarkeit: KI-Welten (Expertensysteme, Robotersteuerung)