Matematyczna teoria komunikacji

Shannon właśnie skończył prace nad koncepcjami nt. kryptografii, ma więc świadomość, że komunikacja ludzi to mieszanina przypadków i zależności statystycznych. Litery w naszych wiadomościach oczywiście zależą, w pewnej mierze, od poprzednich. W 1949 r. opublikował przełomowy artykuł pt. „Matematyczna teoria komunikacji”. Modele Markowa stanowiły punkt wyjścia do rozmyślań nad komunikacją. Shannon zaczął od tego przykładu: trafiacie na tekst napisany alfabetem z liter A, B i C. Nie macie pojęcia o tym języku. Zauważacie, że A często występują parami, zaś B i C – nie? Pokazał, że można zaprojektować maszynę do generowania podobnie wyglądających tekstów - z użyciem łańcucha Markowa. Zaczyna od przybliżenia zerowego rzędu. Czyli każdy symbol wybieramy niezależnie, losowo, i tworzymy ciąg. Zauważcie, że ten ciąg nie przypomina oryginału. Shannon przechodzi więc do przybliżenia pierwszego rzędu: litery są wybierane niezależnie, ale zgodnie z prawdopodobieństwem wystąpienia w ciągu oryginalnym. Tak jest nieco lepiej, bo A są teraz bardziej prawdopodobne, ale nadal nie odzwierciedla to właściwej struktury. Następny krok jest kluczowy. Przybliżenie drugiego rzędu uwzględnia każdą parę liter, która może się pojawić. Potrzebujemy więc trzech stanów. Pierwszy to wszystkie pary zaczynające się od A, drugi – zaczynające się od B i trzeci – zaczynające się od C. Zauważcie, że przy kubku A jest wiele par AA, co ma sens, bo prawdopodobieństwo warunkowe wystąpienia A po A w oryginalnej wiadomości jest wyższe. Możemy wygenerować ciąg, używając przybliżenia drugiego rzędu: zaczynamy gdziekolwiek. Losujemy płytkę, zapisujemy lub odkładamy pierwszą literę i sięgamy do kubka przypisanego do litery drugiej. Losujemy płytkę. Proces powtarzamy w nieskończoność. Ciąg zaczyna wyglądać podobnie do pierwotnej wiadomości. Ten model uwzględnia zależności warunkowe między literami. Jeszcze lepsze jest przybliżenie trzeciego rzędu, biorące pod uwagę grupy trzyliterowe. Tutaj będziemy potrzebować dziewięciu stanów. Tę samą logikę Shannon zastosował do angielskiego tekstu. Biorąc pod uwagę statystykę liter, par i trójek itd., podąża tak samo: od przybliżenia zerowego (losowy wybór liter), przez przybliżenia pierwszego, drugiego i trzeciego rzędu. A później próbuje zrobić to samo ze słowami zamiast liter. Notuje, że podobieństwo do zwykłego angielskiego tekstu zauważalnie zwiększa się z każdym etapem. Maszyna produkuje pozbawione znaczenia teksty, zawierające struktury podobne do tych występujących w angielszczyźnie. Później Shannon definiuje ilościową miarę informacji, świadom faktu, że ilość informacji w wiadomości musi być uwzględniona w projekcie maszyny, która będzie generować podobnie wyglądające ciągi. A to prowadzi nas do jego koncepcji entropii.