Kodowanie źrodła

Zacznijmy od problemu. Alicja i Bob mieszkają w domkach na drzewach daleko od siebie i nie widzą się nawzajem. A muszą się porozumiewać. Postanawiają rozpiąć między domami sznurek. Naciągają go mocno i do końców przytwierdzają puszki, by sznurek przenosił drgania głosu, chociaż stłumione. Halo? Nie słyszę cię. Ja ciebie tak, ale bardzo słabo. 1, 2, 3, 4, 5. Jest jednak kłopot: szum. Gdy wieje silny wiatr, w ogóle nie słychać słów. Alicja i Bob potrzebują sposobu, by zwiększyć energię sygnału i odróżniać go od szumu. To podsuwa Bobowi pomysł. Można po prostu szarpać sznurek. Tego przekazu szum nie zakłóci. Pojawia się jednak nowy problem. Jak kodować przekazy szarpnięciami sznurka? Ponieważ chcą grać na odległość w gry planszowe, najpierw kodują najczęstszą wiadomość: wynik rzutu dwiema kostkami. Wysyłane wiadomości można uważać za wybór ze skończonej liczby symboli: w tym przypadku spośród jedenastu możliwych liczb. Mamy tu do czynienia ze źródłem dyskretnym. Alicja i Bob wypróbowują najprostszą metodę. Wynik - to liczba szarpnięć sznurka. By wysłać trójkę, robią to trzykrotnie, dziewiątka to 9 szarpnięć, a dwunastka - to szarpnięć 12. Dochodzą jednak do wniosku, że można szybciej. Już wiedza, z doświadczenia, że maksymalna częstość szarpnięć to dwa na sekundę. Szybciej - i można źle zrozumieć. Zatem dwa szarpnięcia na sekundę to szybkość transmisji informacji. Okazuje się, że najczęstszy wynik to 7. Wysłanie go zajmuje 3,5 sekundy. Alicja uświadamia sobie, że skrócą czas transmisji, zmieniając strategię kodowania. Widzi, że prawdopodobieństwo wysłania każdej liczby wpisuje się w schemat. Dwójkę można wyrzucić tylko na jeden sposób. Trójkę - na dwa. Czwórkę - na trzy. Piątkę - na cztery, szóstkę - na pięć sposobów, siódemkę, najczęstszy wynik, na sześć. Ósemkę można wyrzucić na pięć sposobów, dziewiątkę na cztery i tak dalej, aż do dwunastu. Wykres pokazuje liczbę sposobów dla każdego wyniku. Schemat jest oczywisty. Niech to będzie „liczba szarpnięć dla każdego symbolu”. Alicja przyporządkowuje najczęstszą liczbę, 7, do najkrótszego sygnału: jednego szarpnięcia sznurka. Przechodzi do kolejnego pod względem prawdopodobieństwa wyniku. Gdy dwa są równie prawdopodobne, wybiera losowo. Tutaj - szóstka to będą dwa szarpnięcia, a ósemka - trzy. Piątka to cztery szarpnięcia, dziewiątka - pięć, i tak aż do dwunastki, z 11 szarpnięciami sznurka. Najczęstszą liczbę, 7, można wysłać w niecałą sekundę. Wielkie ulepszenie! Dzięki tej prostej zmianie można wysyłać więcej informacji w danym okresie. Ta strategia kodowania jest tu optymalna, bo nie można wymyślić szybszej metody wysłania wyniku rzutu 2 kostkami poprzez identyczne szarpanie sznurka. Jednak po jakimś czasie takiego wysyłania Bob wpada na nowy pomysł.