Co to jest teoria informacji?

Wyobraźcie sobie, że Alicja ma myśl i chce się nią podzielić. Jest wiele sposobów przekazu. Mogłaby coś narysować, wyryć w kamieniu, napisać piosenkę... wysłać telegram... albo e-mail. Czym te sposoby się różnią? I, co ważniejsze, dlaczego w istocie są tym samym? Opowiemy o fundamentalnym elemencie każdej formy komunikacji. U podłoża tkwi coś wyjątkowego, o czym zapewne nie myślicie: język. Każdy język pozwala podzielić myśl czy wyobrażenie na serię konceptualnych fragmentów. Można je uzewnętrznić, posługując się sygnałami, czyli symbolami. Ludzie wyrażają myśli za pomocą dźwięków i czynów, jak ćwierkające ptaki... tańczące pszczoły... oraz nasze maszyny wymieniające strumienie impulsów elektrycznych. Nawet nasze ciała są zbudowane wg instrukcji przechowywanych w mikroskopijnych książkach - DNA. Wszystko to są różne postaci jednego: informacji. W uproszczeniu: informacja jest tym, co pozwala jednemu umysłowi wpływać na drugi. A podstawą komunikacji jest wybór. Informację, niezależnie od jej postaci, mierzymy w podstawowych jednostkach, tak, jak mierzymy masę różnych rzeczy przy użyciu standardowej miary, np. kilogramów lub funtów. Za pomocą wagi możemy dokładnie zmierzyć i porównać masę kamieni, wody czy pszenicy. I także informacje można mierzyć oraz porównywać. Ich miarę nazywamy entropią. Wyobraźcie sobie wagę do ważenia informacji. Intuicyjnie wiemy, że jedna strona z nieznanej nam książki zawiera mniej informacji niż cała książka. Możemy dokładnie określić, ile, stosując jednostkę zwaną bitem. Jakkolwiek Alicja chce zakomunikować konkretną wiadomość (hieroglifami, muzyką, programem komputerowym), każdy przekaz będzie zawierać tyle samo bitów, choć w różnej gęstości. Bit wyraża coś bardzo prostego: odpowiedź na pytanie typu: „tak czy nie”. Myślcie o tym jak o języku rzutu monetą. Jak właściwie mierzy się informacje? Czy mają jakąś granicę prędkości? Maksymalną gęstość? Na te pytania odpowiada teoria informacji. Ma 3000 lat i wciąż się rozwija. A żeby wszystko zrozumieć, cofnijmy się w czasie i pomyślmy o chyba największym wynalazku w historii ludzkości: alfabecie. W tym celu wróćmy do jaskini.