Główna zawartość
Kurs: Podstawy informatyki - program rozszerzony > Rozdział 5
Lekcja 1: Narzędzia analizy danychGromadzenie danych
Świat cyfrowy jest pełen danych. Platformy społecznościowe gromadzą informacje o naszych postach i polubieniach. Sklepy internetowe zbierają dane o tym, jakie produkty oglądamy, a agencje reklamowe o naszych kliknięciach.
Jak przechowuje się te wszystkie dane? Początkowo może się tym zajmować działający program, w którym dane znajdują się w zmiennych trzymających wartości w pamięci RAM, jednak ostatecznie muszą one zostać zapisane w jakiejś innej, trwałej formie. Dane muszą być dostępne również wtedy, gdy działanie programu zakończyło się i najlepiej, żeby były też łatwe do dalszej analizy.
Poznajmy kilka sposobów na przechowywanie danych, od prostych plików tekstowych po rozbudowane bazy danych.
Pliki tekstowe
Czy grałeś kiedyś w gry komputerowe? Wiele z nich notuje twoje najlepsze wyniki, by umożliwić ci ocenę twoich postępów.
Gra może zapisywać twoje rekordy w pliku tekstowym na komputerze.
Ten plik może być tak prosty, jak ten "wyniki.txt":
73
82
83
99Co w sytuacji, gdy gra chce też zapisać datę wyniku i osiągnięty poziom? Każda linia w pliku musiałaby przechowywać kilka powiązanych ze sobą informacji. Nazywamy to "dane tabelaryczne", ponieważ każda linia jest jak wiersz w tabeli, a każdy z wierszy ma wiele kolumn.
Powszechnie używanym formatem plików tekstowych, służącym do przechowywania danych tabelarycznych, są pliki CSV (comma-separated values, z ang. wartości oddzielone przecinkiem).
To przykład danych, które mogą być przechowywane w pliku "wyniki.csv":
data,poziom,wynik
11/01/2019,9,73
13/02/2019,10,82
14/02/2019,10,83
11/03/2019,11,99Pierwsza linia w pliku definiuje kolumny "data", poziom" oraz "wynik". Kolejne linie zawierają właściwe dane: najpierw data, następnie poziom, na końcu wynik, wszystkie oddzielone przecinkiem.
Pliki CSV są szeroko rozpowszechnionym formatem, dlatego istnieje wiele narzędzi, które potrafią je odczytywać i zapisywać. Niektóre z nich skierowane są do zwykłego użytkownika, na przykład arkusze kalkulacyjne. Dla programistów istnieją specjalne biblioteki w językach programowania, służące do odczytywania i zapisywania plików CSV z poziomu tworzonych przez nich aplikacji.
Mimo wszystko, pliki CSV nie są pozbawione wad:
- To pojedynczy plik, więc jego rozmiar jest ograniczony przez pojemność twardego dysku komputera i przez czas potrzebny do otworzenia plików dużego rozmiaru.
- Nie posiada żadnych wbudowanych narzędzi do tworzenia zapytań, takich jak sortowanie lub znajdowanie maksymalnej wartości w kolumnie. By móc analizować dane, musimy otworzyć plik CSV w programie do arkuszy kalkulacyjnych lub napisać własny program do przeszukiwania danych.
Arkusze kalkulacyjne
Arkusze kalkulacyjne są narzędziem do przechowywania, organizowania i analizowania danych. Taki program zwykle potrafi otwierać pliki tekstowe w wielu powszechnie używanych formatach (takich jak CSV, TSV i XLS) oraz zapisywać dane z powrotem do tych samych formatów.
To plik "wyniki.csv" zaimportowany do arkusza kalkulacyjnego Google:
Wiele osób używa arkuszy kalkulacyjnych, ponieważ mogą za ich pomocą analizować dane bez znajomości programowania.
Jednak same programy komputerowe nie używają arkuszy do przechowywania danych, bo arkusze są narzędziem stworzonym dla ludzi, a nie dla programów.
Bazy danych
Większość aplikacji zapisuje informacje w bazach danych, czyli systemach przechowujących dane w komputerze w sposób umożliwiający łatwy dostęp do nich, dokonywanie zmian, tworzenie zapytań i ich usuwanie.
"Za kulisami" bazy danych również używają plików tekstowych do zapisywania danych. Tym razem jednak baza wyręcza nas w zajmowaniu się różnymi szczegółami, takimi jak rozdzielanie danych pomiędzy pliki o odpowiednim rozmiarze i zapamiętywanie, jakie dane znajdują się w poszczególnych plikach.
Do porozumiewania się z bazami danych, jako programiści lub analitycy danych, zwykle posługujemy się językiem zapytań. Najpopularniejszym z nich jest SQL (Structured Query Language, z ang. strukturalny język zapytań).
Pokażemy kilka przykładów zapytań SQL, by dać ci ogólny pogląd jak zapisuje się i analizuje dane w bazie danych. Jeśli chcesz potrafić samodzielnie pisać w SQL, możesz się go nauczyć w naszym kursie Wstęp do SQL tutaj, na Khan Academy.
Przykładowa komenda SQL poniżej tworzy nową tabelę do przechowywania rekordów w bazie. Lewa strona zawiera SQL, a prawa wyświetla schemat bazy i wszystkie wiersze w tabeli:
Jak widzisz, język zapytań jest podobny do języka programowania. Działamy poprzez wywoływanie komend, takich jak
CREATE (utwórz), INSERT (wstaw) oraz SELECT (wybierz) i dostosowujemy je do naszych potrzeb przez dodatkowe informacje na temat tego co chcemy stworzyć, wstawić i wybrać.Baza danych zwykle zawiera wiele tabel, by przechowywać różne rodzaje zgromadzonych danych.
Przykładowo gra online potrzebuje tabeli do zapisywania profilów użytkowników oraz osobnej tabeli dla wyników osiągniętych przez tych użytkowników.
Ten przykład SQL tworzy dwie tabele, jedną dla użytkowników i jedną dla wyników oraz wyświetla wiersze z każdej z nich:
Teraz, gdy baza danych zawiera dane zgromadzone w tabelach, możemy je analizować i wyciągać z nich przydatne wnioski. Właśnie tym zajmiemy się w następnej części.
🙋🏽🙋🏻♀️🙋🏿♂️Czy masz jakieś pytania na ten temat? Chętnie na nie odpowiemy — wystarczy, że zadasz pytanie w poniższym obszarze pytań!
Chcesz dołączyć do dyskusji?
Na razie brak głosów w dyskusji