Algorytm uczenia maszynowego może przewidywać przyszłość na podstawie danych z przeszłości, na których został wytrenowany. Jednak jeżeli dane te pochodzą ze świata pełnego nierówności, algorytm może po prostu uczyć się, jak dalej propagować te nierówności.

W amerykańskim systemie wymiaru sprawiedliwości wynik oceny ryzyka pozwala przewidzieć, czy osoba oskarżona o popełnienie przestępstwa może popełnić kolejne przestępstwo. System może uznać oskarżonego za osobę o niewielkim prawdopodobieństwie popełnienia kolejnego przestępstwa, może też uznać, że prawdopodobieństwo popełnienia kolejnego przestępstwa przez oskarżonego jest wysokie. Taka ocena ryzyka jest stosowana na różnych etapach, od wyznaczania wysokości kaucji przy zwolnieniu za kaucją, po określanie wyroku.

Do oceny ryzyka coraz częściej stosuje się algorytmy komputerowe, ponieważ zatrudnienie algorytmu jest tańsze niż człowieka i algorytm może formułować wnioski na podstawie znacznie większej ilości danych.

W 2016 roku agencja śledcza ProPublica przeanalizowała wyniki z algorytmu zastosowanego na Florydzie na grupie 7000 osób w okresie dwóch lat i sprawdziła, czy te osoby faktycznie popełniły kolejne przestępstwa. ${}^1$‍

W rezultacie ustalono, że algorytm zaniżał prawdopodobieństwo, że biali oskarżeni ponownie popełnią przestępstwo, ale zawyżał prawdopodobieństwo w przypadku oskarżonych o ciemnym kolorze skóry:

Algorytm oceny ryzyka nie był szkolony na danych zawierających informację o kolorze skóry oskarżonych, a mimo to nauczył się mieć uprzedzenia rasowe. W jaki sposób?

Kod tego konkretnego algorytmu nie może być bezpośrednio zbadany, ponieważ jest ściśle strzeżoną tajemnicą firmy, jak wiele algorytmów uczenia maszynowego. Jednak badacze z Uniwersytetu Stanforda dokonali inżynierii wstecznej wyników i doszli do podobnych przewidywań na podstawie dwóch podstawowych czynników: wieku oskarżonego i liczby wcześniej popełnionych przestępstw. ${}^2$‍

W USA czarni obywatele byli w przeszłości aresztowani częściej niż biali, z powodu takich czynników jak zwiększona liczba policjantów w obszarach miejskich. Na przykład, ACLU odkryło, że w 2010 roku czarni obywatele byli 3,7 razy bardziej narażeni na aresztowanie za posiadanie marihuany niż obywatele biali, mimo że wskaźnik używania marihuany w obu przypadkach był porównywalny. ${}^3$‍

Algorytm uczenia maszynowego, który jest szkolony na bieżących danych o aresztowaniach, uczy się być stronniczym wobec oskarżonych na podstawie ich przestępstw dokonanych w przeszłości, ponieważ nie ma sposobu, aby zorientować się, które z tych przeszłych aresztowań były wynikiem działania stronniczych systemów lub osób.

🤔 Naukowcy z Uniwersytetu Stanforda odkryli, że w przypadku dokonywania oceny tego ryzyka ludzie są stronniczy w takim samym stopniu, jak algorytm. Co jest gorsze, stronniczy człowiek czy stronniczy algorytm komputerowy? Jakie działania mogłyby zmniejszyć tę stronniczość?

Duże firmy otrzymują setki aplikacji na każde stanowisko. Każda aplikacja musi być sprawdzona, aby zdecydować, czy kandydat powinien zostać przesłuchany. Tradycyjnie, selekcja jest przeprowadzana przez rekruterów w dziale HR, ale jest to żmudne zadanie i grozi poddaniem kandydatów uprzedzeniom rekrutera.

Wiele firm automatyzuje swoje procedury odsiewania aplikacji za pomocą algorytmów opartych o uczenie maszynowe, z nadzieją na zwiększenie efektywności i obiektywności procesu.

Algorytm przegląda życiorys kandydata i przypisuje mu ocenę, która przewiduje jego dopasowanie do danej pozycji w firmie.

W 2014 roku Amazon eksperymentował z wykorzystaniem oprogramowania do przesiewania kandydatów do pracy.${}^4$‍ Odkryto, że oprogramowanie preferowało kandydatów płci męskiej przed kandydatami płci żeńskiej, penalizując życiorysy, które zawierały odmianę słowa „kobieta” (jak w „kobiecym klubie szachowym”) i obniżając ocenę absolwentów wszystkich kobiecych uczelni. Dlaczego oprogramowanie stało się seksistowskie?

Oprogramowanie przesiewowe zostało przeszkolone na zbiorze, obejmującym życiorysy pracowników ubiegających się o pracę w okresie ostatnich 10 lat i znał oceny dokonane przez pracowników firmy w trakcie procesu zatrudniania.

In 2014, Amazon employees were largely male:

Nawet jeśli pracownicy płci męskiej nie byli seksistowscy, oceniali życiorysy na podstawie własnych doświadczeń. Ponadto wiele życiorysów pochodziło z polecenia, a mężczyźni zazwyczaj pracowali z innymi mężczyznami. W rezultacie powstał zbiór danych szkoleniowych, który ma stosunkowo niewielką reprezentację kobiecych życiorysów i na tej podstawie algorytm nauczył się stronniczości w ocenę życiorysów.

Innym źródłem potencjalnej stronniczości są biblioteki używane do przetwarzania języka naturalnego. Algorytmy parsowania tekstu często wykorzystują bibliotekę wektorów słów, które szeregują podobieństwo słów do innych słów na podstawie tego, jak często typowo współwystępują w zdigitalizowanych tekstach. Badanie z 2018 r. znalazło stronniczość w jednej z najpopularniejszych takich bibliotek, ujawniając, że terminy związane z naukami przyrodniczymi i matematyką były częściej kojarzone z mężczyznami, podczas gdy terminy związane ze sztuką były bardziej kojarzone z kobietami. ${}^5$‍

To samo badanie wykazało więcej pozytywnych odczuć związanych z imionami europejsko-amerykańskimi niż afroamerykańskimi:

Próba automatycznego przesiewania kandydatów podjęta przez Amazon zakończyła się niepowodzeniem, ale niektóre firmy wciąż próbują stworzyć zautomatyzowane rozwiązania do zatrudniania, które będą wolne od ludzkich uprzedzeń.

Jedną z firm oferujących usługi przesiewowe oparte na uczeniu maszynowym jest Pymetrics. Ponieważ jednak trudno jest ocenić kandydata w oparciu tylko o jego CV, stworzony przez nich proces zawiera także ocenę behawioralną. Ponadto, za każdym razem, gdy zmieniają swój algorytm, testują go na tysiącach kandydatów z przeszłości i sprawdzają pod kątem dyskryminacji.${}^6$‍ Ich proces oparty jest o oprogramowanie typu open-source, z którego mogą korzystać również inne firmy. ${}^7$‍

Trudno jest ustalić, czy algorytm przesiewowy nie odrzucił kandydata, który świetnie pasowałby na dane stanowisko, ponieważ odrzucony kandydat nie ma szansy się sprawdzić. Dlatego tak ważne jest, aby algorytmy przesiewowe były starannie kontrolowane.

🤔 Wolałbyś, żeby do pracy przyjmował Cię człowiek czy algorytm? Gdybyś wiedział, że to algorytm przeglądał Twoje CV, co byś w nim zmienił?

🙋🏽🙋🏻‍♀️🙋🏿‍♂️Czy masz jakieś pytania dotyczące tego tematu? Chętnie odpowiemy — wystarczy zapytać w polu pytań poniżej!