Potrzebujesz ludzi, aby odróżnić prawdę od teorii spiskowych o płaskiej ziemi, antyszczepionkowców i sieci 5G

Nadzieje, że możemy wykorzystać uczenie maszynowe do odróżnienia owiec od kóz w wiadomościach, zostały zniszczone przez dwa artykuły opublikowane przez naukowców MIT. Najwyraźniej obecne modele uczenia maszynowego nie są jeszcze odpowiednie do wyłapywania fałszywych wiadomości i podobnie jak rząd Stanów Zjednoczonych, mają skłonność do wierzenia w to, co mówi im każdy rosyjski troll.

Niektórzy eksperci mieli nadzieję, że same komputery korzystające z algorytmów uczenia maszynowego mogą zostać przeszkolone w zakresie wykrywania i oznaczania fałszywych historii. Jednak badania doktora MIT Tal Schustera pokazują, że chociaż maszyny świetnie wykrywają tekst generowany przez maszynę to nie potrafią one ustalić, czy historie są prawdziwe, czy fałszywe. Wiele zautomatyzowanych systemów sprawdzania faktów jest szkolonych przy użyciu bazy danych prawdziwych stwierdzeń o nazwie Wydzielanie i weryfikacja faktów (FEVER).

W jednym badaniu Schuster i zespół wykazali, że systemy sprawdzania faktów wspomagane przez uczenie maszynowe miały trudności z obsługą negatywnych stwierdzeń ("Greg nigdy nie powiedział, że jego samochód nie jest niebieski"), nawet jeśli wiedzieliby, że pozytywne stwierdzenie jest prawdziwe ("Greg twierdzi, że jego samochód jest niebieski ").

Problem, zdaniem naukowców, polega na tym, że baza danych jest pełna uprzedzeń ludzkich. Ludzie, którzy stworzyli FEVER, mieli tendencję do zapisywania fałszywych wpisów jako negatywnych, a prawdziwe prawdziwych jako pozytywnych - dlatego komputery nauczyły się oceniać zdania z negatywnymi jako fałszywe. Oznacza to, że systemy rozwiązały znacznie łatwiejszy problem niż wykrywanie fałszywych wiadomości.