Technologia AI w przeciągu paru ostatnich lat spełnia coraz większą rolę w codziennym życiu. Wykorzystujemy ChataGPT do pisania nudnych raportów dla szefa, zastępujemy infolinie Chatbotami oraz wiele więcej. Z pozoru jest w stanie wykonać wiele zaawansowanych zadań, bez problemu sobie radzi nawet z matematyką.

W czym leży więc problem.

Cała ta fasada inteligencji opada kiedy zadam proste pytanie

Ile jest literek R w słowie Strawberry

Odpowiedź to 3, proste pytanie na poziomie przedszkolnym, ale zobaczmy jak sobie poradzą modele. Zacznijmy od ChataGPT

Dajmy mu jeszcze jedną szansę

Niezależnie od tego, jak pytamy, ChatGPT upierał się, że w słowie "strawberry" są dwie litery "R", mimo że są trzy. I nie tylko to słowo wprawiło w zakłopotanie najbardziej znane AI na świecie: udało nam się również wprowadzić je w błąd co do pisowni słowa "raspberry".

Sytuacja stała się jeszcze dziwniejsza. Jedna z dyskusji na ten temat zakończyła się swego rodzaju intelektualną wymianą zdań na temat samej natury słów, gdzie AI argumentowało, że R w 'straw' jest częścią słowa, ale nie zmienia ogólnej liczby R w 'strawberry'". I podczas gdy tego rodzaju dywagacje można prowadzić w akademiku o 2 nad ranem po upojnym wieczorze, nie jest to zbyt dobre dla zaawansowanej technologicznie aplikacji

Dlaczego tak jest

Każdy tekst w systemach AI, takich jak ChatGPT, jest przetwarzany na tzw. embedding. Jest to matematyczna reprezentacja tekstu w postaci ciągu liczb. W tym procesie tracone są niektóre szczegóły dotyczące dokładnej pisowni czy liczby konkretnych liter. Embedding zachowuje ogólne znaczenie i kontekst słowa, ale nie przechowuje informacji o każdej literze z osobna. Dlatego AI może rozumieć znaczenie słowa "strawberry" i używać go poprawnie w zdaniach, ale może mieć trudności z analizą jego dokładnej struktury literowej. To trochę tak, jakby AI "rozumiało" słowo jako całość, ale nie "widziało" każdej litery osobno. Stąd problemy z zadaniami wymagającymi dokładnego liczenia liter, mimo że AI radzi sobie dobrze z bardziej złożonymi zadaniami językowymi.