- Horyzont.ai
- Posts
- ChatGPT jest… głupi.
ChatGPT jest… głupi.
Horyzont.ai
January 04, 2024
🗓 CZWARTEK 04.01
Witaj w kolejnym wydaniu Horyzont.ai, Twojego kompasu w świecie sztucznej inteligencji.
Nasz newsletter pomoże Ci zacząć korzystać z AI na co dzień oraz nadążyć za nieustannymi nowościami.
~Jakub i Oskar
🎯 W DZISIEJSZYM WYDANIU
🎓 AI od zera do zrozumienia: Mądry Hans a Modele Językowe
🤖 A.I. w praktyce: No właśnie, AI w praktyce…
🎓 Twoje Ćwiczenie: Prawda czy mit, uzasadnij
📚 Rekomendowana Biblioteka: Materiały dostępne online
🕓 Czas czytania: 4min 56s
Wprowadzenie
W poprzednich wydaniach często wychwalaliśmy zalety dużych modeli językowych i generatywnej sztucznej inteligencji. Jednak, aby być wobec Was w pełni transparentni, nadszedł czas, aby przybliżyć również krytyczne aspekty, z którymi zmaga się technologia AI - w tym modele takie jak ChatGPT.
Dlaczego to wydanie jest tak istotne?
Otóż, choć czasami musimy Was nieco zanudzić, to zgodnie z jedną z nauk Sztuki Wojny Sun Tzu 🈵⚔️:
'Jeśli znasz siebie i znasz swojego wroga, nie musisz obawiać się wyniku stu bitew'.
Przygotowując się na przyszłe wyzwania, w których sztuczna inteligencja może stać się naszym przeciwnikiem, kluczowe jest, abyśmy dokładnie poznali jej możliwości i ograniczenia.
AI Od Zera Do Zrozumienia 🎓
Historia Mądrego Hansa
Jest początek XX wieku, w zatłoczonych ulicach Berlina, tłumy gromadzą się, by oglądać niezwykłego konia o imieniu Hans. Podziwiają go za zdolność do rozwiązywania matematycznych zadań i rozpoznawania muzyki oraz malarstwa, używając stukania kopytem.
Wilhelm von Osten i Mądry Hans. Źródło: Wikipedia
W 1907 roku, po latach spekulacji i badań, psycholog Oskar Pfungst odkrył prawdę. Hans nie liczył ani nie rozumiał sztuki – był mistrzem w odczytywaniu subtelnych sygnałów i reakcji ludzi wokół, przede wszystkim od swojego właściciela Wilhelma von Osten. Gdy pytający znał odpowiedź, Hans "odczytywał" ich nieświadome sygnały i stukał kopytem odpowiednią liczbę razy.
Ta historia stała się fundamentem zrozumienia fenomenu, znanego dziś jako efekt Mądrego Hansa, który jest niezwykle istotny w świecie uczenia maszynowego.
To co stało się później z koniem Hansem, znajdziesz na końcu tego wydania w sekcji 🎓 Twoje Ćwiczenie
Sceptycyzm wśród ekspertów
Wiele ekspertów, w tym Yann LeCun, wyraża sceptycyzm wobec zdolności dużych modeli językowych, jak ChatGPT. Podkreśla, że te systemy są w wielu aspektach bardzo ograniczone i "głupie", ponieważ opierają się tylko na języku, podczas gdy większość ludzkiej wiedzy wykracza poza zakres języka.
Na konferencji "AI: Grappling with a New Kind of Intelligence" Yann LeCun podkreślił ograniczenia AI, używając przykładu fizyki intuicyjnej: naszej zdolności do przewidywania, jak obiekty, np. szklanka wody na stole, zareagują na siły fizyczne.
Zauważył, że ludzie uczą się tej intuicji już jako dzieci, podczas gdy obecne systemy AI mają z tym trudności.
Dlaczego więc ludzie często myślą, że chatboty są inteligentne?
Jeśli śledzisz nasz newsletter od początku, zapewne kojarzysz argument chińskiego pokoju. Kluczową rolę w tym wrażeniu odgrywa nasza wyobraźnia. Gdy komunikujemy się z maszyną, nasz umysł automatycznie kreuje wizję myślącej istoty po drugiej stronie, zapominając, że naszym rozmówcą jest pozbawiona świadomości maszyna.
Takie podejście prowadzi do ryzyka antropomorfizacji AI, czyli przypisywania maszynom ludzkich cech i błędnego przekonania, że posiadają one inteligencję zbliżoną do ludzkiej. Skutkuje to nadinterpretacją ich możliwości i błędnym przekonaniem, że ich zdolności są porównywalne z ludzką inteligencją.
Emily Bender, profesor lingwistyki na Uniwersytecie Waszyngtońskim, używa metafory "stochastycznych papug" do opisu dużych modeli językowych jak GPT, które generują teksty na bazie obliczeń probabilistycznych, często powtarzając wzorce i uprzedzenia z danych treningowych bez rzeczywistego zrozumienia. Ten termin podkreśla ich losowy charakter odpowiedzi i tendencję do papugowania informacji.
Podobne obawy wyraża Yejin Choi, ekspertka w dziedzinie AI i przetwarzania języka naturalnego, krytykująca obecne podejście do AI, polegające na zwiększaniu skali modeli poprzez trening na ogromnych zbiorach danych. W swoim wystąpieniu na konferencji TED "Why AI Is Incredibly Smart and Shockingly Stupid" Choi z humorystycznym tonem wskazuje na naiwność strategii skalowania i ograniczenia tej metody, podkreślając, że AI, mimo treningu na ogromnych zbiorach danych, wciąż popełnia banalne błędy.
Choi argumentuje, że należy skupić się na innowacyjnym podejściu do danych i algorytmów, które lepiej nauczą AI rozumienia ludzkich wartości.
Używa metafory: "Nie dostaniemy się na Księżyc, czyniąc najwyższy budynek na świecie o cal wyższym za każdym razem", podkreślając, że drobne ulepszenia nie zastąpią przełomowych innowacji w dziedzinie AI.
AI w Praktyce 🤖
No właśnie, AI w praktyce…
Po debiucie ChatGPT w 2022 roku, kiedy entuzjazm wokół technologii osiągnął szczyt, w świecie naukowym brakowało danych empirycznych do oceny poziomu inteligencji tych modeli. W 2023 roku powstało wiele badań testujących te modele.
Czy ChatGPT, ucząc się automatycznie uzupełniać zdania, osiągnął pewien poziom inteligencji?
Aby odpowiedzieć na to pytanie, musimy najpierw zdefiniować „inteligencję”. Oto jedna z definicji:
ChatGPT nie będzie miał z tym problemu (śmiało spróbuj).
Dlatego właśnie może się wydawać, że ChatGPT osiągnął pewien poziom inteligencji, ponieważ jest na tyle elastyczny, aby dostosować się do nowego stylu pisania.
Zakładam, że Ty również byłeś/aś w stanie dostosować się do nieznanej Ci wcześniej formy pisowni. Natomiast różnica polega na tym, że ChatGPT został wytrenowany na ogromnych ilościach danych z Internetu, a powyższy przykład jest dostępny na wielu stronach internetowych.
Czy GPT byłby w stanie wykazać „IN73LL1G3NC3“ i wyjaśnić to powyższy obrazek gdyby to wyrażenie nie pojawiło się w jego danych treningowych?
To jest kluczowe pytanie w debacie na temat tego, czy GPT (i ogólnie LLM) rozwinęły prawdziwą, elastyczną inteligencję, czy po prostu powtarzają wariacje na temat tekstów, które wcześniej widziały niczym opisywane powyżej stochastyczne papugi?
Badania naukowe 2023
Badanie zatytułowane "The Reversal Curse: LLMs trained on 'A is B' fail to learn 'B is A'" bada, jak ChatGPT radzi sobie z odwracaniem informacji.
Na przykład, gdy ChatGPT odpowiadał na pytania o rodziców celebrytów, miał wysoką skuteczność (79%), ale ta spadała do zaledwie 33% gdy pytanie było odwrócone.
To wskazuje na ograniczenia modelu w przetwarzaniu i rozumieniu informacji w sposób elastyczny i wszechstronny.
Co więcej, eksperyment z wymyślonymi faktami pokazał, że gdy modele były trenowane na danych strukturalnych "A jest B", nie były w stanie odpowiedzieć na pytanie "Kim jest B?", kiedy B było osobą z wymyślonego faktu. ChatGPT osiągał 96% skuteczności w odpowiedziach na pytania o "A", ale 0% przy próbie identyfikacji "B".
Te odkrycia podważają pojęcie, że GPT i podobne modele posiadają prawdziwą, elastyczną inteligencję. Zamiast tego, wydaje się, że ich "inteligencja" polega na powtarzaniu i przetwarzaniu informacji, które już wcześniej widziały, a nie na rozumieniu lub adaptowaniu się do nowych kontekstów w elastyczny sposób.
Wydaje się, że modele te są bardziej podobne do "stochastycznych papug" - powtarzają wzorce i informacje, ale bez głębokiego zrozumienia czy adaptacji. To stanowi istotne wyzwanie dla przyszłego rozwoju sztucznej inteligencji i podkreśla potrzebę dalszych badań w kierunku rozwoju bardziej zaawansowanych, elastycznych i inteligentnych systemów.
Podsumowanie
W Horyzont.ai nasz optymizm nie został zachwiany, a raczej wzbogacony o niezbędne zdroworozsądkowe podejście co do możliwości AI. Wciąż odkrywamy, uczymy się i przede wszystkim wykorzystujemy obecne zdolności AI, aby służyły nam w życiu i biznesie.
Takie spojrzenie chłodnym okiem jest niezbędne, aby móc posuwać się naprzód w postępie technologicznym. Dzięki temu lepiej zrozumiemy, w jaki sposób AI może naprawdę "myśleć" i "rozumieć", wykraczając poza efekt Mądrego Hansa.
Twoje Ćwiczenie
Dalsze losy Mądrego Hansa 🐴
Po śmierci swojego trenera, Wilhelma von Ostena, w 1909 roku, koniem Hansem zarządzało kilku różnych właścicieli. Niestety, po 1916 roku brak jest jakichkolwiek wiarygodnych zapisów dotyczących losów Hansa. Według niektórych źródeł, mógł on zostać wcielony do służby wojskowej podczas I wojny światowej i prawdopodobnie zginął w akcji w 1916 roku lub został zabity przez głodujących żołnierzy.
Twoje ćwiczenie:
W tym wydaniu omówiliśmy kilka krytycznych perspektyw na temat możliwości dużych modeli językowych, takich jak ChatGPT. Być może jesteś innego zdania dlatego teraz chcielibyśmy usłyszeć Twoją opinię na ten temat.
Jeżeli zgadzasz się z poniższym twierdzeniem postaraj się je uzasadnić.
Biblioteka 📚
Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED
Is ChatGPT Intelligent? A Scientific Review
Autor: Oren Matar
The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"
Autorzy: Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak, Owain Evans
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
Autorzy: Emily M. Bender, Timnit Gebru, Angelina McMillan-Major i Margaret Mitchell.
AI w Społeczności Horyzont.ai
Wracamy z wywiadami!
Tym razem skupimy się na inwestycjach. Nasz kolejny gość to inwestor venture capital z wieloletnim doświadczeniem w firmach takich jak Rothschild & Co, Boston Consulting Group oraz Market One Capital.
Dostępnych zostało tylko 40 miejsc! Nie przegap i zapisz się tutaj:
To na tyle!
Jeśli masz jakieś ekscytujące pomysły lub projekty, śmiało się z nami skontaktuj, odpowiadając na ten email lub śledząc nas na
X: @JakubNorkiewicz
LinkedIn: @OskarKorszen
💙 Ocena tygodnia:
Do zobaczenia w następnym wydaniu!
~Jakub I Oskar
Reply