William Hersh, doktor medycyny, który uczył pokolenia studentów informatyki medycznej i klinicznej na Oregon Health & Science University, był ciekaw rosnącego wpływu sztucznej inteligencji. Zastanawiał się, jak AI sprawdzi się w jego klasie.
Postanowił więc przeprowadzić eksperyment.
Przetestował sześć form generatywnych modeli AI w dużym języku — na przykład ChatGPT — w internetowej wersji swojego popularnego kursu wprowadzającego do informatyki biomedycznej i zdrowotnej, aby sprawdzić, jak wypadły w porównaniu z żyjącymi, myślącymi studentami. Badanie opublikowane w czasopiśmie npj Digital Medicine ujawniło odpowiedź: lepsze niż aż trzy czwarte jego ludzkich studentów.
„To rzeczywiście budzi obawy o oszustwa, ale jest tu większy problem” – powiedział Hersh. „Skąd wiemy, że nasi studenci faktycznie uczą się i opanowują wiedzę i umiejętności, których potrzebują do przyszłej pracy zawodowej?”
Jako profesor informatyki medycznej i epidemiologii klinicznej w OHSU School of Medicine, Hersh jest szczególnie wyczulony na nowe technologie. Rola technologii w edukacji nie jest niczym nowym, powiedział Hersh, przypominając sobie własne doświadczenia jako ucznia szkoły średniej w latach 70. podczas przejścia od suwaków logarytmicznych do kalkulatorów.
Jednak przejście na sztuczną inteligencję generatywną stanowi wykładniczy krok naprzód.
„Oczywiste jest, że każdy powinien mieć jakieś podstawy wiedzy w swojej dziedzinie” – powiedział Hersh. „Jakich podstaw wiedzy oczekujesz od ludzi, aby potrafili myśleć krytycznie?”
Modele wielkojęzykowe
Hersh i współautorka Kate Fultz Hollis, informatyk z OHSU, wyciągnęli wyniki oceny wiedzy 139 studentów, którzy wzięli udział w kursie wprowadzającym do informatyki biomedycznej i zdrowotnej w 2023 r. Zainspirowali sześć generatywnych modeli dużego języka AI materiałami oceny studentów z kursu. W zależności od modelu, AI uzyskała wyniki w górnych 50. do 75. percentyla w pytaniach wielokrotnego wyboru, które były używane w quizach i egzaminie końcowym, który wymagał krótkich pisemnych odpowiedzi na pytania.
„Wyniki tego badania stawiają istotne pytania dotyczące przyszłości oceniania uczniów w większości, jeśli nie we wszystkich, dyscyplinach akademickich” – piszą autorzy.
Badanie jest pierwszym, w którym porównano modele wielkojęzykowe ze studentami na potrzeby pełnego kursu akademickiego w dziedzinie biomedycyny. Hersh i Fultz Hollis zauważyli, że kurs oparty na wiedzy, taki jak ten, może być szczególnie dojrzały dla generatywnych modeli wielkojęzykowych, w przeciwieństwie do bardziej partycypacyjnych kursów akademickich, które pomagają studentom rozwijać bardziej złożone umiejętności i zdolności.
Hersh wspomina swoje doświadczenia ze studiów medycznych.
„Kiedy byłem studentem medycyny, jeden z moich lekarzy prowadzących powiedział mi, że muszę mieć całą wiedzę w głowie” – powiedział. „Nawet w latach 80. było to naciągane. Baza wiedzy medycznej dawno przekroczyła zdolność ludzkiego mózgu do zapamiętywania wszystkiego”.
Utrzymywanie ludzkiego pierwiastka
Uważa jednak, że istnieje cienka granica między rozsądnym wykorzystaniem zasobów technicznych w celu promowania nauki a nadmiernym poleganiem na nich do tego stopnia, że hamuje to naukę. Ostatecznie celem akademickiego ośrodka zdrowia, takiego jak OHSU, jest kształcenie pracowników służby zdrowia zdolnych do opieki nad pacjentami i optymalizacja wykorzystania danych i informacji o nich w świecie rzeczywistym.
W tym sensie – powiedział – medycyna zawsze będzie wymagała ludzkiego kontaktu.
„Jest wiele rzeczy, które robią pracownicy służby zdrowia, które są dość proste, ale są takie przypadki, w których staje się to bardziej skomplikowane i trzeba podejmować decyzje na podstawie osądu” – powiedział. „Wtedy pomaga mieć szerszą perspektywę, bez konieczności posiadania w głowie każdego ostatniego faktu”.
Hersh powiedział, że nie obawia się oszukiwania, gdyż zajęcia jesienne zaczynają się już wkrótce.
„Aktualizuję kurs każdego roku” – powiedział. „W każdej dziedzinie naukowej cały czas pojawiają się nowe osiągnięcia, a modele w dużym języku niekoniecznie są aktualne we wszystkich kwestiach. Oznacza to po prostu, że będziemy musieli przyjrzeć się nowszym lub bardziej zniuansowanym testom, w których nie uzyskamy odpowiedzi z ChatGPT”.