Novi jezikovni model ChatGPM, ki so ga raziskovalci podjetja OpenAI konec novembra prepustili javnemu preskušanju, navdušuje s svojimi sposobnostmi in premika meje naših predstav o umetni inteligenci. Kaj pomenijo takšni tehnološki preboji in kako se kot družba odzivamo nanje?

Š. V.: »Prosim, napiši kratek članek, ki razlaga, kako se jezikovni modeli učijo iz podatkov in kaj zmorejo.«

 ChatGPT: »Jezikovni modeli so računalniški programi, ki so sposobni avtomatizirano učenje iz velikih količin podatkov o jeziku. Učijo se na podlagi določenih ciljev, ki jim jih določimo, na primer odgovarjanje na vprašanja ali prevajanje besedila iz enega jezika v drugega.

Za učenje jezikovnih modelov se uporabljajo različne tehnike, vključno s strojnim učenjem, ki temelji na podatkih in matematičnih algoritmih. Ko jezikovni model dobi dostop do velikih količin podatkov o jeziku, se uči prepoznavati povezave med različnimi besedami in njihovimi pomeni ter uporabo v različnih kontekstih.

Jezikovni modeli so sposobni razumeti in razvrščati besedila po tematiki, prepoznati koncepte in pomeni besed, odgovarjati na vprašanja, sintetizirati nove besedilne vsebine in opravljati druge naloge, povezane z jezikom.

V zadnjem času so jezikovni modeli postali vse bolj zmogljivi in sposobni opravljati zahtevnejše naloge, kot so prevajanje govora v besedilo ali besedila v govor, razumevanje konverzacij in celo samostojno pisanje člankov ali novic.

Vendar pa jezikovni modeli še vedno nimajo sposobnosti razmišljanja in učenja na način, kot to počnejo ljudje. Njihovo učenje je omejeno na podatke, ki jim so na voljo, in ne morejo razvijati novih spoznanj ali kritično razmišljati o informacijah, ki jim jih ponudimo. Zato se jezikovni modeli lahko uporabljajo kot orodje za pomoč pri različnih nalogah, vendar ne morejo nadomestiti človeškega razmišljanja in sprejemanja odločitev.«

 ChatGPT s svojim skromnim imenom sugerira, da gre za pogovornega robota, se pravi računalniški program, ki je sposoben odgovarjati na vprašanja in morda simulirati pogovor z resnično osebo. Čeprav se takšni programi razvijajo že od 1960. let naprej, se v zadnjem času za njihov razvoj uporabljajo metode globokega učenja z nevronskimi mrežami tipa transformer, te pa s podporo vse večjih učnih množic dosegajo izjemne rezultate. Za pogovorne sisteme današnjega časa je tako značilno, da temeljijo izključno na jezikovnem modelu, se pravi na statističnih izračunih verjetnosti povezav med posameznimi besedami in pojmi, ti pa izhajajo iz velikih količin pretežno besedilnih podatkov. Povedano enostavneje – sodobni inteligentni sistemi se učijo tako, da res veliko berejo.

Robotka ChatGPT zmore marsikaj. Na kratka faktična vprašanja, npr. »Kdo je izumil elektriko?«, ponudi daljši razlagalni odgovor, ki jedrnato povzame zgodovino človekovega spoznavanja elektrike in nato po točkah navede ključne osebe z njihovimi prelomnimi odkritji. Brez težav pojasni razliko med dvema pojmoma, denimo med maso in energijo, in če je odgovor prezahteven, jo lahko prosimo za poenostavljeno razlago, ki jo – ne da bi ponavljali izvirno vprašanje – tudi dobimo. Njeno znanje je obsežno, saj je ne moremo zmesti niti z vprašanji iz najzahtevnejših znanstvenih disciplin niti s prošnjami za praktične nasvete o, denimo, obrezovanju drevja ali odpravljanju kurjih očes. Ker je jezikovni model, odlično obvlada tudi različne jezikovne žanre in sloge. Tako ji lahko naročimo pisanje kratke zgodbe v slogu Hemingwaya, osebne predstavitve z namenom iskanja zaposlitve ali neformalnega SMS sporočila, s katerim prijateljico povabimo na pijačo. Vse to še zdaleč ni omejeno le na angleščino, saj se robotka ChatGPT enako suvereno pogovarja v različnih svetovnih jezikih, zelo dobro zna tudi slovensko, z nekaj poskusi pa spiše tudi povsem spodoben vic v štajerščini. Poleg naravnih jezikov je mimogrede usvojila še programske. Če ji ukažemo, naj napiše program v Pythonu, ki bo prebral vhodno datoteko, obdelal podatke na ta ali oni način in nato izpisal izhodne podatke v obliki tabele z določenimi vrednostmi po stolpcih, ga po nekaj sekundnem razmisleku tudi dobimo. Programska koda je opremljena s komentarji in na koncu še na kratko razložena.

Za razliko od Googlove LaMDe, ki je spomladi razburkala svet zaradi svoje domnevne čutečnosti in samozavedanja, je ChatGPT »le« pametna in nikakor ne skuša biti podobna človeku v smislu navideznih čustev, mnenj ali duhovnih stanj, čeprav bi to sicer zlahka zmogla. Pri tem gre brez dvoma za premišljeno odločitev razvijalcev, da javnosti ponujena inteligentna tehnologija ne sme spodbujati poskusov počlovečenja in posledičnih čustvenih odzivov, s tem pa dodatnih etičnih dilem. Spletna vsevednica prijazno pojasnjuje, da je le strojno naučeni jezikovni model brez lastnih mnenj, prepričanj in občutkov, prav tako so se razvijalci posebej posvetili izogibanju sovražnemu govoru in tvorjenju škodljive ali žaljive vsebine.

Model ChatGPT je naslednik jezikovnih modelov GPT-1, -2, -3 in -3.5, ki jih družba OpenAI razvija od leta 2017. Za učenje osnovnega modela so uporabili številne javno dostopne vire podatkov, predvsem repozitorij svetovnega spleta Common Crawl, Wikipedijo, repozitorij znanstvenih člankov arXiV, repozitorij programske kode GitHub, repozitorij knjig in člankov Libgen ter druge manjše vire. Zatem je sledilo več faz izboljševanja modela s spodbujevanim učenjem, pri tem pa so pomemben vir predstavljale testne konverzacije, ki so jih strokovnjaki opravljali med seboj in z računalnikom, med različnimi možnimi odgovori pa so izbirali najboljše. Videti je, da so človeški preskuševalci v tej fazi učenja nagrajevali nekoliko daljše odgovore, zato je končni model tudi pri enostavnih vprašanjih nekoliko bolj zgovoren, kot bi morda pričakovali.

Jezikovna tehnologija ChatGPT je statična in se ne uči sproti (denimo iz pogovorov, ki jih je doslej opravila s prek milijonom registriranih uporabnikov), niti se pri odgovarjanju na vprašanja ne opira na brskanje po internetu. Tako je ne moremo spraševati, kakšno bo jutri vreme in katera ekipa je zmagala v nogometni tekmi, prav tako se njeno poznavanje svetovnih dogodkov zaključi z letom 2021, saj učna množica ni vsebovala novejših besedil. V vseh ostalih pogledih pa program navdušuje, in kot poroča množica razpravljalcev na omrežjih Discord in Twitter, precej olajša številne naloge in opravila, saj piše eseje, poslovna pisma in knjige, popravlja računalniške programe in piše brezhibno kodo ter univerzitetnim profesorjem pripravlja prosojnice za predavanja.

ChatGPT ni prvi niti edini tak model, čeprav je s svojimi 175 milijardami parametrov trenutno eden večjih. Jezikovne modele s tehnologijo nevronskih mrež gradi na desetine razvojnih laboratorijev po svetu, na ameriških tleh so med večjimi Google AI, Meta AI in Microsoft Research, na Kitajskem Baidu Research, v Veliki Britaniji DeepMind in še mnogi drugi. Na platformi beta.character.ai se lahko denimo pogovarjate z eno od virtualnih oseb, ki so jih ustvarili Googlovi ustvarjalci Lamde, na strani writesonic.com/chat najdete klepetalnik ChatSonic, ki obljublja še boljšo izkušnjo kot ChatGPT zaradi povezanosti z internetom, za potrebe znanstvenega pisanja in iskanja citatov pa lahko v svojo aplikacijo integrirate Galactico, galactica.org, ki so jo razvili v Facebookovi Meta AI.

Razvoj splošne umetne inteligence (artificial general intelligence, AGI) je torej v globalnem razmahu in v tekmi sodelujejo praktično vsi tehnogiganti, zato se med drugim postavlja vprašanje, kako meriti zanesljivost in uspešnost teh sistemov. Sprva so raziskovalci uspešnost jezikovnih modelov ocenjevali s pretežno jezikovnimi nalogami in kmalu ugotovili, da so računalniki pri odgovarjanju na vprašanja, razreševanju večpomenskosti in tvorjenju besedil naglo presegli zmožnosti povprečnega človeka. Zato so raziskovalci berkeleyske univerze predlani oblikovali zahtevnejši test, ki meri razumevanje, znanje in sklepanje na najrazličnejših področjih človekovega delovanja (MMLU). Test obsega prek 15.000 vprašanj iz naravoslovnih ved, matematike, humanistike in družboslovja, pa tudi prava, medicine in etike, zahtevnost pa se giblje vse od osnovnošolske ravni do najbolj specializiranih znanstvenih vprašanj. Prav tako ne zadošča le poznavanje dejstev, saj je na primer vprašanje s področja medicine vsebovalo kratek opis stanja pacienta po operaciji in njegove krvne vrednosti, v odgovoru pa je bilo treba ugotoviti, katera od žil je bila med operacijo nenamerno poškodovana.

Ko je bil test oblikovan in preskušen na tedanjih jezikovnih modelih, so se rezultati pri skoraj vseh udeleženih sistemih gibali okrog 25 odstotkov pravilnih odgovorov, kar je približno tako, kot če bi odgovore izbirali naključno. Izstopal je GPT-3, predhodnik ChatGPT-ja, ki je dosegel 43,9-odstotno uspešnost in s tem presegel povprečnega človeka (35 %). A napredek je bliskovit, saj nekateri novejši jezikovni modeli na tem testu zdaj dosegajo že 75-odstotno uspešnost, na primer Googlov Flan-PaLM, ki je posebej izurjen za odgovarjanje v skladu z navodili in z razlago miselnega procesa, ki je privedel do rešitve. Videti je, da bo tudi ta test kmalu zastarel, saj se umetna inteligenca razvija hitreje, kot jo sploh zmoremo ocenjevati.

In kako bomo odslej ocenjevali človeško znanje, če si je s pomočjo ChatGPT-ja mogoče pričarati ne le odgovor na vsako možno vprašanje, ampak tudi esej, računalniški program ali brezhibno osebno predstavitev za službo? Že v prvem mesecu, odkar je pametna klepetalka na voljo javnosti, so se po svetovnih medijih zvrstili številni zaksrbljeni odzivi univerzitetnih učiteljev in pedagogov, saj računalniško tvorjenih besedil običajni programi za odkrivanje plagiatorstva ne zaznajo. Yanis Varoufakis je na twitterju zapisal, da študentov nikdar več ne bo mogoče ocenjevati drugače kot v učilnicah brez računalnikov, telefonov in dostopa do interneta. Anonimni britanski študent je priznal, da je v decembru zaslužil nekaj sto funtov s prodajo zaključnih esejev, ki jih je spisala umetna inteligenca.

Medtem ko nekateri poudarjajo, da se na jezikovne modele nikakor ne moremo zanesti, saj občasno še vedno podajo napačen odgovor (ki ga nadvse prepričljivo argumentirajo!) in nimajo poglobljenega razumevanja stvari, je po drugi strani omalovaževanje tehnoloških prebojev in prepočasno reagiranje nanje precej značilno za človeško družbo. Prelomne inteligentne tehnologije so že med nami, v prihodnosti pa lahko pričakujemo njihov eksponenten napredek. ChatGPT je trenutno na voljo brezplačno kot raziskovalni predogled, ker pa je Microsoft eden od investitorjev v podjetje OpenAI, se pojavljajo ugibanja, ali bo ta ali sorodna tehnologija morda že kmalu integrirana kar v programe paketa Office. Izziv, ki ga to predstavlja predvsem za izobraževanje, pa tudi za nekatere jezikovne in kreativne poklice, je ogromen. Za izobraževalne sisteme rešitev gotovo ne more biti takšna, kot jo predlaga Varoufakis, razen morda kot zelo kratkoročni ukrep. Namen izobraževanja je ravno, da se s tehnologijami naučimo ravnati in jih smiselno uporabljati, ne pa z njimi goljufati na izpitu. A sestavljanje preskusov znanja, ki bodo »odporni« na računalniško pomoč, ne bo enostavna naloga; jezikovni modeli namreč niso le papige, ki ponavljajo statistično najverjetnejše nize besed, ampak se v nevronskem procesiranju resnično skriva konceptualno razumevanje.

Pri poučevanju prevajanja na Filozofski fakulteti nekateri pedagogi uporabljamo strojne prevajalnike, kot sta DeepL in Google Translate, kot učni pripomoček. Tudi strojni prevajalnik ni nič drugega kot jezikovni model, in njihovi prevodi so marsikdaj že srhljivo dobri. A to še zdaleč ne pomeni, da je računalniku mogoče zaupati prevod pomensko ali slogovno zahtevnejših besedil, predvsem pa je s študenti koristno razpravljati o dobrih in slabih rešitvah, ki jih predlagajo računalniki, jim izostriti kritično oko in jih senzibilizirati za šibke točke prevajalnikov. Slednje zaenkrat še obstajajo, tako kot jih ima tudi ChatGPT. Vseeno pa je nespametno pričakovati, da bo človek s svojimi specifičnimi znanji in izkušnjami umetno inteligenco tudi v prihodnosti prekašal. Tekma za tehnološko prevlado med globalnimi velikani nam bo že v pravkar začetem letu prinesla nekaj presenečenj, na šolah in univerzah pa bo morala steči tudi razprava, kako se nanje odzvati.

Objavljeno v Delu, 7.2.2023