Marsin e kaluar, OpenAI zbuloi GPT-4, evolucioni më i fundit i modelit gjuhësor që mbështet ChatGPT. I ashtuquajturi Transformer i Trajnuar Paraprakisht Gjenerativ është zemra rrahëse e chatbotit të AI, por ne e zbuluam atë vetëm midis fundit të 2022 dhe fillimit të 2023 falë bumit të tij ndërkombëtar. Për këtë arsye, pyetja e mëposhtme ka lindur në mendjen e disa njerëzve vërtet të pasionuar: Çfarë ka ndryshuar nga GPT-1 në GPT-4? Cili ka qenë evolucioni i modelit të mësimit të makinerive të ndërtuar nga organizata e Sam Altman?
Çfarë janë GPT-të?
Para së gjithash, ne kemi nevojë për një gërvishtje të shpejtë – ose një rifreskim, për ata që tashmë janë thelluar në pyetjen – se çfarë është një Transformer Gjenerativ i Para-trajnuar ose GPT. Është një model i përdorur për detyrat e përpunimit të gjuhës natyrore, i trajnuar në sasi të mëdha të dhënash (po flasim për miliona ose miliarda) të marra nga faqet e internetit, librat dhe dokumentet e tjera publike, në mënyrë që inteligjenca artificiale të mund të përgjigjet duke adoptuar një gjuhë përkatëse kontekstuale dhe semantikisht konsistente.
Shkurtimisht, GPT është një model i trajnuar paraprakisht për të folur me njerëzit dhe për t’iu përgjigjur saktë pyetjeve të tyre, duke përkthyer tekste, përmbledhje dhe detyra të tjera. Pas gati pesë vjetësh, ne kemi arritur në GPT-4 dhe, duke pasur parasysh bumin e AI gjeneruese, deri në fund të vitit 2023, GPT-5 madje mund të arrijë.
Kujtoni GPT-1
OpenAI solli në jetë GPT-1, përsëritjen e parë historike, në qershor 2018 duke e trajnuar atë nëpërmjet Common Crawl dhe BookCorpus, duke aksesuar 117 milionë parametra. Kur doli në treg, ai përmirësoi ndjeshëm modelet e mëparshme gjuhësore të fundit: një nga pikat e forta të tij, në fakt, konsistonte në mundësinë e gjenerimit të produktit duke adoptuar një gjuhë të rafinuar ose të thjeshtë në varësi të kërkesave, por gjithmonë koherente dhe koherente dhe lëng. Dy grupet e të dhënave të përdorura lejuan që AI të përpunojë kërkesa të thjeshta dhe komplekse me disa vështirësi, por duke kënaqur përdoruesit.
Pavarësisht nga mirësia e tij, modeli gjeneroi kryesisht tekste të përsëritura dhe nuk ishte në gjendje të arsyetonte përtej dy kërkesave të njëpasnjëshme për të njëjtën temë. Për më tepër, rezultatet më të mira u ofruan vetëm me inpute të shkurtra. Nëse asgjë tjetër, ai hodhi themelet për lëshimin e versionit të ardhshëm, dukshëm më të fuqishëm se GPT-1.
Kërcimi drejt GPT-2
Gjenerata e dytë Transformatori i Trajnuar Paraprakisht Gjenerativ madje përmbante 1.5 miliardë parametra falë trajnimit mbi Common Crawl dhe WebText, një grup të dhënash shumë më i madh dhe më i larmishëm se ai i dhënë paraardhësit. Falë këtij ushtrimi, GPT-2 ishte në gjendje të gjeneronte sekuenca teksti koherente dhe realiste, madje më të gjata se ato të prodhuara nga GPT-1.
Ngjashmëria me përgjigjet njerëzore u shfaq për herë të parë, qartë, me këtë version të modelit OpenAI. Për këtë arsye, shumë studiues kanë filluar të përdorin mjetin për detyra të ndryshme të përpunimit të gjuhës natyrore, si krijimi i përmbajtjes dhe përkthimi.
Megjithatë, edhe një herë, GPT-2 tregoi një kufizim të konsiderueshëm: nuk ishte në gjendje të merrej me arsyetime më komplekse, të kuptonte plotësisht kontekstet e kërkesave të ofruara nga përdoruesit dhe të punonte me tekste më të gjata. Përsosmëria në paragrafë të shkurtër ishte e dukshme, por, përtej një gjatësi të caktuar, modeli nuk arriti të jepte rezultate të kënaqshme.
Bumi GPT-3
Kështu vijmë te GPT-3, i prezantuar në qershor 2020 – dy vjet pas versionit të parë – dhe me një total prej 175 miliardë parametrash. Me fjalë të tjera, GPT-3 është mbi 100 herë më i madh se GPT-1 dhe mbi dhjetë herë më i madh se paraardhësi i tij GPT-2!
Trajnimi, edhe në këtë moment, u zhvillua përmes bazave të të dhënave BookCorpus dhe Common Crawl, të cilave, megjithatë, Wikipedia duhet të shtohet midis burimeve. Duke bërë këtë, OpenAI i ka ofruar modelit të gjuhës një sasi të paparë fjalësh dhe informacioni, duke çuar në përmirësime të rëndësishme për inteligjencën artificiale.
Për shembull, siç kemi mundur të vërtetojmë të gjithë falë ChatGPT, GPT-3 është në gjendje të shkruajë vargje kodesh në gjuhë të ndryshme programimi; të krijojë skenare teatrore; sjellin në jetë veprat e artit dhe shumë më tepër. Aftësia për të kuptuar kontekstin e një urdhri specifik dhe për të gjeneruar përgjigje të përshtatshme i ka mahnitur të gjithë që nga testet e para me ChatGPT, një chatbot bisedor që nga i panjohuri është shndërruar në fenomenin e momentit jo vetëm në industrinë e teknologjisë dhe në mesin e entuziastëve të AI. . Në të vërtetë, e bëri këtë të fundit të përhapur.
Megjithatë, GPT-3 nuk është pa defekte: mund të kthejë përgjigje të shtrembëruara, të pasakta ose të papërshtatshme, ndonjëherë krejtësisht të parëndësishme. Me fjalë të tjera, modelja ende përpiqet të kuptojë kontekstet e bisedave të caktuara. Sidoqoftë, ky model tashmë ngre shqetësime në lidhje me implikimet etike dhe keqpërdorimin e mundshëm për të gjeneruar lajme të rreme, malware, fushata phishing, mashtrime dhe më shumë.
E ardhmja me GPT-4
Kështu vijmë te GPT-4, modeli më i fundit i serisë i lançuar më 14 mars 2023. Si në rastet e mëparshme, është një hap i rëndësishëm përpara në krahasim me paraardhësin e tij, detajet e të cilit në lidhje me të dhënat e trajnimit dhe performancën nuk dihen. Arkitektura e modelit, por për të cilat dimë disa veçori.
Për shembull, tipari dallues i GPT-4 është natyra e tij multimodale, domethënë, ai mund të pranojë imazhe si hyrje dhe t’i trajtojë ato si kërkesa teksti. Ose përsëri, që nga testet e para përmes ChatGPT Plus është e qartë kuptimi i menjëhershëm i kërkesave komplekse dhe aftësia për të ofruar performancë pothuajse njerëzore në standardet profesionale.
Me pak fjalë, GPT-4 dëshiron të shtyjë kufijtë e mjeteve të AI edhe më tej, por a do të ndalet OpenAI këtu? Duke marrë parasysh interesin për sektorin, një pikë e mundshme ndalimi duket shumë e largët.
Discussion about this post