Google lançoi inteligjencën artificiale të re të quajtur Gemini në nëntor 2023 me synimin për të konkurruar me OpenAI në fushën e modeleve të gjuhëve të mëdha (LLM). Megjithatë, një studim i fundit i publikuar në arXiv.org, një faqe shkencore autoritative me akses të hapur, tregon se versioni më i avancuar i Gemini i disponueshëm për konsumatorët, i quajtur Gemini Pro, nuk arrin performancën e modelit GPT-4 të OpenAI.
Hulumtimi u krye nga një ekip studiuesish nga Universiteti Carnegie Mellon dhe një kompani e quajtur BerriAI. Ky zbulim, i cili nxjerr në pah mangësitë e Gemini Pro në krahasim me GPT-4, ngre pyetje në lidhje me aftësitë reale të Big G në konkurrimin me OpenAI.
Gemini Pro bën më pak mirë se GPT 3.5 Turbo, por më mirë se Mixtral
Studiuesit testuan katër LLM të ndryshme: Google Gemini Pro, OpenAI GPT-3.5 Turbo, GPT-4 Turbo dhe Mixtral 8x7B, modeli i ri me burim të hapur nga start-up francez Mistral. Ata përdorën një sajt grumbullues të AI, LiteLLM, për një periudhë 4-ditore, 11-15 dhjetor 2023. Si kujtesë, versioni falas i ChatGPT përdor GPT-3.
Ata i nënshtruan të gjitha modelet e AI ndaj një numri kërkesash të ndryshme, duke mbuluar fusha të tilla si shkencat humane dhe sociale, arsyetimi, matematika, programimi dhe përkthimi. Rezultatet flasin vetë: Gemini Pro arriti saktësi të krahasueshme, por pak më të ulët se GPT 3.5 Turbo dhe shumë më e ulët se GPT-4 Turbo, sipas studimit.
Gemini Pro theksoi dobësitë në disa fusha, duke përfshirë riorganizimin e fjalëve, prodhimin e simboleve, zgjidhjen e pyetjeve me zgjedhje të shumëfishta, kuptimin e pyetjeve komplekse, kodimin dhe navigimin në ueb. Këto rezultate tregojnë se modeli i AI i Google nuk ka arritur performancën e dëshiruar në detyra të tilla.
Megjithatë, është e rëndësishme të theksohet se Gemini Pro tregoi epërsi ndaj GPT 3.5 Turbo në disa detyra specifike, të tilla si renditja e fjalëve, manipulimi i simboleve, siguria, mikroekonomia dhe përkthimi. Kjo sugjeron që Gemini Pro ka bërë përparim në fusha të caktuara në krahasim me versionet e mëparshme.
A është OpenAI ende numri një në AI gjeneruese?
Google reagoi shpejt ndaj studimit, duke deklaruar se Gemini Pro tejkaloi GPT-3.5. A nuk hezituat të vini në dukje se OpenAI është ende numri një në inteligjencën artificiale? Ata nxituan të theksojnë se një version më i fuqishëm, Gemini Ultra, pritet të dalë në fillim të vitit 2024, duke performuar më mirë se GPT-4, sipas vlerësimeve të tyre të brendshme. Duhet mbajtur mend se Google pranoi se demonstrimi i Binjakëve ishte i manipuluar.
Studimi i fundit paraqet një sfidë të rëndësishme për ambiciet e Google në garën për inteligjencën artificiale gjeneruese. Pavarësisht progresit të bërë me Gemini Pro, OpenAI vazhdon të mbajë lidershipin në këtë fushë. Sipas profesorit Ethan Mollick i Shkollës Wharton, një nga pjesëmarrësit në studim, opsioni më i mirë aktualisht i disponueshëm mbetet GPT-4, modeli OpenAI.
This paper confirms that Google’s new Gemini Pro is the equivalent OpenAI’s free ChatGPT 3.5.
For most individual cases, you want to use the best AI & that is clearly still GPT-4, accessible with ChatGPT Plus or Bing. (At least until Gemini Ultra is released in the new year) https://t.co/eYo3dCHphb
— Ethan Mollick (@emollick) December 19, 2023
Discussion about this post