Dje Arindam Mitra, studiues i lartë në Microsoft, njoftoi në X lançimin e Orca-Math, një model i ri i AI i zhvilluar nga Microsoft bazuar në Mistral’s Mistral 7B dhe Llama 2 të Metës. Orca-Math, me vetëm 7 miliardë parametra, u krijua për të shkëlqyer në zgjidhjen e problemeve matematikore të shprehura në gjuhën natyrore, duke ruajtur një madhësi të vogël që lehtëson trajnimin dhe përfundimin.
Orca-Math është pjesë e një kërkimi më të gjerë të kryer nga ekipi i Microsoft Orca, i cili synon të rrisë aftësitë e modeleve të gjuhëve të vogla (LLM të vogla).
Orca Math: të bësh shumë me pak
Ekipi i Microsoft arriti një nivel të ri të performancës me Orca-Math, duke tejkaluar modelet me 10 herë më shumë parametra në standardin GSM8K, një grup prej 8500 problemesh të ndryshme matematikore të krijuara për t’u zgjidhur nga një fëmijë “i ndritur” njerëzor. Ky rezultat është veçanërisht mbresëlënës duke pasur parasysh se Orca-Math është një model me vetëm 7 miliardë parametra, konkurrues me modele me sa duket shumë më të mëdha nga OpenAI dhe Google.
Si u krijua modeli Orca Math
Për të ndërtuar Orca-Math, ekipi gjeneroi një grup të ri prej 200,000 problemesh matematikore të krijuara nga “agjentë të specializuar të AI që punojnë së bashku”. Kjo metodë ndjek trendin e shfrytëzimit të të dhënave të krijuara nga makina për të përmirësuar aftësitë e modeleve gjuhësore (LLM). Kjo qasje, e adoptuar tashmë nga Anthropic për modelet e saj Opus dhe Claude 3, tregon se si të dhënat sintetike mund të ndihmojnë në rritjen e inteligjencës së modeleve të mëdha, duke zbutur frikën e “kolapsit të modelit” të mundshëm.
Për më tepër, metoda “Kahneman-Tversky Optimization” (KTO), e cila kërkon vetëm të dihet nëse një output është i dëshirueshëm apo jo për një input të caktuar, u përdor, së bashku me teknikën tradicionale të akordimit të mbikëqyrur.
Microsoft ka bërë një grup sintetik prej 200,000 problemesh matematikore të krijuara nga inteligjenca artificiale të disponueshme në Hugging Face, me një licencë lejuese MIT që i lejon të gjithë të eksplorojnë, ndërtojnë dhe inovojnë, edhe për përdorim komercial. Në këtë mënyrë, startup-et dhe kompanitë mund t’i përdorin këto të dhëna për qëllimet e tyre.
Familja Orca vazhdon të rritet
Orca-Math i bashkohet familjes së modeleve Orca, e cila përfshin Orca 13B (lëshuar në qershor 2023) dhe Orca 2 në versionet 13B dhe 7B (lëshuar në nëntor 2023), të gjitha të bazuara në Llama 2, LLM me burim të hapur të Metës. Familja Orca duket se do të rritet dhe do të bëhet gjithnjë e më inteligjente, me anëtarë të rinj më të vegjël ose me madhësi të ngjashme që shtohen herë pas here.
Discussion about this post