Gjatë keynote më 10 qershor, u njoftuan veçoritë e reja të AI të iOS 18, iPadOS 18 dhe macOS Sequoia, të referuara kolektivisht si Apple Intelligence. Kompania Cupertino ka publikuar detaje të dy modeleve të përdorura për përpunim në pajisje dhe server (nëpërmjet Private Cloud Compute).
Modelet e AI në pajisje dhe cloud
Modeli që funksionon në pajisje ka afërsisht 3 miliardë parametra. Prandaj është një SLM (Modeli i Gjuhës së Vogël), por kërkon të paktën një iPhone 15 Pro ose një iPad ose një Mac me një procesor M1. Modeli që funksionon në serverë është shumë më i madh (madhësia është e panjohur). Një algoritëm përcakton automatikisht se cili duhet të përdoret për funksionalitetin specifik.
Të dy u trajnuan me AXLearn, një kornizë me burim të hapur që lejon efikasitet dhe shkallëzim në platforma të ndryshme harduerësh dhe cloud. Të dhënat e licencuara dhe të dhënat publike të mbledhura në internet nga zvarritësi i uebit AppleBot u përdorën për trajnim. Pronarët e sajtit mund ta bllokojnë atë në skedarin robots.txt. Apple nuk përdor të dhënat e përdoruesit dhe heq çdo informacion të ndjeshëm që është i disponueshëm në internet.
Më pas bëhen përmirësime dhe optimizime. Këto të fundit janë veçanërisht të rëndësishme për modelin në pajisje. Qëllimi është të zvogëlohet përdorimi i RAM-it dhe të rritet performanca. Në iPhone 15 Pro ne arrijmë 30 token në sekondë dhe një vonesë prej rreth 0,6 milisekonda, kështu që përgjigjet janë praktikisht të menjëhershme.
Specializimi i modelit arrihet përmes moduleve të vogla të rrjetit nervor, të quajtur adaptorë, të cilët ngarkohen në fluturim bazuar në funksionalitetin e AI. Vlerësimi njerëzor i modeleve është ai që përfaqëson më së miri përvojën e përdoruesit. Apple më pas testoi gjenerimin e përmbledhjeve për emailet dhe njoftimet, duke marrë rezultate më të larta se ato të Phi-3-mini, modeli i Microsoft.
Vlerësim i ngjashëm njerëzor u krye për aftësitë e tjera të modelit, duke përfshirë përgjigjen e pyetjeve të hapura, shkrimin e kodit dhe zgjidhjen e matematikës. Modeli në pajisje u vlerësua më mirë se Phi-3-mini, Gemma-2B, Gemma-7B dhe Mistral-7B, ndërsa modeli i cloud tejkalon DBRX-Instruct, Mixtral-8x22B dhe GPT-3.5-Turbo (vetëm 4 GPT Turbo ofron performancë më të madhe).
Dy modelet e Apple janë gjithashtu më “të fortët” kur përdoret një kërkesë për të gjeneruar përmbajtje të ndaluara ose të rrezikshme. Natyrisht, do të bëhen përmirësime të mëtejshme për të dhënë përgjigje më të përshtatshme. CEO Tim Cook tha se modelet nuk janë imune ndaj halucinacioneve.
Discussion about this post