Deri më tani, kur flasim me inteligjencë artificiale përmes chat-botëve si ChatGPT, pyetjet tona shkojnë në serverë larg — dhe përgjigjet vijnë nga data center. Por ky scenario mund të ndryshojë shumë shpejt: sipas artikullit në IEEE Spectrum, po lind një epokë e re e AI-së lokale, ku modeli mund të funksionojë plotësisht direkt në laptopin tënd.
Çfarë duhet të ndryshojë në hardware
Shumë laptopë aktualë thjesht nuk janë të pajisur për të stërvitur apo ekzekutuar modele të mëdha gjuhësore (LLM). Ata kanë procesorë (CPU) me pak bërthama, apo nuk kanë unë GPU të dedikuara, e lëre më një NPU — një çip shumë i specializuar që është krijuar për operacione matricore, pra llogaritje që AI-ja përdor shumë. NPU-të janë më efikase se GPU-t për disa lloj operacionesh, sepse janë dizajnuar vetëm për të “lojë” me tensorë (të dhëna që AI përdor), dhe përdorin aritmetikë me saktësi më të ulët, që kursen memorie dhe energji.
Rindërtimi i laptops: memorie, arkitekturë, integrim çipash
Për të bërë reale vizionin e AI-së lokale, laptopët e ardhshëm do të ndryshojnë rrënjësisht:
- Do të kenë më shumë dhe memorie më të shpejtë, sepse modelet AI kanë nevojë për shumë “hapësirë” për të punuar.
- Arkitektura e memories do të bashkohet — në vend që të ketë zona të ndara për sistemin dhe GPU-në, do të jetë më “e bashkuar”, gjë që e bën më efikase ruajtjen dhe shkëmbimin e të dhënave.
- CPU, GPU dhe NPU mund të vendosen në të njëjtin çip (system-on-chip), që i lejon të bashkëpunojnë më mirë dhe të kenë një qasje më efektive ndaj memories.
Fitimet që vijnë me AI-në lokale
Kur modeli AI llogaritet në pajisjen tënde dhe jo në cloud:
- Latencë më e ulët — përgjigjet janë më të shpejta sepse nuk ka vonesa nga rrjeti.
- Privatësi — të dhënat tua nuk dërgohen në qendra të jashtme, por qëndrojnë në laptop.
- Efikasitet energjie — NPU-të konsumojnë më pak energji për disa detyra, gjë që është e rëndësishme për përdorim të përditshëm në laptopë.
Sfidat që duhen tejkaluar
- Mbajtja e balancës midis fuqisë së NPU-së dhe energjisë: sa më shumë fuqi, aq më shumë konsum baterie.
- Dizajni i çipeve: kur vendos tre lloje (CPU, GPU, NPU) në të njëjtin copë silikoni, kompleksohet mirëmbajtja dhe riparimi.
- Softueri duhet të jetë inteligjent: Windows, për shembull, po zhvillon një shtresë që dërgon automatikisht punë AI te çipi (CPU, GPU ose NPU) që është më i përshtatshëm.
Sipërmarrësit dhe prodhuesit e çipeve po punojnë me ritëm për të nxjerrë NPUs të fuqishëm me TOPS (njësi matëse e performancës). AMD, Intel dhe Qualcomm janë pjesë e kësaj gare — dhe modelet e laptopëve që përdorin këtë teknologji janë tashmë në rrugë.
Discussion about this post