AWS Graviton4 dhe Trainium2: çipa të rinj për training e AI

29/11/2023

in All

Reading Time: 2 mins read

Amazon Web Services njoftuan dy çipa të rinj në konferencën AWS re:Invent 202 në Las Vegas. AWS Trainium2 do të përdoret në rastet e EC2 UltraClusters për të trajnuar modelet gjeneruese të AI. AWS Graviton4 do të gjejë vendin e tij në instancat EC2 R8g dhe do të përdoret për ekzekutimin e modelit (konkluzion), si dhe aplikacione të tjera cloud.

AWS Trainium2: training i modeleve të AI
Pothuajse të gjitha kompanitë që zhvillojnë modele gjeneruese të AI përdorin GPU NVIDIA për trajnim. Amazon krijoi çipa të personalizuar për të reduktuar varësinë nga NVIDIA. Rreth tre vjet pas lançimit të gjeneratës së parë, u njoftua AWS Trainium2.

Çipi mundëson trajnimin e LLM-ve (Large Language Models) me triliona parametra, duke ofruar deri në katër herë performancën e Trainium, deri në trefishin e kapacitetit të memories dhe deri në dy herë më të lartë efiçencën e energjisë (performancë/vat).

Trainium2 do të jetë i disponueshëm në instancat EC2 Trn2 me 16 çipa. Në të ardhmen do të përdoret në rastet e EC2 UltraClusters me deri në 100,000 çipa që arrijnë 65 ekzaflops. Trajnimi i modeleve të mëdha do të përfundojë në javë dhe jo në muaj, duke rezultuar në kosto më të ulëta. Një nga klientët e AWS është Anthropic.

AWS Graviton4: Konkluzioni i modelit të AI
AWS Graviton4 është në vend të kësaj një çip i bazuar në arkitekturën ARM. Gjenerata e katërt integron 96 bërthama Neoverse, 2 MB cache L2 për bërthamë dhe 12 kanale memorie DDR5-5600. Siç u përmend, do të përdoret për konkluzionet e modeleve gjeneruese të AI, por edhe për aplikacione për qëllime të përgjithshme, si bazat e të dhënave, aplikacionet në ueb dhe aplikacionet Java. Do të jetë i disponueshëm në rastet EC2 R8g.

Amazon padyshim do të vazhdojë të përdorë GPU-të NVIDIA. Gjatë re:Invent 2023 ajo njoftoi tre instanca të reja EC2. EC2 P5e do të integrojë GPU-të NVIDIA H200, më të fuqishmit në treg që lejojnë trajnimin dhe konkluzionet LLM (Large Language Model).

Për trajnimin SLM (Small Large Language) do të jetë e mundur të përdoren instancat EC2 G6e me GPU-të NVIDIA L40S. GPU-të NVIDIA L4 do të përdoren në instancat EC2 G6 për të kryer detyra të ndryshme: njohjen e gjuhës natyrore, përkthimin, analizën e imazheve dhe videove, njohjen e të folurit dhe transmetimin e lojës.