Intel Xeon, Core™ Ultra i AI PC Accelerate ubrzavaju GenAI radna opterećenja.

Kao deo svoje misije da zaista donese AI svuda, Intel je ulažo i nastaviće da ulaže u softverski i AI ekosistem kako bi osigurao da su njegovi proizvodi spremni za najnovije inovacije u dinamičnom AI okruženju. U data centru, Intel Gaudi i Intel Xeon procesori sa Intel® Advanced Matrix Extension (Intel® AMX) ubrzanjem pružaju kupcima mogućnost da ispune i najdinamičnije i zahteve širokog spektra primena.

Intel Core Ultra procesori i Intel Arc grafički proizvodi pružaju i lokalni mehanizam za razvoj i implementaciju veštačke inteligencije na milionima uređaja sa podrškom za sveobuhvatne softverske alate, uključujući PyTorch i Intel® Extension for PyTorch® koji se koriste za lokalna istraživanja i razvoj, kao i OpenVINO™ alatku za razvoj modela i inferenciju.

Početno testiranje i rezultati performansi Intela za Llama 3 8B i 70B modele koriste otvoreni softver, uključujući PyTorch, DeepSpeed, Intel Optimum Habana biblioteku i Intel Extension for PyTorch kako bi obezbedili najnovije softverske optimizacije.

Intel Xeon procesori adresiraju zahtevne AI radne opterećenja od početka do kraja, i Intel ulaže u optimizaciju rezultata LLM-a kako bi smanjio latenciju. Intel® Xeon® 6 procesori sa Performance-jezgrama (pod kodnim imenom Granite Rapids) pokazuju 2x poboljšanje na latenciji inferencije Llama 3 8B u poređenju sa 4. generacijom Intel® Xeon® procesora i sposobnost da pokreću veće jezičke modele, poput Llama 3 70B, ispod 100ms po generisanom token-u.

Intel Core Ultra i Intel Arc Graphics pružaju impresivne performanse za Llama 3. U početnom krugu testiranja, Intel Core Ultra procesori već generišu brže od tipičnih ljudskih brzina čitanja. Štaviše, Intel® Arc™ A770 GPU ima Xe Matrix eXtensions (XMX) AI ubrzanje i 16GB posvećene memorije da pruži izuzetne performanse za LLM radna opterećenja.