Apple je po prvi put otkrio unutarnju priču o obuci umjetne inteligencije

Nakon ovogodišnje WWDC konferencije, Apple ne samo da je otkrio novi “Liquid” vizualni dizajnerski jezik, već je i službeno objasnio operativne detalje svog sustava umjetne inteligencije.  Ovaj put Apple je otkrio kako su njegovi AI modeli obučeni i fino podešeni kroz desetke tisuća riječi “Apple Intelligence Basic Language Model Technical Report“, pokazujući da tehnološki div, koji je oduvijek cijenio privatnost, tiho ulazi u utrku u naoružanju umjetne inteligencije vlastitim tempom.

Kako se model trenira?

Prema izvješću, Appleovi izvori obuke AI modela uglavnom dolaze s tri kanala:

• Podaci o javnim web stranicama koje indeksira Applebot (poštujući robots.txt, web stranice neće biti korištene ako ne žele biti uhvaćene)
• Sadržaj ugovora o licenciranju s medijima/izdavačima (partneri nisu objavljeni)
• Sintetički korpus proizveden umjetnom inteligencijom, posebno se koristi za fino podešavanje kao što su slikovni zadaci, kod i upute

Osim toga, udio korpusa koji nije engleski u jezičnim podacima povećao se s 8% na 30%, što ukazuje na to da Apple jača svoju podršku za više jezika, što je ključno za poboljšanje kineskog pisanja i semantičkog razumijevanja.

Otkrivena arhitektura modela: koristite stručne hibridne modele za uštedu resursa i poboljšanje performansi

Arhitektura modela koju Apple koristi ovaj put, nazvana PT-MoE (Parallel-Track Mix of Experts), struktura je koja razbija cijeli veliki model na “više stručnjaka” i svaki put samo evocira stručnjake povezane s trenutnim zadatkom, smanjujući rasipanje resursa i poboljšavajući učinkovitost rasuđivanja. Ovu hibridnu stručnu arhitekturu posljednjih su godina naširoko prihvatile i velike tvrtke poput Googlea i Mete. Istodobno, Apple je također stvorio vlastitu novu arhitekturu, Parallel-Track Transformer, koja omogućuje neovisno izračunavanje različitih zadataka u njihovim stazama i integraciju samo u kritičnim trenucima, što pomaže uvelike smanjiti latenciju i ubrzati brzinu odziva. Apple je istaknuo da njegov AI model na uređaju radi u dva bloka:

• Blok 1: Sadrži oko 60% transformacijskog sloja, odgovornog za semantičku analizu
• Blok 2: Uklonite projekciju ključ/vrijednost, smanjujući zahtjeve za memorijom za oko 38%

Ovaj diskretni dizajn omogućuje Appleu da ubrza model bez probijanja ograničenja memorije uređaja.

Korpus slika koje su sami proizveli premašuje 10 milijardi skupova, uključujući rukopis

Apple također koristi mnogo podataka o korespondenciji slika i teksta za obuku multimodalnih modela. U izvješću se spominje da tvrtka ima više od 10 milijardi skupova usporedbi slika i opisa, uključujući snimke zaslona, sučelja aplikacija, bilješke i rukom pisani sadržaj. Apple čak koristi vlastiti model za generiranje bogatijih opisa kako bi ojačao razumijevanje modela o značenju grafike i teksta. Iako neki od modela zahtijevaju podršku u oblaku za rad, Apple naglašava da je njegovo AI računalstvo u oblaku putem vlastitog privatnog oblaka (Private Cloud Compute), opremljenog vlastitim prilagođenim hardverom i ne prenosi podatke na poslužitelje trećih strana. To je ujedno i najveća razlika između Appleove strategije i Googlea, OpenAI-ja. U usporedbi s konkurentima koji slijede “super-velike modele” sa stotinama milijardi parametara, Apple usvaja visoko optimiziranu hibridnu arhitekturu malog modela + oblaka, koja ne samo da može izravno rasuđivati na strani uređaja, već i pretvoriti zadatke u podršku u oblaku, što je više u skladu s njegovom ekološkom strategijom usmjerenom na iPhone.