Google Cloud pokrenuo je Cloud Run GPU uslugu koja može fleksibilno konfigurirati NVIDIA L4 GPU-ove u arhitekturi oblaka

Google Cloud najavio je pokretanje Cloud Run GPU usluge, koja korisnicima omogućuje korištenje NVIDIA L4 GPU-a u oblaku putem automatskog skaliranja i elastične implementacije, uglavnom za AI računalstvo, obuku zaključivanja i druga radna opterećenja.

Istodobno, budući da nema potrebe unaprijed postavljati konfiguracijsku skalu GPU-a, broj GPU-a može se automatski konfigurirati prema računalnim zahtjevima, tako da neće biti neaktivnih resursa kada se GPU ne koristi, što će uzrokovati dodatne troškove, čime se povećava fleksibilnost implementacije i pojednostavljuju poteškoće upravljanja automatskom implementacijom. Ova se usluga koristi u obliku druge naplate, a može se automatski vratiti na nulu kada se ne koristi, a istovremeno može dovršiti pokretanje GPU-a i upravljačkog programa za oko 5 sekundi u stanju hladnog pokretanja, ako za primjer uzmete Gemma 3 4 milijarde skupova operacije zaključivanja na skali parametara, potrebno je samo oko 19 sekundi od stanja hladnog pokretanja da se generira prvi token (token), što znači da se može brzo pokrenuti u kratkom vremenu.

Sama usluga Cloud Run GPU može izravno dodati relevantne naredbe u aplikaciju ili odabrati hoće li omogućiti računalstvo ubrzano GPU-om iza konzole aplikacijskog servisa.Budući da se pruža u obliku fleksibilne konfiguracije, Google Cloud također oglašava pouzdanost ove usluge i ukazuje na to da je korisnici ili poduzeća mogu implementirati i koristiti u više regija u skladu sa svojim operativnim potrebama, a također mogu isključiti zonsku redundanciju kako bi prilagodili ukupnu raspodjelu dostupnih računalnih resursa.

Trenutno je Cloud Run GPU usluga pokrenuta u više regija Google Cloud u Sjedinjenim Državama, Europi i Aziji.