ChatGPT i Claude 3: Usporedba velikih jezičnih modela u neformalnom obliku
Od lansiranja ChatGPT-a prošle godine, generativna AI tehnologija se proširila na sve sfere života, a u konkurenciju se uključilo više velikih jezičnih modela. Njegov konkurent Anthropic nedavno je objavio usporedbu svoja tri modela – Opus, Sonet i Haiku – s drugim modelima, pokazujući superiornost modela iz obitelji Claude 3, s Opusom na čelu. Na primjer, Opus postiže točnost od 84,9 %, što je 67 % više od GPT-4.
YouTube kanal Bycloud, specijaliziran za procjenu AI tehnologije, objavio je video test s provokativnim naslovom “Je li ChatGPT pao s oltara?” u kojem se uspoređuje njegova programska izvedba s Claudeom 3.
Video započinje citatom samoproglašenog softverskog inženjera s Reddita koji je koristio GPT-4 i Claude 3 za pomoć u pisanju programa i zaključio da je Claude 3 superiorniji, posebno zbog podrške duljeg konteksta. To mu je omogućilo da Claudeu 3 da više kodnih datoteka za promjene.
Nadalje u video testu, autor uspoređuje četiri jezična programa – Rust, Go, Haskell i C++ – i otkriva da Claude 3 ima bolju procesorsku snagu na svim tim jezicima, a performanse obrade jezika u Rustu su izvanredne. Ovaj dio testa proveden je iz razloga što je prije Claudea 3, ChatGPT je bio jedina opcija za većinu ljudi koji su željeli pisati kod. Međutim, zbog ograničenja na 32.000 tokena, korisnici su bili ograničeni u količini koda koji mogu poslati, a mogućnost odgovora na složeniji prilagođeni kod bila je prosječna. ChatGPT je također imao sklonost zaboravljanju uputa i varijabilnih naziva prilikom višestrukih uputa.
Konačno u testu, autor pokušava pretvoriti jednostavnu snimku zaslona podataka tablice u CSV datoteku i dobiva spor odgovor od ChatGPT-a. Suprotno tome, autor Claudeu 3 može prenijeti cijeli skup koda za obradu. Od 10 uputa oko koda, 8 je točno obrađeno. Autor videa je također uspio zamoliti model da napiše kod za strojno učenje s dobrim rezultatima. Dodao je da Claude 3 ponekad ne uspije dati željeni odgovor samo u slučajevima iznimno složene logike koda ili sličnih imena varijabli.
Je li ChatGPT bolji od Copilota ili ipak nije?
Kako koristiti glasovni chat ChatGPT na Androidu i na iOS-u
Ovo su neke ChatGPT zlonamjerne aplikacije i domene dizajnirane za krađu podataka
Za one kojima se ne gleda, video završava zaključkom da Claude 3 nadmašuje ChatGPT.
