ChatGPT
ChatGPT[a] je čet-bot kojeg je OpenAI predstavio u novembru 2022. Napravljen je na temelju OpenAI GPT-3 i GPT-4 porodice velikih jezičkih modela, a dotjeran je i fino podešen[1][2] pomoću nadziranog i podržanog mašinskog učenja.
| ChatGPT | |
|---|---|
 | |
| Originalni autor(i) | OpenAI |
| Prvo izdanje | 30. novembar 2022 |
| Veb-sajt | chat |
ChatGPT je predstavljen kao prototip 30. novembra 2022. i brzo je dostigao popularnost zbog svojih detaljnih i artikulisanih odgovora u raznim domenama znanja. Njegova neujednačena činjenična preciznost je ipak označena kao značajna mana.[3] Nakon predstavljanja ChatGPT-a, OpenAI je dostigao vrijednost od 29 milijardi američkih dolara.[4]
Jedna od glavnih karakteristika je davanje prirodnih odgovora na postavljenja pitanje i generiranje programskog koda, članaka, pjesama, priča ili otklanjanje grešaka u kodu.[5]
Izvorna verzija ChatGPT-a bazirana je na verziji GPT-3.5. Verzija bazirana na GPT-4, najnovijem OpenAI modelu, objavljena je 14. marta 2023. i dostupna je za plaćene pretplatnike.
Treniranje
urediChatGPT je član porodice jezičnih modela generativno predtreniranih transformatora (engleski: Generative pre-trained transformer - GPT). Prilagođen je nad poboljšanom verzijom OpenAI GPT-3, poznatom kao GPT 3.5, putem procesa finog podešavanja.[6]
Proces finog podešavanja koristio je i nadzirano učenje i podržano učenje u procesu nazvanom podržano učenje uz ljudske povratne informacije (engleski: reinforcement learning from human feedback - RLHF).[7][8] Oba pristupa koriste ljudske trenere kako bi poboljšali performanse modela. U slučaju nadziranog učenja, modelu su dostavljeni razgovori u kojima su treneri imali ulogu korisnika i asistenta. U podržanom učenju, ljudski treneri su prvo rangirali odgovore koje je model stvorio u prethodnom razgovoru.[9] Ti su rangovi korišteni za stvaranje "modela nagrade" kojim se model dodatno fino podešavao korištenjem nekoliko iteracija PPO-a (engleski: Proximal Policy Optimization).[10][11]
ChatGPT je u početku koristio superkompjutersku infrastrukturu Microsoft Azure, pokretanu pomoću NVIDIA grafičkih procesora, koju je Microsoft izgradio posebno za OpenAI, a koja je navodno koštala "stotine miliona dolara". Nakon uspjeha ChatGPT-a, Microsoft je 2023. značajno nadogradio OpenAI infrastrukturu.[12]
OpenAI prikuplja podatke od korisnika ChatGPT-a kako bi dalje trenirao i prilagođavao uslugu. Korisnici mogu glasati za ili protiv odgovora koje dobiju od ChatGPT-a i popuniti tekstualno polje s dodatnim povratnim informacijama.[13]
Također pogledajte
urediBilješke
urediReference
uredi- ^ Quinn, Joanne (2020). Dive into deep learning : tools for engagement. Thousand Oaks, California. str. 551. ISBN 9781544361376. Pristupljeno 10. 1. 2023.
- ^ Roose, Kevin (5. 12. 2022). "The Brilliance and Weirdness of ChatGPT" (HTML). New York Times (jezik: engleski). Pristupljeno 26. 12. 2022.
Like those tools, ChatGPT — which stands for “generative pre-trained transformer” — landed with a splash.
- ^ Vincent, James (5. 12. 2022). "AI-generated answers temporarily banned on coding Q&A site Stack Overflow" (HTML). The Verge (jezik: engleski). Pristupljeno 5. 12. 2022.
- ^ ChatGPT creator OpenAI is in talks to sell shares in a tender offer that would double the startup's valuation to $29 billion Insider, Lakshmi Varanasi, 5. 1. 2023
- ^ D.M. (21. 1. 2023). "Što je ChatGPT o kojem svi bruje u posljednje vrijeme? Evo što trebate znati" (jezik: hrvatski). Pristupljeno 1. 2. 2023.
- ^ "OpenAI API". platform.openai.com (jezik: engleski). Arhivirano s originala, 3. 3. 2023. Pristupljeno 3. 3. 2023.
- ^ OpenAI (30. 11. 2022). "ChatGPT: Optimizing Language Models for Dialogue" (jezik: engleski). Arhivirano s originala, 30. 11. 2022. Pristupljeno 5. 12. 2022.
- ^ Greengard, Samuel (29. 12. 2022). "ChatGPT: Understanding the ChatGPT AI Chatbot". eWeek. Arhivirano s originala, 19. 1. 2023. Pristupljeno 11. 1. 2023.
- ^ Douglas, Will (3. 3. 2023). "The inside story of how ChatGPT was built from the people who made it". MIT Technology Review. Arhivirano s originala, 3. 3. 2023. Pristupljeno 6. 3. 2023.
- ^ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). "Proximal Policy Optimization Algorithms". arXiv:1707.06347 [cs.LG].
- ^ Vincent, James (8. 12. 2022). "ChatGPT proves AI is finally mainstream – and things are only going to get weirder". The Verge (jezik: engleski). Arhivirano s originala, 11. 1. 2023. Pristupljeno 8. 12. 2022.
- ^ Roth, Emma (13. 3. 2023). "Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer". The Verge (jezik: engleski). Pristupljeno 31. 3. 2023.
- ^ "ChatGPT Feedback Contest: Official Rules" (PDF). OpenAI. Arhivirano (PDF) s originala, 18. 1. 2023. Pristupljeno 30. 12. 2022.