Samonadzirano učenje
Samonadzirano učenje (engleski: Self-supervised learning – SSL) paradigma je u mašinskom učenju gdje se model obučava za zadatak koristeći same podatke za generisanje nadzornih signala, umjesto da se oslanja na vanjske oznake koje obezbjeđuju ljudi. U kontekstu neuronskih mreža, samonadzirano učenje ima za cilj da iskoristi inherentne strukture ili odnose unutar ulaznih podataka kako bi se stvorili smisleni signali za obuku. SSL zadaci su dizajnirani tako da njihovo rješavanje zahtijeva hvatanje bitnih karakteristika ili odnosa u podacima. Ulazni podaci se obično povećavaju ili transformišu na način koji kreira parove povezanih uzoraka. Jedan uzorak služi kao ulaz, a drugi se koristi za formulisanje nadzornog signala. Ovo povećanje može uključivati uvođenje šuma, izrezivanje, rotaciju ili druge transformacije. Samonadzirano učenje više imitira način na koji ljudi uče da klasifikuju objekte.[1]
Tipična SSL metoda temelji se na vještačkoj neuronskoj mreži ili drugom modelu kao što je lista odluka.[2] Model uči u dva koraka. Prvo, zadatak se rješava na osnovu pomoćnog ili pretekstualnog zadatka klasifikacije koristeći pseudo-oznake koje pomažu da se inicijaliziraju parametri modela.[3][4] Drugo, stvarni zadatak se izvodi uz nadgledano ili nenadgledano učenje.[5][6] [7] Ostali pomoćni zadaci uključuju dovršavanje šablona iz maskiranih obrazaca unosa (tihe pauze u govoru ili dijelovi slike maskirani crnom bojom).
Samonadzirano učenje dalo je obećavajuće rezultate u posljednjih nekoliko godina i našlo je praktičnu primjenu u audio obradi, dok ga Facebook i drugi koriste za prepoznavanje govora.[8]
Reference
uredi- ^ Bouchard, Louis (2020-11-25). "What is Self-Supervised Learning? | Will machines ever be able to learn like humans?". Medium (jezik: engleski). Pristupljeno 2021-06-09.
- ^ Yarowsky, David (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods". Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge, MA: Association for Computational Linguistics: 189–196. doi:10.3115/981658.981684. Pristupljeno 1 November 2022.
- ^ Doersch, Carl; Zisserman, Andrew (October 2017). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV). IEEE. str. 2070–2079. arXiv:1708.07860. doi:10.1109/iccv.2017.226. ISBN 978-1-5386-1032-9.
- ^ Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (October 2019). "S4L: Self-Supervised Semi-Supervised Learning". 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. str. 1476–1485. arXiv:1905.03670. doi:10.1109/iccv.2019.00156. ISBN 978-1-7281-4803-8.
- ^ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV). IEEE. str. 1422–1430. arXiv:1505.05192. doi:10.1109/iccv.2015.167. ISBN 978-1-4673-8391-2.
- ^ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (April 2018). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron. 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969.
- ^ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu (October 2019). "Boosting Few-Shot Visual Learning with Self-Supervision". 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. str. 8058–8067. arXiv:1906.05186. doi:10.1109/iccv.2019.00815. ISBN 978-1-7281-4803-8.
- ^ "Wav2vec: State-of-the-art speech recognition through self-supervision". ai.facebook.com (jezik: engleski). Pristupljeno 2021-06-09.