본문 바로가기

2021/07

Research 2021. 7. 30. [대충 정리] Loss for Active Learning 동영상을 보면 저자가 잘 설명하니.. 동영상 보는 걸 강력 추천한다... www.youtube.com/embed/9oWC8S2gpyk?start=1 간단하게만 정리.......실제 논문 설명이 아닌.. 논문, 동영상 보고 난 후 생각을 정리함. *주의: 논문 내용과 좀 다른 견해가 발생할 수 있음. 1. 컨셉 Active learning은 결국 prediction 후 각 클래스에 대한 확률 값을 confidence로 활용한다. 하지만 이 confidence는 정확할까?? 진짜 정확도를 예측하기 위해 학습 시 발생하는 Loss를 예측하는 레이어를 추가하겠다는 것. 결국 Multi-task learning의 갈래이기도 하다. 2. 구조 학습 네트워크들은 보통 반복적인 블록으로 연결되어있다. 그 중간중간의 f..
Research 2021. 7. 9. Self-traning에 대한 고찰... (contemplation on Self-Training) Self-training에서 Teacher/Student 방식을 사용하는 이유 - 큰 범주인 semi-supervised learning은 일반적으로 단일 Network를 사용하지만 Self-training은 Teacher-Student 파이프라인이 굳어진 모양새다.. - Pseudo Label이 지정된 데이터의 풍부함과 Augmentation과 같은 정규화 방법의 사용 덕분에 학생은 교사보다 더 나은 모델이 되는 방법을 배운다. [1][2] - Teacher/Student pipeline은 self-training의 효과적인 방식이다. 조금 덜 정확하지만 뭔가 updated(변화되는, 갱신되는) 점을 학습하고 더 강력해지는 모델을 훈련하는 데 목적이 있다. teacher-student pipeline을..
Research 2021. 7. 2. Self-training Research papers #self-training #self-learning #semi-supervised learning 1. ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Image Segmentation, CVPR, 2021 - Medial image와 Driving image에 대해 semi-suprvised image segmentation을 하는 논문 - Teacher로부터 pseudo label을 받아 학습하는 student model은 성능이 낮고, 쉽게 고점에 도달하는 학습을 한다. - 이 현상을 lazy mimicking이라고 명명하고 이 현상을 완화하는 논문. - 다른 기법과 구분되는 두 가지 (1) 학습 모델을 계속 이어가기보다 중..