본문 바로가기

분류 전체보기

Research 2021. 7. 30. [대충 정리] Loss for Active Learning 동영상을 보면 저자가 잘 설명하니..동영상 보는 걸 강력 추천한다... www.youtube.com/embed/9oWC8S2gpyk?start=1 간단하게만 정리.......실제 논문 설명이 아닌.. 논문, 동영상 보고 난 후 생각을 정리함. *주의: 논문 내용과 좀 다른 견해가 발생할 수 있음. *주의: 생각나는대로 썼으므로...다소 이해하는데 무리가 있을 수 있음. 1. 컨셉 Active learning은 결국 prediction 후 각 클래스에 대한 확률 값을 confidence로 활용한다. 하지만 이 confidence는 정확할까?? 진짜 정확도를 예측하기 위해 학습시 발생하는 Loss를 예측하는 레이어를 추가하겠다는 것. 결국 Multi-task learning의 갈래이기도 하다. 2. 구조 학..
Research 2021. 7. 9. Self-traning에 대한 고찰... (contemplation on Self-Training) Self-training에서 Teacher/Student 방식을 사용하는 이유 - 명확히 정의한 문헌을 찾지 못했다... - 큰 범주인 semi-supervised learning은 일반적으로 단일 Network를 사용하지만 Self-training은 Teacher-Student 파이프라인이 굳어진 모양새다.. - Pseudo Label이 지정된 데이터의 풍부함과 Augmentation과 같은 정규화 방법의 사용 덕분에 학생은 교사보다 더 나은 모델이 되는 방법을 배운다. [1][2] - Teacher/Student pipeline은 self-training의 효과적인 방식이다. 조금 덜 정확하지만 뭔가 updated(변화되는, 갱신되는) 점을 학습하고 더 강력해지는 모델을 훈련하는 데 목적이 있다. t..
Research 2021. 7. 2. Self-training Research papers #self-training #self-learning #semi-supervised learning 1. ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Image Segmentation, CVPR, 2021 - Medial image와 Driving image에 대해 semi-suprvised image segmentation을 하는 논문 - Teacher로부터 pseudo label을 받아 학습하는 student model은 성능이 낮고, 쉽게 고점에 도달하는 학습을 한다. - 이 현상을 lazy mimicking이라고 명명하고 이 현상을 완화하는 논문. - 다른 기법과 구분되는 두 가지 (1) 학습 모델을 계속 이어가기보다 중..
Development 2021. 6. 4. Visual Studio nvcc 바꿔서 컴파일 (1) 설치/환경설정 복수개의 CUDA SDK 설치되야하고, C:\Program Files (x86)\Microsoft Visual Studio\2019\Professional\MSBuild\Microsoft\VC\v160\BuildCustomizations\ 위치에 다음과 같은 파일 존재해야 함. (당연하게도 파일 이름에 포함된 숫자 11.2는 해당 버전에 따라 다름) CUDA 11.2.props CUDA 11.2.targets CUDA 11.2.xml (*혹시 없다면... CUDA SDK 설치된 곳에서 복사해오길, CUDAPATH\v11.3\extras\visual_studio_integration\MSBuildExtensions 위치에 있음) CUDA 컴파일러 NVCC를 다르게 사용하고자 할 때....
Research 2021. 4. 15. Vision Transformer 간단설명 / 링크 모음 1. 링크 모음 [1] colab.research.google.com/github/hirotomusiker/schwert_colab_data_storage/blob/master/notebook/Vision_Transformer_Tutorial.ipynb#scrollTo=fZAPoK8jBtaD [2] ichi.pro/ko/bijeon-teulaenseupomeo-ihae-mich-maegae-byeonsu-gyesan-167719792195827 [3] Vision Transformers for Remote Sensing Image Classification, 2021, remotesensing-13-00516-v3.pdf [4] 나같은 초심자가 보기엔 비추이지만...혹시 모르니. medium.com/pl..
Some tips 2021. 3. 3. [Powershell] 하위 특정 폴더 삭제 및 각 상위 폴더로 이동 Windows- Powershell 에서 파일 조작을 하고자 한다. 리눅스 명령어가 잘 안먹혀서 이것저것 찾아보고 정리함. ■ A 폴더 밑으로 많은 폴더들이 존재. 각 폴더는 0~100 이름으로 됐으며 각 폴더 내에 test 폴더와 train 폴더가 존재. test 폴더들을 지우고자 한다. 아래와 같은 상태. (1) A폴더 까지 간다. > cd A (2) 다음 폴더가 무엇이 되든 그 폴더 밑의 test폴더를 삭제 (삭제 명령어는 현재 위치 등을 고려하여 유의할 것. 본인책임) > del *\test ■ 다음은 test 와 함께 존재하던 train 폴더 내 파일을 각자 상위 폴더로 이동시키고자 한다. (1) 메모장을 연다. (2) 아래 스크립트를 입력. \0~3 폴더들\train\모든 파일들을 \모든폴더\..
Research 2021. 2. 6. Cross Entropy & KL-divergence 1. 기본 이론(정보 이론) 정보이론에서는 특정 메시지의 정보량을 확률을 이용하여 측정한다. 즉, 같은 말이지만, 어떤 사건이 일어날 확률을 추정할 수 있다면 그 사건에 대한 정보량을 측정할 수 있다. 여기서 정보량이라는 것은 너무 자주 등장하거나 뻔한 정보일 때 그 정보의 량은 적다고 치부하고, 매우 드물게 발생하는 메시지(내용)이라면 정보량이 매우 크다고 본다. 정보량은 -log를 취해서 그 정보를 얼만큼으로 나타낼 수 있는가로 나타낼 수 있다. 색깔에서 256색을 나타낼 때는 0~255의 숫자로 나타낼 수 있다. 이건 다시 2의 8제곱(2^8)으로 나타낼 수 있다. 컴퓨터 bit로 따지면, 8bit만 있으면 된다.. 00000000~11111111. 즉 정보량은 8이다. 확률에선 분수이므로, 마이너..
Some tips 2021. 1. 14. 인터넷 느림, ping 기본 검사방법 메모 cmd 열고 > ping google.com -t 한 30번 돌리자. 적당히 돌리다가 Ctrl+C 두 번 누르면 취소되면서 통계 나옴. 아마 손실 = 0% 가 나와야할텐데...나는 멀쩡하다가 가끔 6%정도 나옴.. 현재 인터넷 문제 있음.ㅠㅠ > ipconfig 가장 아래에 있는 '기본 게이트웨이' 가 공유기 핑 때려보자. 아래 예제는 내 ip > ping 192.168.0.1 -t 다행히 공유기까지는 손실 없다. 시간은 1ms내로 매우 준수... >tracert google.com google 까지 가는데 경로 추적. 중간중간 ping 보내보면서 점검...