본문 바로가기

분류 전체보기

카테고리 없음 2021. 2. 6. Cross Entropy & KL-divergence 1. 기본 이론(정보 이론) 정보이론에서는 특정 메시지의 정보량을 확률을 이용하여 측정한다. 즉, 같은 말이지만, 어떤 사건이 일어날 확률을 추정할 수 있다면 그 사건에 대한 정보량을 측정할 수 있다. 여기서 정보량이라는 것은 너무 자주 등장하거나 뻔한 정보일 때 그 정보의 량은 적다고 치부하고, 매우 드물게 발생하는 메시지(내용)이라면 정보량이 매우 크다고 본다. 정보량은 -log를 취해서 그 정보를 얼만큼으로 나타낼 수 있는가로 나타낼 수 있다. 색깔에서 256색을 나타낼 때는 0~255의 숫자로 나타낼 수 있다. 이건 다시 2의 8제곱(2^8)으로 나타낼 수 있다. 컴퓨터 bit로 따지면, 8bit만 있으면 된다.. 00000000~11111111. 즉 정보량은 8이다. 확률에선 분수이므로, 마이너..
Some tips 2021. 1. 14. 인터넷 느림, ping 기본 검사방법 메모 cmd 열고 > ping google.com -t 한 30번 돌리자. 적당히 돌리다가 Ctrl+C 두 번 누르면 취소되면서 통계 나옴. 아마 손실 = 0% 가 나와야할텐데...나는 멀쩡하다가 가끔 6%정도 나옴.. 현재 인터넷 문제 있음.ㅠㅠ > ipconfig 가장 아래에 있는 '기본 게이트웨이' 가 공유기 핑 때려보자. 아래 예제는 내 ip > ping 192.168.0.1 -t 다행히 공유기까지는 손실 없다. 시간은 1ms내로 매우 준수... >tracert google.com google 까지 가는데 경로 추적. 중간중간 ping 보내보면서 점검...
Research 2021. 1. 12. Labeling Smoothing: 딥러닝 성능향상 기법 1. 개요 - 딥러닝할 때 사용하는 데이터셋은 레이블링이 잘못되는 경우도 많고, 답 자체가 모호할 수 있음. - 기존 label은 one-hot-representation으로서, 단순히 맞냐 아니냐 또는 클래스 인덱스를 값으로 가짐. - 이것을 완화하는 작업으로 model generalization 을 하는데 도움을 주는 기법 중 하나가 Labeling Smoothing - 쉽게 생각해서, 잘못 레이블링 되거나 모호할 수 있는 정답 영역의 일부를 노이즈로 보고 이것을 제거하기 위해 스무딩 알고리즘을 적용 (2016년도 논문[2]에 의해 제안됨) = Hard target-> Soft target으로 바꾸는 것. - 더 자세한건 다른 사이트 및 참고 사이트 확인 2. 왜 필요하나? 주어진 정답 레이블 벡터가..
Research 2021. 1. 7. [Paper Review] ResNeSt: Split-Attention Networks 본인 이해를 목적으로 하기 때문에 단순 번역기 수준이 될 수도 있음. 2021.01.06 Sementic Segmentation 분야를 기준으로, 상위권 논문(모델) 중 하나를 정리하고자 한다. 현 시간 기준 Pascal Context, Cityscapes val, ADE20K val, ADE20K 데이터셋에 대해 Rank 1위 저자들이 각양각색이다. Facebook, UC Davis, Snp, Amazon, ByteDance, SenseTime ... 무슨 조합인지 모르겠다. 2020.4.19에 1차 버전이 제출되었다. 오늘 정리는 두 번째 제출본 v2를 보고 쓴다. 1. Introduction CNN의 주요 핵심은 convoluation layer에서 filter set을 학습시키는 데 있고, Con..
Some tips 2020. 12. 28. su , bash Permission Denied .su / permission denied 또는 .bash permission denied 가 뜬다. 와나 되던게 리눅스 다시 설치했다고 이렇게 되는데 도통 구글링해도 해답을 못찾겠다. 해답이라고 내놓는 커맨드가 전부 다르다. 다 소용없다. 여러개가 복합적으로 작용했을지 모르겠지만 최종적으로 성공한 명령어는 다음과 같다. sudo chmod 777 /home -R 어쨋건.. make할때나 기타 다른 실행을 할 때 root권한인데도 불구하고(파일권한도 역시 같음) 해결안되던게 된다.
Development 2020. 12. 28. 임베디드 시스템, 펌웨어 등 개념 정리 인터넷에서 긁어 모아 재정리함. 임베디드 시스템 순서 기구 -> 아트웍 -> 회로 -> 펌웨어,디바이스드라이버,BSP -> 커널 -> 어플리케이션 BSP(Board Support Package) https://msnayana.blog.me/80065524365 영어 그대로 해석하면 되겠지만, 쉽게 말해 부트로더 + 실시간 운영체제를 로드하기 위한 최소한의 장치를 지원하고 주변 장치를 지원하기 위한 드라이버를 총칭한다. 루트 파일 시스템(root file system), 툴체인(toolchain) 등을 포함하기도 한다. (커널은 통상적으로 제외된다. ) 칩 제조업체(S사) 를 예로 레퍼런스 보드를 개발하여 보여준다 하면, BSP까지는 공급하여 테스트를 하게 된다. 한마디로, 최소한 보드의 기능 및 성능을 ..
Some tips 2020. 12. 28. GEM5 FS mode 구동 2017 작성한 자료 옮김. 2년 전에 비해 리눅스에 대한 이해가 조금 올라간 상태에서 다시 gem5 설치법을 구현하고자 함 HPCA 유튜브 강연을 토대로 정리함 https://www.youtube.com/watch?v=5UT41VsGTsg 1. 다운로드하여 원하는 아키텍처에 대해 빌드 $ sudo apt-get install g++ python scons swig zlib1g-dev m4 python-dev $ git clone https://gem5.googlesource.com/public/gem5 $ cd gem5 $git checkout hpca $ scons build/X86/gem5.opt -j5 scons는 make와같은 다른종류의 컴파일 시스템 X86은 원하는 아키텍처로서 build_op..
Some tips 2020. 12. 28. Sniper Simulator 설치 2017 작성한 자료 옮김. ■ Install 1. SniperSim 홈페이지에서 다운로드 요청하고, 메일로 링크를 받는다. http://snipersim.org/w/The_Sniper_Multi-Core_Simulator sniper sim link 2. Pin을 다운로드 받는다. 안정성이 높은 구버전이 좋겠다. https://software.intel.com/en-us/articles/pintool-downloads 에서 71313 버전 Linux용 다운로드. Pin을 압축풀고 해당폴더를 pin_kit로 변경하여 SniperSim 안에 넣어두자. $ mv kit-xxxxx snipersim/pin_kit 3. 패스를 맞춰준다. $ export PIN_HOME=/home/snipersim/pin_kit..