Research
2021. 2. 6.
Cross Entropy & KL-divergence
1. 기본 이론(정보 이론) 정보이론에서는 특정 메시지의 정보량을 확률을 이용하여 측정한다. 즉, 같은 말이지만, 어떤 사건이 일어날 확률을 추정할 수 있다면 그 사건에 대한 정보량을 측정할 수 있다. 여기서 정보량이라는 것은 너무 자주 등장하거나 뻔한 정보일 때 그 정보의 량은 적다고 치부하고, 매우 드물게 발생하는 메시지(내용)이라면 정보량이 매우 크다고 본다. 정보량은 -log를 취해서 그 정보를 얼만큼으로 나타낼 수 있는가로 나타낼 수 있다. 색깔에서 256색을 나타낼 때는 0~255의 숫자로 나타낼 수 있다. 이건 다시 2의 8제곱(2^8)으로 나타낼 수 있다. 컴퓨터 bit로 따지면, 8bit만 있으면 된다.. 00000000~11111111. 즉 정보량은 8이다. 확률에선 분수이므로, 마이너..
