[정보이론과 통계역학] Shannon–Boltzmann entropy

대부분의 머신러닝은 통계에 기반을 두고 있다. 그리고 딥러닝은 그러한 머신러닝에 기초하여 발전한 학문이다. 따라서 우리는 딥러닝의 근본적인 작동 원리(본질)를 이해하기 위해서는 통계역학과 연계한 정보이론 관점에서 접근해야 한다.

Keywords. Information theory; Statistical mechanics; H-theorem; Entropy; Mutual Information; KL-divergence