2019-04-25 【ラビットチャレンジ】応用数学:第3章 情報理論 ラビットチャレンジ 応用数学第3章のまとめ 情報量 増加の比率が直感的に重要に思える → エントロピー 自己情報量 確率を対数で取る シャノンエントロピー 自己情報量の期待値 カルバック・ライブラー ダイバージェンス 同じ事象・確率変数における異なる確率分布 P,Q の違いを表す 交差エントロピー KLダイバージェンスの一部を取り出したもの Qについての自己情報量をPの分布で平均している