【ラビットチャレンジ】応用数学：第３章 情報理論

ラビットチャレンジ 応用数学第３章のまとめ

情報量

増加の比率が直感的に重要に思える → エントロピー

自己情報量

確率を対数で取る

シャノンエントロピー

自己情報量の期待値

カルバック・ライブラー ダイバージェンス

同じ事象・確率変数における異なる確率分布 P,Q の違いを表す

交差エントロピー

• KLダイバージェンスの一部を取り出したもの

• Qについての自己情報量をPの分布で平均している