信息论基本公式汇总

信息论在机器学习领域可以说是必备的知识，熵、互信息等概念随处可见，为了方便使用，特将信息论中常用到的公式进行了汇总，在这里分享给大家，希望能对大家有所帮助。这里不知怎么上传公式，只能贴图了，不过会将word版上传到资源中，大家可以到这里下载。