信息熵

定义

表示信源发出信息的不确定性。熵越大，不确定性越高。

熵和似然函数

似然函数极值越大，熵越小。反之。