点互信息(PMI,Pointwise Mutual Information)
来源:互联网 发布:剑灵灵女捏脸详细数据 编辑:程序博客网 时间:2024/05/17 23:01
PMI(Pointwise Mutual Information)
机器学习相关文献里面,经常会用到PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个词)。其原理很简单,公式如下:
在概率论中,我们知道,如果x跟y不相关,则
这里的log来自于信息论的理论,可以简单理解为,当对
至此,概念介绍完了,后面是例子和相关背景,不感兴趣的话就可以不用看了。
例子
举个自然语言处理中的例子来说,我们想衡量like这个词的极性(正向情感还是负向情感)。我们可以预先挑选一些正向情感的词,比如good。然后我们算like跟good的PMI,即:
其中
互信息(Mutual Information)
点互信息PMI其实就是从信息论里面的互信息这个概念里面衍生出来的。
互信息即:
其衡量的是两个随机变量之间的相关性,即一个随机变量中包含的关于另一个随机变量的信息量。所谓的随机变量,即随机试验结果的量的表示,可以简单理解为按照一个概率分布进行取值的变量,比如随机抽查的一个人的身高就是一个随机变量。
可以看出,互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和。因此,点互信息这个名字还是很形象的。
0 0
- 逐点互信息PMI(Pointwise mutual information)
- 点互信息(PMI,Pointwise Mutual Information)
- PMI(Pointwise Mutual Information)
- [Machine Learning]--PMI(Pointwise Mutual Information)
- 互信息(Mutual Information)
- 互信息(mutual information)
- 互信息 Mutual Information
- 互信息 Mutual Information
- 互信息(Mutual Information)的介绍
- 互信息(Mutual Information)的介绍
- 注意mutual information & pointwise mutual information
- Mutual Information 互信息的应用
- Normalized Mutual Information归一化互信息
- 特征选择之互信息 Mutual Information
- Conditional mutual information 条件互信息
- Mutual information and Normalized Mutual information 互信息和标准化互信息
- Mutual information and Normalized Mutual information 互信息和标准化互信息
- Mutual information and Normalized Mutual information 互信息和标准化互信息
- Yii:数组存储
- MongoDb(3)-复制集
- 二级菜单ExpandableListView
- ACM学习-自己写割点
- 技术人生:故事之十九OFFICE家族的重要一员-project
- 点互信息(PMI,Pointwise Mutual Information)
- iOS软件开发 错误集之不能使用CGRect和CGFloat解决办法
- Gallery自定义适配器
- iOS疯狂讲解之单例模式的简单应用
- ACM学习-字母排序问题
- 多个view等宽布局
- ACM学习-最大网络流
- Android Studio安装之后简单设置
- ImageSwitcher实现图片滑动