关于交叉熵
来源:互联网 发布:贵州广电网络怎么上网 编辑:程序博客网 时间:2024/05/22 17:25
在信息论中可以根据香农熵估计一个字符串中每个符号$S_{i}$编码所需的最小位数,前提是每个字符出现的概率$P_{i}$是已知的.
H=−∑i(Pi×log2(Pi))
举个例子:比如,APPLE这个单词的香农熵:
每个字符在字符串中出现的概率:
信息熵:
所以在采取最优编码时,'APPLE’中的每个字符需要2位.
在对符号进行编码时,如果假设了其他概率
H=−∑i(Pi×log2(qi))
例如,ASCII对APPLE中的每一个字符赋予的概率是相同的
在采用ASCII编码时,APPLE的信息熵:
所以在ASCII编码对每个字符编码为8位
在采用交叉熵构建损失函数时候,P为期望的输出和概率分布,即实际的概率分布.q为模型计算得到的输出.根据上面的例子:当
阅读全文
0 0
- 关于交叉熵
- 关于交叉累计剩余熵
- 关于交叉编译
- 关于交叉编译器
- 关于时间交叉判断
- 关于交叉熵和sigmoid函数的组合
- 交叉熵
- 交叉熵
- 交叉熵
- 交叉熵
- 交叉熵
- 交叉熵
- 关于编译和交叉编译
- 关于arm交叉编译工具
- 关于集合的交叉积
- 关于两条链表交叉(交叉有环)的问题解决
- 交叉验证 交叉熵 互信息
- 关于神经网络中的代价函数——交叉熵的由来
- Maven install出来的jar包有问题,Eclipse-Project-Clean…的妙用
- while嵌套注意事项(九九星号代码
- c/c++中的string常用函数用法总结
- 常见HTTP状态码大全详解.lishiv
- CPU射频卡外部认证的操作步骤
- 关于交叉熵
- module.exports与exports??关于exports的总结
- nyoj 1272(表达式求值)
- js实现密码强度校验
- golang环境下的日志记录器-系列之一
- [FUNC]循环动作的实现
- post和get请求中文参数出现乱码现象解决方案
- 插入排序(java)
- 【栈队列】两个栈实现一个队列、两个队列实现一个栈