交叉熵tf.nn.softmax_cross_entropy_with_logits的用法
来源:互联网 发布:网络打印机ip地址查询 编辑:程序博客网 时间:2024/05/16 17:15
在计算loss的时候,最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits,那么它到底是怎么做的呢?
首先明确一点,loss是代价值,也就是我们要最小化的值
tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
除去name参数用以指定该操作的name,与方法有关的一共两个参数:
第一个参数logits:就是神经网络最后一层的输出,如果有batch的话,它的大小就是[batchsize,num_classes],单样本的话,大小就是
num_classes
第二个参数labels:实际的标签,大小同上
具体的执行流程大概分为两步:
第一步是先对网络最后一层的输出做一个softmax,这一步通常是求取输出属于某一类的概率,对于单样本而言,输出就是一个
大小的向量([Y1,Y2,Y3...]其中Y1,Y2,Y3...分别代表了是属于该类的概率)num_classes
softmax的公式是:
至于为什么是用的这个公式?这里不介绍了,涉及到比较多的理论证明
第二步是
softmax的输出向量[Y1,Y2,Y3...]和样本的实际标签做一个交叉熵,公式如下:
其中指代实际的标签中第i个的值(用mnist数据举例,如果是3,那么标签是[0,0,0,1,0,0,0,0,0,0],除了第4个值为1,其他全为0)
就是
中,第i个元素的值softmax的输出向量[Y1,Y2,Y3...]
显而易见,预测越准确,结果的值越小(别忘了前面还有负号),最后求一个平均,得到我们想要的loss
注意!!!这个函数的返回值并不是一个数,而是一个向量,如果要求交叉熵,我们要再做一步tf.reduce_sum操作,就是对向量里面所有元素求和,最后才得到,如果求loss,则要做一步
tf.reduce_mean操作,对向量求均值!
注意:logits=tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]])
import tensorflow as tf #our NN's output logits=tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]]) #step1:do softmax y=tf.nn.softmax(logits)#log_softmaxlog_y=tf.log(y)#true label y_=tf.constant([[0.0,0.0,1.0],[0.0,0.0,1.0],[0.0,0.0,1.0]]) #step2:do cross_entropy cross_entropy = -tf.reduce_sum(y_*tf.log(y)) #do cross_entropy just one step #dont forget tf.reduce_sum()!! cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_)) with tf.Session() as sess:logits1=sess.run(logits)softmax=sess.run(y)log_softmax=sess.run(log_y)c_e = sess.run(cross_entropy) c_e2 = sess.run(cross_entropy2) print("原结果:")print(logits1)print("step1:softmax result=") print(softmax) print("log_softmax:")print(log_softmax)print("step2:cross_entropy result=") print(c_e) print("Function(softmax_cross_entropy_with_logits) result=") print(c_e2)
原结果:[[ 1. 2. 3.] [ 1. 2. 3.] [ 1. 2. 3.]]step1:softmax result=[[ 0.09003057 0.24472848 0.66524094] [ 0.09003057 0.24472848 0.66524094] [ 0.09003057 0.24472848 0.66524094]]log_softmax:[[-2.40760589 -1.40760589 -0.40760601] [-2.40760589 -1.40760589 -0.40760601] [-2.40760589 -1.40760589 -0.40760598]]step2:cross_entropy result=1.22282Function(softmax_cross_entropy_with_logits) result=1.22282[Finished in 3.0s]
例子2:
import numpy as npimport tensorflow as tfy= tf.constant([[1.0,2.0,3.0],[1.0,3.0,2.0]])y_=np.array([[0.0,0.0,1.0],[0.0,1.0,0.0]])y_softmax=tf.nn.softmax(y)sess = tf.Session()sum0=sess.run(y_softmax)print(sum0)sum1=sess.run(tf.log(y_softmax))print(sum1)sum2=sess.run(y_*tf.log(y_softmax))print(sum2)sum3=sess.run(-tf.reduce_sum(y_*tf.log(y_softmax)))print(sum3)sum4 = sess.run(tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_)))print(sum4)sum5=sess.run(tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y_softmax))))print(sum5)结果:
[[ 0.09003057 0.24472848 0.66524094] [ 0.09003057 0.66524088 0.24472845]][[-2.40760589 -1.40760589 -0.40760601] [-2.40760612 -0.40760607 -1.40760612]][[-0. -0. -0.40760601] [-0. -0.40760607 -0. ]]0.8152120.8152120.815212
- 交叉熵tf.nn.softmax_cross_entropy_with_logits的用法
- tf.nn.softmax_cross_entropy_with_logits的用法
- tf.nn.softmax_cross_entropy_with_logits()笔记及交叉熵
- tf.nn.softmax_cross_entropy_with_logits()笔记及交叉熵
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- TensorFlow 介绍 tf.nn.softmax_cross_entropy_with_logits 的用法
- TensorFlow学习---tf.nn.softmax_cross_entropy_with_logits的用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵 损失函数
- TensorFlow学习笔记之tf.nn.softmax()与tf.nn.softmax_cross_entropy_with_logits的用法
- tf.nn.softmax_cross_entropy_with_logits
- tf.nn.softmax_cross_entropy_with_logits()
- tf.nn.softmax_cross_entropy_with_logits
- tf.nn.softmax_cross_entropy_with_logits
- [译] TF-api(3) tf.nn.softmax_cross_entropy_with_logits
- webpack代码部署index.html无内容显示
- orale 多行合并为一行
- Android 判断一个字符串是否含有中文
- 微信小程序点击添加移除class
- 关于VMware tools的使用安装 超详细
- 交叉熵tf.nn.softmax_cross_entropy_with_logits的用法
- windows+php7安装laravel
- Linux系统常用基本操作(二)
- jqGrid文档
- telnet不能用!!!提示:-bash: telnet: command not found
- 关于 UART
- RobotFramework内置变量:Built-in Variables(转载)
- 分治算法
- 在Linux上安装Memcached服务(自己测试过了)