tensorflow cross_entropy 四种交叉熵计算函数
来源:互联网 发布:java nio网络编程 编辑:程序博客网 时间:2024/05/01 03:08
Tensorflow交叉熵函数:cross_entropy
以下交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出,因为它在函数内部进行了sigmoid或softmax操作
tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)
_sentinel:本质上是不用的参数,不用填
labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor)
shape:[batch_size,num_classes],单样本是[num_classes]
logits:一个数据类型(type)是float32或float64的张量
name:操作的名字,可填可不填
它对于输入的logits先通过sigmoid函数计算,再计算它们的交叉熵,但是它对交叉熵的计算方式进行了优化,使得结果不至于溢出
它适用于每个类别相互独立但互不排斥的情况:例如一幅图可以同时包含一条狗和一只大象
tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)
_sentinel:本质上是不用的参数,不用填
labels:每一行labels[i]必须是一个有效的概率分布,one_hot=True(向量中只有一个值为1,其他值为0)
logits:labels和logits具有相同的数据类型(type)和尺寸(shape)
shape:[batch_size,num_classes],单样本是[num_classes]
name:操作的名字,可填可不填
它对于输入的logits先通过softmax函数计算
它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象
tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)
_sentinel:本质上是不用的参数,不用填
labels:shape为[batch_size],labels[i]是[0,num_classes)的一个索引, type为int32或int64
logits:shape为[batch_size,num_classes],type为float32或float64
name:操作的名字,可填可不填
它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象
tf.nn.weighted_cross_entropy_with_logits(labels, logits, pos_weight, name=None)
计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits()
_sentinel:本质上是不用的参数,不用填
labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor)
shape:[batch_size,num_classes],单样本是[num_classes]
logits:一个数据类型(type)是float32或float64的张量
pos_weight:正样本的一个系数
name:操作的名字,可填可不
计算公式: pos_weight*labels * -log(sigmoid(logits)) + (1 - labels) * -log(1 - sigmoid(logits))
1 0
- tensorflow cross_entropy 四种交叉熵计算函数
- tensorflow cross_entropy 四种交叉熵计算函数
- Tensorflow四种交叉熵函数计算公式:tf.nn.cross_entropy
- Tensorflow四种交叉熵函数
- Tensorflow交叉熵计算错误
- 机器学习--神经网络算法系列--交叉熵(Cross_entropy)
- Tensorflow中把稀疏的数字类别标签转为向量类型并计算loss和accuracy(附对mnist的损失函数值cross_entropy的理解)
- TensorFlow不同交叉熵计算方式
- tensorflow-softmax回归及交叉熵函数
- TensorFlow四种损失函数
- tensorflow的cross_entropy(loss)=nan问题
- Tensorflow四种交叉熵(cross entropy)算法实现和应用
- TensorFlow学习笔记(二十三)四种Cross Entropy交叉熵算法实现和应用
- tensorflow入门7 softmax函数和交叉熵损失函数
- TensorFlow交叉熵
- tensorflow交叉熵理解
- TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵 损失函数
- tensorflow当中sigmoid以Softmax在交叉熵cross_entropy_with_logits中计算原理以及代码实证
- 【LeetCode】233. Number of Digit One
- 异常检测RX算法
- Autolayout
- 用nfs挂载内核时出错 ERROR: Cannot umount的解决办法
- VMware的三种工作模式
- tensorflow cross_entropy 四种交叉熵计算函数
- LeetCode 遍历技巧 | 18. 4Sum
- 死磕 Java 并发 : 深入分析 volatile 的实现原理
- 计算机专外Week2-Exercises
- ubuntu下python 2.7与python 3.X的转换
- python把函数作为参数
- 网络编程基础
- 414. Third Maximum Number (java)
- Floyd—Warshall算法