TensorFlow学习记录-- 6.百度warp-ctc 参数以及测试例子2解释

1 百度CTC

https://github.com/baidu-research/warp-ctc/blob/master/README.zh_cn.md
优点：速度快很多。。。

2 CTC详解

总的来说就是想不对齐标签，来设计一个loss，通过最小化这个loss，可以得到精确的识别效果(即最后还能在不对齐标签的情况下解码出来)，在语音识别方面效果和优势明显。
未完待续

3 解读百度warp-ctc参数以及例子

1 ctc函数

ctc(activations, flat_labels, label_lengths, input_lengths, blank_label=0)    Computes the CTC loss between a sequence of activations and a    ground truth labeling.    Args:        activations: A 3-D Tensor of floats.  The dimensions                     should be (t, n, a), where t is the time index, n                     is the minibatch index, and a indexes over                     activations for each symbol in the alphabet.        #这个相当于logits吧（rnn预测的输出）：在tensorflow中，相当于第一个是时间序列t，第二个为batch n，第三个为输入数据的维度a，一样的        flat_labels: A 1-D Tensor of ints, a concatenation of all the                     labels for the minibatch.        #labels是1-D的tensor，例如，对于俩个输入数据，他的label分别为1,2，那么1-D的label就可以记为[1,2],这是一个batch的，假如多个batch，也要把多个batch打平，假如俩个batch的label都为1,2，那么俩个batch的label应该写作[1,2,1,2]。        label_lengths: A 1-D Tensor of ints, the length of each label                       for each example in the minibatch.        #这个是每个minibatch中每个例子的每个label的长度，可能是因为所有label都连在一起了，不告诉label的长度就无法区分了吧？        input_lengths: A 1-D Tensor of ints, the number of time steps                       for each sequence in the minibatch.        #上面这个是输入长度，这是每个minibatch的每个序列的时间吗？        blank_label: int, the label value/index that the CTC                     calculation should use as the blank label    #返回每个minibatch每个例子？的cost。    Returns:        1-D float Tensor, the cost of each example in the minibatch        (as negative log probabilities).    * This class performs the softmax operation internally.    * The label reserved for the blank symbol should be label 0.

2 基础测试 _test_basic输入解读

        #开始activations维度为(2,5)         activations = np.array([            [0.1, 0.6, 0.1, 0.1, 0.1],            [0.1, 0.1, 0.6, 0.1, 0.1]            ], dtype=np.float32)        alphabet_size = 5        # dimensions should be t, n, p: (t timesteps, n minibatches,        # p prob of each alphabet). This is one instance, so expand        # dimensions in the middle        #现在activations维度为(2,1,5)，对应为(t,batch_size,dims)        activations = np.expand_dims(activations, 1)        #label        labels = np.asarray([1, 2], dtype=np.int32)        #每个minibatch中每个例子的每个label的长度        label_lengths = np.asarray([2], dtype=np.int32)        #输入的时间序列长度        input_lengths = np.asarray([2], dtype=np.int32)

3 多batch测试 输入解读

        #开始activations维度为(2,5)        activations = np.array([            [0.1, 0.6, 0.1, 0.1, 0.1],            [0.1, 0.1, 0.6, 0.1, 0.1]        ], dtype=np.float32)        alphabet_size = 5        # dimensions should be t, n, p: (t timesteps, n minibatches,        # p prob of each alphabet). This is one instance, so expand        # dimensions in the middle        #现在activations维度为(2,1,5)，对应为(t,batch_size,dims)        _activations = np.expand_dims(activations, 1)        #现在activations维度为(2,2,5)，对应为(t,batch_size,dims)        activations = np.concatenate([_activations, _activations[...]], axis=1)        #flat labels        labels = np.asarray([1, 2, 1, 2], dtype=np.int32)        #每个minibatch中每个例子的每个label的长度，然后再组合起来        label_lengths = np.asarray([2, 2], dtype=np.int32)        #输入的时间序列长度，然后也再组合起来        input_lengths = np.asarray([2, 2], dtype=np.int32)