Deep Speech:端到端的语音识别
来源:互联网 发布:java 注解 注释 编辑:程序博客网 时间:2024/05/16 07:10
本文为百度的Deep Speech的论文笔记,本人为深度学习小白,文章内如有错误,欢迎请各位指出~
什么是端到端?
对于传统的语音识别,通常会分为3个部分:语音模型,词典,语言模型。语音模型和语言模型都是分开进行训练的,因此这两个模型优化的损失函数不是相同的。而整个语音识别训练的目标(WER:word error rate)与这两个模型的损失函数不是一致的。
对于端到端的语音识别,模型的输入就为语音特征(输入端),而输出为识别出的文本(输出端),整个模型就只有一个神经网络的模型,而模型的损失采用的CTC Loss。这样模型就只用以一个损失函数作为训练的优化目标,不用再去优化一些无用的目标了。
Deep Speech1
Deep Speech1的结构如下图所示:
全连接层
网络的前三层为全连接层,第一个全连接层的输入为语音的频谱数据(注意:图中是把5帧的频谱数据当做一个
其中
文章中使用的clipped ReLu函数表达式为:
双向RNN层
第4层为双向的RNN层,其中
以前向RNN为例,其中
:代表了第三层第t个隐藏单元的输出与权重矩阵的乘积;
:代表了第t-1个前向传播RNN的输出和权重矩阵的乘积;
: 代表了偏置
而此处的g()为之前叙述的clipped ReLu函数。
而网络的第五层则是非RNN层,主要是将第4层中的前向RNN和反向RNN求和作为隐藏单元的输出,然后经过的计算与普通的全连接层相同,其计算公式如下所示:
最后的第六层为softmax层,预测的是每个时间段内,将该段时间的语音识别为每个字母的概率。
模型采用的损失函数为CTC Loss,有关于CTC Loss的相关介绍可以查看我的另一篇博客。
Deep Speech2
- Deep Speech:端到端的语音识别
- Speech.Recognition(语音识别)
- Siri 语音识别 Speech
- 一个基于speech API5.1的通用语音识别类
- iOS 原生自带的离线语音识别---speech framework
- 使用微软的语音识别引擎Microsoft Speech API进行语音控制
- android语音识别 android.speech 包分析
- Microsoft Speech SDK5.1 语音识别
- android语音识别 android.speech 包分析
- C++ Visual speech Sdk 语音识别
- android语音识别 android.speech 包分析
- Microsoft Speech Platform SDK,语音识别
- 语音识别综述 awesome-speech-recognition-speech-synthesis-papers
- microsoft speech语音识别技术,语音朗读技术概述
- VC++如何编写一个语音识别的类for Micosoft speech Api5.1
- 一个基于Windows Vista speech API5.3以及WPF技术的语音识别代码
- 利用微软Speech SDK 5.1在MFC中进行语音识别开发时的主要步骤
- C#3.0基于 Speech.Recognition的grammerbuilder 语音识别定义模糊语法范例
- Java类型信息(持有对象)
- Linux.Note2
- 算法系列——Merge Sorted Array
- Android客户端配合Servlert服务端实现简单的数据交互
- git指令 创建仓库 上传项目 多人合作
- Deep Speech:端到端的语音识别
- HDU 题目1010 Tempter of the Bone
- BZOJ 1028-麻将(暴力+贪心)
- tensorboard错误 :TensorBoard attempted to bind to port 6006, but it was already in use
- (新) Kotlin搞起来 —— 2.常识与基础知识
- Linux.Note1
- hdu 2817
- 7.19
- ubuntu14.04+caffe+cuda8.0+openpose工作环境搭建