车辆计数“FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras”
来源:互联网 发布:手机淘宝首页装修模板 编辑:程序博客网 时间:2024/06/07 02:22
使用深度时空神经网络,在低质量视频中计算车数目。为了使用视频时间信息,结合FCN和时间递归神经网络(LSTM),即FCN-rLSTM估计车辆密度和车辆计数。FCN进行像素级预测,LSTM学习复杂的时间动态。使用残差连接,将车辆数目回归问题作为残差学习函数,加速网络训练过程。为保持特征分辨率,提出Hyper-Atrous集合FCN中artous卷积,综合不同层卷积信息。
车辆计数是统计给定区域内车辆数目,如下图所示:
上图中列举了车辆计数所面临的挑战,即视频的低帧率,低分辨率,高拥堵,大视角。普通的车辆计数法有帧差法,检测法,运动法,密度估计法及深度学习法。目前的方法很少考虑帧间相关性,即时间关系。
FCN-rLSTM
FCN可以做像素级预测,允许输入任意尺寸图像,目前的目标计数方法是估计目标密度图,累加整幅图密度得到目标数量。但这种方法受大视角视频和大尺寸车辆干扰。因此提出FCN-rLSTM
网络通过残差的方式估计车辆密度和车辆数目。
FCN-RLSTM网络包含卷积网络,反卷积网络,hyper-atrous特征综合及LSTM层。结构如下图所示:
卷积层和反卷积层使用
多任务学习
FCN-rLSTM包含两个任务,即像素级密度图和每帧全局车辆计数。如果目标使用点d来标记,车辆数目真值是点的数目,每个像素p的真值密度:由以点标记为中心且覆盖像素p的2D高斯核之和定义,即:
如果目标使用bbox标记,车辆数目是bbox数目,真实密度是:
FCN估计密度图,LSTM估计车辆数目,联合训练,车辆密度由FCN最后一个
LSTM车辆数目有两部分:基础部分由密度图集合得到,残差部分由LSTM学习到,综合两者得到最终的车辆数目:
损失函数为:
最终网络的损失函数为:
FCN-rLSTM的训练过程为:
实验结果
- 车辆计数“FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras”
- 车辆计数--FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras
- 人群计数--Cross-scene Crowd Counting via Deep Convolutional Neural Networks
- 越线人群计数--Crossing-line Crowd Counting with Two-phase Deep Neural Networks
- Techniques for preventing overfitting in training Deep Neural Networks
- Deep Spatio-Temporal Residual Networks(深度时空残差神经网络)
- Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
- Deep Learning in Neural Networks: An Overview
- Learning Structured Sparsity in Deep Neural Networks
- Deep Neural Networks for YouTube Recommendations
- Vehicle Control with Neural Networks
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- an empirical study of learning rates in deep neural networks for speech recognition 总结
- 【视频变化检测】2017CVPR Spatio-Temporal Self-Organizing Map Deep Network for Dynamic Object Detection from
- Deep learning-------------Neural networks
- Must known Tips/Tricks in Deep Neural Networks(译文)
- Must Know Tips/Tricks in Deep Neural Networks
- Must Know Tips/Tricks in Deep Neural Networks
- Spring多数据源导致配置失效
- 分布式事务、两阶段提交协议、三阶提交协议
- java之反射
- 遗传算法中几种不同选择算子及Python实现
- 10分钟让你知道什么是hadoop!
- 车辆计数“FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras”
- java 反射比较两个实体类不同
- SqlServer单表分组多列统计实现
- 获取本安卓手机的名称
- 互联网结构的最佳实践
- 【SQL】SQL语法复习
- poj1018 Communication System (有道翻译完全拯救不了)
- Linux修改密码
- 第三方登录