点播系统hadoop存储视频长时间无响应
来源:互联网 发布:删除数据库sql 编辑:程序博客网 时间:2024/05/16 17:08
问题描述
最近之前一直正常的视频点播系统播放存储在hadoop上的视频出现响应时间长达一分钟的情况。点播系统播放通过nginx_lua代理从hadoop取数据。
查看nginx的日志,出现大量的错误如下。
*1885808 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 175.43.173.98, server: videopush.10jqka.com.cn, request: "GET /F10shang_1512559724.mp4 HTTP/1.1", upstream: "http://192.168.10.150:50075/webhdfs/v1/F10shang_1512559724.mp4?op=OPEN&namenoderpcaddress=localhost.localdomain:9001&offset=0", host: "videopull.10jqka.com.cn:8188"
其实是由于请求hadoop接收响应超时断开连接后,并且不断发起新的连接。
查看hadoop的datanode日志:
2017-12-08 11:43:24,627 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:
java.io.IOException: 断开的管道
出现大量如上的错误,实际是由于nginx超时断开连接后,hadoop往断开的连接写数据导致的。
解决方法
既然nginx出现超时连接,那么就把nginx的代理请求超时时间设置大一些。
server {
listen 80;
server_name localhost;
//如下为设置超时
proxy_connect_timeout 600;
proxy_read_timeout 600;
proxy_send_timeout 600;
实际上导致nginx超时的原因应该是hadoop的响应时间变长,具体hadoop为什么响应时间变长了还没有研究清楚。
- 点播系统hadoop存储视频长时间无响应
- Ajax 长时间无响应问题
- Windows启动后长时间无响应
- FFmpeg长时间无响应的解决方法
- FFmpeg长时间无响应的解决方法
- FFmpeg长时间无响应的解决方法
- FFmpeg长时间无响应的解决方法
- Zeppelin执行SparkSQL长时间无响应
- bundle install 长时间无响应的原因及解决办法
- 解决vs2012 2010编译c++链接长时间无响应
- bundle install 长时间无响应的原因及解决办法
- 关于svn checkout时卡死 长时间无响应 解决方案
- jedisPool.getResource()方法长时间无响应并且不报错
- 上传文件超过限制,造成长时间无响应的解决方案
- ArcGIS 注册版本长时间无响应处理案例
- Android Studio编译缓慢,长时间无响应优化
- linux下查看apache的状态,命令长时间无响应
- 一个高性能视频直播点播系统Vshine
- style.left和offsetLeft和offsetWidth和scrollTop区别
- Austin 第二天 | 炫技!Google 语音操控 GKE 部署集群及扩容服务
- 使用netty+zookeeper+protobuf实现一个RPC过程
- Java虚拟机详细解析--JVM类加载过程+内存分配+GC算法+垃圾回收器分类
- sklearn整理
- 点播系统hadoop存储视频长时间无响应
- Gym
- 静态方法和非静态方法的区别
- JAVA连接mysql数据库,动态创建表以及动态插入数据
- QT控件大全 三十七 QColplug
- VMware Workstation10 下安装 CentOS6.5( 安装图文教程 )
- 大华网络录像机
- List 泛型,传递参数为子类,调用方法接收为父类问题总结
- 《ApacheFlume教程》第九章 如何配置Flum