hadoop日志【5】----存储迁移之后
来源:互联网 发布:java求1到200内的素数 编辑:程序博客网 时间:2024/05/19 01:08
集群使用的是一台实体加5台虚拟(分布在两台实体机上)
后来实体机的存储不够用了,就把虚拟机转移到了网络存储上
然后就悲剧了
性能急剧下降
是实体机网卡的瓶颈造成的
原来在实体机的时候,虚拟机在进行hadoop运算时只需要走一个相互间的通信
然而,在迁移到网络存储以后,则多了一个过程,既要进行相互间的通信,还多了一个网络存储的过程,编程了如下
虚拟机A==》A的网络存储==》虚拟机A==》虚拟机B==》B的网络存储==》虚拟机B..........................
理解hadoop计算过程的话就会明白这回增加多少的网卡负荷,结果瓶颈在了网卡上
这就使得以内存作为缓存的量急剧增加,机器在监控软件上一片彪红~~~
最可怕的是计算过程增加很多
另外,4G的机器作为DataNode,确实伤不起
- hadoop日志【5】----存储迁移之后
- 日志迁移
- hadoop状态分析系统chukwa (日志收集存储分析系统)
- flume安装配置-采集日志到hadoop存储
- Hadoop迁移namenode
- Hadoop迁移Namenode
- hadoop集群数据迁移
- Hadoop单机数据迁移
- Hadoop数据目录迁移
- Hadoop新旧集群迁移
- hadoop集群数据迁移
- Hadoop NameNode迁移
- hadoop迁移namenode
- hadoop 数据迁移
- Hadoop集群迁移合并
- 日志迁移公告
- hadoop日志
- Hadoop日志
- Yuyuko and Youmu
- 杭电oj题目分类
- 对已经得到的DataTable进行分组
- 自动化信任机制脚本
- ScrollView滚动到底部和顶部的检测
- hadoop日志【5】----存储迁移之后
- openstack创建虚拟机
- hdu 2503 1713 1108 最小公倍数&最大公约数
- 【转】HTML中的form表单的两种enctype属性
- javaScript逻辑与操作符运算规则
- python中计时工具timeit模块的基本用法
- 优酷去广告代码
- java注解应用实例 - Annotation, 自定义注解, 注解类规则
- Redis:安装、配置、操作和简单代码实例(C语言Client端)