Hadoop绑定多网卡问题
来源:互联网 发布:跨境电商进口数据分析 编辑:程序博客网 时间:2024/06/07 00:14
Hadoop多网卡绑定
- Hadoop多网卡绑定
- 网络环境介绍
- iptables介绍
- 详细操作配置
- 参考文章链接
Hadoop默认配置NameNode 运行 HDFS 协议的端口8020绑定的主机接口domain段均为0.0.0.0,表示可通过任一块网卡访问该端口。对于双网卡服务器(一个内网,一个外网),这就意味着公网上所有的用户均可访问Hadoop配置的HDFS,这样存在一个极大的安全问题。这样,我们就修改了配置domain端替换成内网IP,这就意味着只有内网的网卡可访问HDFS。安全问题是解决了,但有一个问题:Hadoop集群是租用的阿里云服务器,和我们公司的机器不在一个局域网内,也没有VPN连接,造成本地开发MapReduce的时候无法进行本地进行测试。下面就该问题进行概述解决。
网络环境介绍
5台阿里云ECS服务器,每台服务器都有两块网卡,安装NameNode节点的服务器为master,其网卡信息配置为:eth0为内网卡(10.10.12.9),eth1为外网卡(80.24.158.23)。HDFS服务端口为8020,使用命令:
#netstat -nltp | grep 8020tcp 0 0 10.10.12.9:8020 0.0.0.0:* LISTEN 5494/java
这里绑定的是内网卡的IP地址,我们要通过外网卡去访问该端口。这里使用iptables进行相关配置转发到该内网地址端口上。下面介绍一下iptables的使用和原理。
iptables介绍
Netfilter与Iptables
iptables四表五链
iptables数据流向
详细操作配置
- 配置允许路由转发
#vim /etc/sysctl.confnet.ipv4.ip_forward = 1 # 默认值为0,修改为1,表示允许转发#sysctl -p
- 关联包通过配置
#iptables -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
- 转发路由配置
#iptables -t nat -A PREROUTING -d 80.24.158.23 -p tcp --dport 8020 -j DNAT --to-destination 10.10.12.9:8020
- 查看配置
#iptables -t nat --list -n
参考文章链接
- http://coolnull.com/3322.html
- https://my.oschina.net/javagg/blog/3239
- http://www.cnblogs.com/zejin2008/p/5919550.html
0 0
- Hadoop绑定多网卡问题
- linux下多网卡绑定设置问题
- Hbase 绑定多网卡的问题
- Linux 多网卡绑定
- 虚拟机多网卡绑定
- Linux 多网卡绑定
- linux多网卡绑定
- dubbo服务器多个网卡绑定ip问题
- windows 组播网卡绑定,解决多网卡通信异常问题。
- Linux多网卡绑定(多网卡分流)
- 虚拟网卡配置与多网卡绑定
- Redhat实现多网卡绑定
- RedHat实现多网卡绑定
- linux下多网卡绑定
- 深入浅出多网卡绑定技术
- Centos 6.5 多网卡绑定
- 深入浅出多网卡绑定技术
- 深入浅出多网卡绑定技术
- phpMyadmin密码问题无法登陆
- 如何使一个ul居中在网页上,不设置宽
- C#中Console.WriteLine()的用法
- zeppelin研究群和公众号
- PHP正则表达式手册
- Hadoop绑定多网卡问题
- 消息转发-什么时候会报unrecognized selector的异常?
- C C++ 文件输入与输出
- MySQL数据备份之mysqldump使用
- nginx源码学习 非http服务器的负载均衡实现
- Python基本数据结构:列表
- [shell] - type command
- 分享一个HTML5的video用法
- JAVA线程概念