hadoop安装以及配置

ssh maste:连接master机
复制导入虚拟机
修改虚拟机名称以及工作目录
点击我已复制(底层新建网卡)
ifconfig (-a) 查看网卡
删除uuid
cd /etc/sysconfig/network-scripts
vi ./ifcfg-ens33
nmcli con show ：查看网卡uuid,然后在配置文件配置uuid
service network restart：重启网卡
访问网络
查看ifcfg-eno，文件ONBOOT=no改为yes
更换数据源
 wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
yum -y install wget






1:更改hostname
方式1；hostname hadoop01
hostname:显示hostname
方式2：永久更改
vi /etc/sysconfig/network
hostnamectl --static set-hostname 新的hostname名
重启：
shutdown -h now / reboot
3: vi /etc/hosts
192.168.1.123 hadoop01
192.168.1.117 hadoop02
192.168.1.124 hadoop03
4:免密登录
scp a.xx hadoop01:/root，远程复制，需要输入密码
需要登录那台电脑免密
ssh-keygen -t rsa
ssh-copy-id hadoop01
5：创建目录，以及配置hadoop和jdk
mkdir -p /export/servers
mkdir /export/data
mkdir /export/software
rm -rf /export
tar zxvf ./hadoop-2.6.1.tar.gz -C  ../servers/hadoop-2.6.1
ln -s hadoop-2.6.1 hadoop
vi /etc/profile
export HADOOP_HOME=/export/servers/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
cd /export/servers/hadoop/etc/hadoop
rm -f ./core-site.xml
rm -f ./hadoop-env.sh
rm -f ./hdfs-site.xml 
rm -f ./mapred-env.sh
rm -f ./mapred-site.xml
rm -f ./slaves 
rm -f ./yarn-site.xml
slaves：需要添加宿主以及分机的hostname


scp -r  ./hadoop-2.6.1/ hadoop03:/export/servers


ln -s jdk1.8.0_73 jdk
export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
生效
source /etc/profile
6:启动
  cd /export/data/hadoop/tmp/
  输入： hadoop namenode -format  格式化namenode，
  并且删除 tmp文件夹的内容（该文件夹和你的core—site.xml 中的hadoop.tmp.dir 配置有关)
 start-dfs.sh
 start-yarn.sh


 jps查看java进程
 hadoop fs -ls  /：查看指定路径当前目录结构
  hadoop fs -lsr  /：递归查看指定路径当前目录结构
  hadoop fs -du -h /： 统计目录下文件大小，去掉h显示字节
  hadoop fs -dus -h /:统计文件夹大小
  hadoop fs -count / :统计文件(夹)数量
  hadoop fs -mv [srcpath] [descpath] 
   -cp [srcpath] [descpath] 
   -rm -r [-skipTrash][path]:删除文件，空白文件夹
   -rmr [-skipTrash][path]:递归删除
   -put [多个linux文件]<hdfs路径>：上传
   -copyFromLocal [多个linux文件]<hdfs路径>：从本地复制
   -moveFromLocal [多个linux文件]<hdfs路径>：从本地移动
   -getmerge <srcpath><linuxPath> 合并到本地
   -cat  <hdfsPath> 查看文件内容
   -text <hdfsPath> 查看文件内容
   -copyToLocal[-ignoreCrc][-crc][hdfsPath][linux DescPath]：从本地复制
   -moveToLocal[-crc][hdfsSrcPath][linux DescPath]：从本地移动
   -mkdir <hdfsPath>
   -setrep [-R][-W]<副本数><path> 修改副本数量
   -touchz <path>:创建空白文件
   -stat[format]<path>:显示文件统计信息
   -tail [-f] <file>:查看文件尾部信息
   -chmod [-R]<权限模式>[path] 修改权限
   -chown [-R][属主][:[属组]]path：修改属主
   -chgrp[-R]属组名称 path：修改属组
   -help
  hdfs dfs 也可以执行相关命令
  hadoop fs -cat /sanbox/e/part* | head -n10 查看匹配到的文件的10条数据，


7：window配置hadoop
1：解压window-hadoop，文件复制到bin和lib目录
2：配置hadoop环境变量，bin
HADOOP_HOME
G:\HuanJing\hadoop-2.6.1
Path:%HADOOP_HOME%\bin;
3:hadoop dfsamdin -safemode leave ：退出安全模式,安全模式相当于初始化
4:配置端口映射这样访问:hdfs://hadoop:9000
 不配置需要这样访问:hdfs://192.168.1.123:9000


crontab -l :查看当前用户下的定时任务
crontab -e :编辑当前用户下的定时任务 cron表达式
crontab -r :删除crontab
service crond restart/stop/start/reload
service crond status:查看crontab服务状态


date 查看时间


8：关闭防火墙
systemctl stop firewalld.service


9:运行jar
hadoop jar ik.jar /sanbox/data/ik-test.log /sanbox/te/
mvn dependency:sources 尝试下载在pom.xml中依赖的文件的源代码。
mvn dependency:resolve -Dclassifier=javadoc 尝试下载对应的javadocs


10:查看fimage
文件系统元数据的一个永久性的检查点，其中包含文件系统中的所有目录和文件idnode的序列化信息；
cd /export/data/hadoop/tmp/dfs/name/current
hdfs oiv -i fsimage_0000000000000000247 -p XML -o fsimage.xml
hdfs oev -i edits_inprogress_0000000000000000248 -o  fsimage.xml
edits文件存放的是Hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所以写操作首先会被记录到edits文件中。


-------------hadoop疑难杂症
1:2个namenode都是activity导致无法访问
方案1：hdfs写的那台机器是待机状态的，所以不支持，要在active 机器中写才行。
hdfs haadmin -transitionToActive --forcemanual nn1 
方案2：rmr /hadoop-ha 
hdfs zkfc –formatZK 
访问： http://hadoop01:8088/
http://hadoop01:50070/