笔记

=======================================================
hadoop03
[root@hadoop03 /]# mysql -uroot -p123456


=========================================================================
hadoop 排序
















=============================================================================
//
autocomplete="off"
//C:\Windows\System32\drivers\etc   配置对应路径
1 启动hdfs
http://192.168.8.110:50070/ 
cd /usr/hadoop/hadoop-2.2.0/sbin/start-dfs.sh
2 hadoop集群启动jps查看后没有DATANODE
删除data/hadoop/cluster/data/current/VERSION文件后重启即可
/usr/hadoop/hadoop-2.2.0/tmp/dfs/data/current
rm VERSION
3 hdfs 命令
hadoop fs 帮助
hadoop fs -ls hdfs://hadoop01:9000/ 或 hadoop fs -ls / 查看hdfs下的系统文件下的文件
hadoop fs -copyFromLocal /root/install.log /in.log 复制本地文件到hdfs文件系统下
hadoop fs -copyFromLocal /root/words /words.txt
hadoop fs -cat /in.log 或hadoop fs -cat /in.log | more  查看文件
（注查看行号信息more：空格翻页 回车换行less：上下键翻页 可以反复看（可以回翻页）head：显示前几行head -5 install.log 显示前5行tail：显... ）         
hadoop fs -count
 1            1              40356 /    多少个文件夹  多少个文件  占多大空间
find / -name aaaa
还可以用locate 来查找


locate aaaa
hadoop fs -rmr /   删除
hadoop fs -get /in.log  /home/ii.log   从hdfs下载到本地
hadoop fs -ls -R -h /  递归查询详情
hadoop fs -chmod -R -x /wcount 改变权限
hadoop fs -chown  supergroup /in.log  改变所属用户
hadoop fs -chgrp  supergroup /in.log  改变所属用户组
 hdfs dfs -ls /
3 rpc:不同进程之间的方法调用
 java -jar rpcclient.jar
4 hdfs 读取数据过程
ctrl+shift+t  查看类
ctrl+o  查看方法
=========================================
什么是mapreduce  执行流程是什么 遇到问题如何处理
mapReduce
1 启动year
hadoop fs -copyFromLocal /root/install.log /words
hadoop fs -cat /words
/usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce  （mapreduce地址）
hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /word /wcout  （执行mapreduce）
hadoop fs -cat /words


2 shift+alt+s 提示方法重写
3 1确定业务逻辑，输入输出数据样式 2 map类  3reducer类  4 合并map和reducer


dug  
4 mr 排序 combiners编程
==============================
hadoop jar /root/mrs.jar cn.itcast.hadoop.mr.wc.WordCount /words.txt /wordsCount;
hadoop jar /root/mrs.jar cn.itcast.hadoop.Inverse.InverseIndex  /ii /iiout;
cd /opt
cd /var
wget
http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.8.tar.gz
tar xzvf zookeeper-3.4.8.tar.gz
mv  zookeeper-3.4.8.tar.gz zookeeper //重命名
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg //复制样例文件  进行修改
scp 文件 root@ip:/文件位置  //拷贝文件到另一台机器上
==============================================================================
快捷方式 
打开终端ctrl+alt+t
显示隐藏文件 ctrl +h
显示桌面 ctrl+win+d
关闭当前窗口 alt+f4
截取全屏 = Print Screen
截取窗口 = Alt + Print Screen


 


查看软件安装位置:
dpkg -L xxxx


create /hadoop123 123456 //zookeeper 下创建文件
quit //zookeeper 退出客户端
touch myid  //创建文件
mkdir itcast //创建目录
more myid  //查看文件
hostname  //查看主机名
1、删除文件夹以及文件夹中的所有文件命令：
rm -rf 目录名字
其中：
-r：向下递归删除
-f：直接强行删除，且没有任何提示
 
2、删除文件命令
rm -f 文件名
将会强行删除文件，且无提示


vim /etc/sysconfig/network //修改主机名
vim /etc/hosts             //修改主机名和IP的映射关系
在提示符下输入reboot命令，重新启动服务器。
cd /itcast/zookeeper-3.4.5/bin   


zookeeper 集群
1 准备：
1 hadoop01 192.168.8.110/255.255.255.0/192.168.8.1 
2 hadoop02 192.168.8.112 
3 hadoop03 192.168.8.113 
4 hadoop02 192.168.8.114 
5 hadoop03 192.168.8.115 
6 hadoop03 192.168.8.116 


server.1=192.168.8.110:2888:3888
server.2=192.168.8.112:2888:3888
server.3=192.168.8.113:2888:3888


server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
拷贝到另外机器上
scp -r /root/itcast/  root@hadoop02:/
[root@hadoop01 data]# scp -r /root/itcast/  root@192.168.8.114:/


./zkServer.sh start
 ./zkServer.sh status;


==============================
zoo.cfg
# The number of milliseconds of each tick  
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/root/itcast/zookeeper-3.4.5/data
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
"zoo.cfg" 25L, 808C                                           1,1           Top
===========================================================================================
pig ？
hbase  数据库（列式数据库）
1 安装hbase  修改配置文件
vim hbase-env.sh
/usr/java/jdk1.7.0_79 


vim hbase-site.xml   
 
启动hbase
./start-hbase.sh 


./hbase
./hbase shell
help 'create'


  hbase> create 't1', 'f1', 'f2', 'f3'
  hbase> create 't1', {NAME => 'f1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}
  hbase> create 't1', {NAME => 'f1', CONFIGURATION => {'hbase.hstore.blockingStoreFiles' => '10'}}
//创建表
create 'people',{NAME => 'info',VERSION => 3},{NAME => 'data',VERSION => 1}
//查看所用表
list
//查看表结构
describe 'people'
//
help 'dml'
//插入数据 put help 'put'
put 'people' ,'rk001','info:name','liming'
//查看数据  scan get
scan 'people'
//配置hadoop 集群
shift+tab //内容缩进
1 修改6个配置文件 
cd /usr/hadoop/hadoop-2.2.0/sbin/start-dfs.sh
/usr/java/jdk1.7.0_79 
1 vim hadoop-env.sh
2 core-site.xml
3 2.2.3修改hdfs-site.xml
4 2.2.4修改mapred-site.xml
5 2.2.5修改yarn-site.xml
6 2.2.6修改slaves
对  格式化namenode


==================
2813
/usr/hadoop/hadoop-2.2.0/sbin
/usr/hadoop/hadoop-2.2.0/etc/hadoop


hadoop-daemon.sh start journalnode
2.2.1修改hadoo-env.sh
/usr/java/jdk1.7.0_79


  export JAVA_HOME=/usr/java/jdk1.7.0_55
vim hadoop-env.sh 完成
2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.2.0/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop02:2181,hadoop03:2181,hadoop04:2181</value>
</property>
</configuration>
2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop05:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop05:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop02:8485;hadoop03:8485;hadoop04:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/hadoop/hadoop-2.2.0/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

==================================
配置hbase 集群
1 启动zookeeper 集群
2 启动hdfs
cd /usr/hadoop/hadoop-2.2.0/sbin/
ssh 免登陆
ssh -keygen -t rsa 4个回车
cp  id_rsa.pub authorized_keys
exit
ssh-copy-id localhost/192.168.8.110
//修改hdfs
[root@hadoop05 hadoop]# vim hdfs-site.xml 
[root@hadoop05 hadoop]# vim core-site.xml 
[root@hadoop05 hadoop]# vim /etc/hosts
//
[root@hadoop05 sbin]# ssh -keygen -t rsa
[root@hadoop05 .ssh]# ssh-copy-id hadoop05hh
//shell 脚本
chmod u+x test.sh


set -x
current=`date +%Y%m%d%` //把返回值赋给变量
date +%Y%m%d%


crontab: installing new crontab
*（ 分钟） *（小时） *（日） *（月） *（星期）
===================
/etc/sysconfig/network-scripts






BOOTPROTO="static" #dhcp改为static 
ONBOOT="yes" #开机启用本配置
IPADDR=192.168.7.106 #静态IP
GATEWAY=192.168.7.1 #默认网关
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.7.1 #DNS 配置






ONBOOT="yes" #开机启用本配置
IPADDR=192.168.8.117 #静态IP
GATEWAY=192.168.8.1 #默认网关
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.8.1 #DNS 配置