Sqoop配置
来源:互联网 发布:php资产管理系统源码 编辑:程序博客网 时间:2024/06/05 15:26
Step 1:
Sqoop URL: http://apache.claz.org/sqoop/1.4.6/
版本:1.4.6
Step 2:
到上述地址下载Sqoop 1.4.6
Step 3:
在一个节点上(node11)上执行命令:
mkdir -p /opt/apps/Sqoop
Step 4:
使用xftp将下载的Sqoop tar包上传到上面的路径
Step 5:
执行命令:
tar -zxvf /opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Step 6:
下载一个mysql的jar包,使用xftp上传到解压后的lib下面:
/opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib
mysql-connector-java-5.1.32-bin.jar
Step 7:
执行命令:——配置环境变量SQOOP_HOME
vi ~/.bash_profilesource ~/.bash_profile
Step 8:
分别在三个节点上执行命令——启动zookeeper集群
zkServer.sh start
Step 8:
在node11节点执行命令,启动集群(hdfs、yarn)在node11和node12手动启动resourcemanager
start-all.shyarn-daemon.sh start resourcemanager
Step 9:
打开浏览器,输入下列网址,进行确认是否正常
http://192.168.80.11:50070/dfshealth.html#tab-overview
http://192.168.80.12:50070/dfshealth.html#tab-overview
http://192.168.80.11:8088
http://192.168.80.12:8088
Step 10:
在node11节点上执行命令,启动mysql 服务
service mysqld start
Step 11:
执行命令,进入mysql
mysql -uroot -p
Step 12:
在mysql中执行命令:
show databases;
Step 13:
在node11节点执行命令:
vi /opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/testdata/option1
编辑配置文件:
import--connectjdbc:mysql://node11/mysql--usernameroot--password123123--queryselect * from user WHERE $CONDITIONS--target-dirhdfs://ymf/sqoop/data--delete-target-dir-m1--as-textfile
Step 14:
在node11节点执行命令,复制配置文件,命名为sqoop-env.sh
cp /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env-template.sh /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env.sh
Step 15:
执行命令,对sqoop-env.sh 进行编辑
vi /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env.sh
添加Hadoop的安装路径
export HADOOP_COMMON_HOME=/opt/apps/hadoop/hadoop-2.6.0export HADOOP_MAPRED_HOME=/opt/apps/hadoop/hadoop-2.6.0export HBASE_HOME=/opt/apps/HBase/hbase-1.1.3export HIVE_HOME=/opt/apps/hive/apache-hive-1.2.1-binexport ZOOCFGDIR=/opt/apps/zookeeper/zookeeper-3.4.8
Step 16:
在node11节点上执行命令:
sqoop --options-file /opt/apps/Sqoop/sqoop-1.4.6/testdata/option1
Step 17:
在hadoop中执行命令,查看是否成功导入
hadoop fs -cat /sqoop/data/part-m-00000
- Sqoop配置
- 【配置】sqoop安装配置
- SQOOP的安装配置
- sqoop安装配置
- SQOOP的安装配置
- sqoop之安装配置
- Sqoop配置安装
- sqoop 1.99 安装配置
- sqoop 1.4 安装配置
- sqoop 1.99 安装配置
- Sqoop安装配置
- Sqoop安装与配置
- sqoop安装与配置
- Sqoop配置使用
- sqoop配置使用
- Sqoop安装配置教程
- Sqoop的安装配置
- sqoop安装配置
- 欢迎使用CSDN-markdown编辑器
- hibernate.cfg.xml配置
- 注解原理
- 简单线性电源 20170617 周六
- 动态规划实例(一):最长递增子序列(LIS)
- Sqoop配置
- 影梭工具
- Linux下串口通信详解(上)打开串口和串口初始化详解
- Unity3D相机切换效果
- K近邻算法(K-Nearest Neighbor)
- BZOJ 3991 洛谷P3320 [SDOI2015]寻宝游戏
- Qt笔记——三步设置Qt应用程序图标
- android获取手机基本信息
- R语言-数据结构