[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs的方式
来源:互联网 发布:java短链接 编辑:程序博客网 时间:2024/05/21 22:32
1. 假设,myql安装在bigdata2上。我们要在bigdata3上执行sqoop1。
2. 首先,要在mysql上创建一个'b3'@'%'的账户,这个账户限定只能从外部ip地址访问mysql。
3. 在bigdata3上做如下操作
http://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh_ig_jdbc_driver_install.html
mkdir -p /var/lib/sqoopchown sqoop:sqoop /var/lib/sqoop chmod 755 /var/lib/sqoop然后将从oracle官网下载的mysql的jdbc驱动,放到/var/lib/sqoop的目录下,且owner是sqoop,mod是755mysql-connector-java-5.1.40-bin.jar
4 切换用户到hdfs
su hdfs
5 设定hadoop的目录
export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
这里个目录有诸多hadoop的jar包,根据安装目录不同,可能略有不同。
6. 在bigdata3上执行
sqoop import --connect jdbc:mysql://10.14.1.4:3306/b_test --username b3 --password b3 --table t1 --target-dir /tmp/x
注意,这个/tmp/x必须不存在。
非常有可能出现各种异常,比如,在bigdata2上用b3做import就不能成功。
如果/tmp/x文件已经存在,也不能成功。
如果HADOOP_MAPRED_HOME没有设置,也不能成功。
如果/var/lib/sqoop里没有jdbc驱动,不会成功。
如果执行命令的用户不对,也可能不成功。
总之,失败的可能是很多的。需要一一排查。
0 0
- [bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs的方式
- Sqoop1.4.4使用增量导入模式将MySQL数据库中数据导入到HDFS中
- 使用sqoop1.99.6将mysql数据导入到hdfs
- 使用Sqoop1.4.4将MySQL数据库表中数据导入到HDFS中
- Sqoop1.4.4使用SQL语句形式将MySQL数据库表中数据导入到HDFS中
- Sqoop1.4.4将文件数据集从HDFS中导出到MySQL数据库表中
- Sqoop1.4.4将MySQL数据库表中数据导入到HBase表中
- sqoop1.4.5将mysql中的数据导入到HBase中
- 用sqoop将mysql数据导入到hdfs中
- 【甘道夫】Sqoop1.99.3基础操作--导入Oracle的数据到HDFS
- Sqoop1.4.4将MySQL中数据导入到Hive表中
- Sqoop2学习(二)—将MySQL数据库中数据导入到HDFS中
- Sqoop1.4.5+hadoop2.2.0进行Mysql到HDFS的数据转换
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- requireJs 使用
- 快速排序
- Android Studio 拷贝使用外部数据库
- 计算该日在本年中是第几天
- CSDN(makedown流程图)
- [bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs的方式
- 模拟电路学习笔记
- HBase总结(十四)LINUX下用Eclipse构建HBase开发环境
- 机器学习方法:使用Apriori算法和FP-growth算法进行关联分析(Python版)
- 数组中两个字符串的最小距离
- Destroy the Well of Life HDU - 1692
- Android Studio插件整理
- wpf数据库连接登陆案例
- poj1258 Agri-Net 最小生成树