Sqoop安装配置及将mysql数据导入到hdfs中
来源:互联网 发布:电脑照片修改软件 编辑:程序博客网 时间:2024/05/17 01:31
1. 解压Sqoop以及jar包拷贝
1) Hadoop版本为1.0.4,下载sqoop版本1.4.4-1.0.0,解压。
2) 将mysql-connector的jar包(5.1.29版本)复制至sqoop解压后的lib目录下。
3) 把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的lib目录
2. 配置
在/etc/profile里配置sqoop环境变量:
export SQOOP_HOME=/home/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0
export HADOOP_COMMON_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export HADOOP_MAPRED_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export PATH=${SQOOP_HOME}/bin:$PATH
3. 测试连接
进入${SQOOP_HOME}/bin目录, 通过shell脚本测试连接
$ ./sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123
如上图所示则连接mysql数据库成功!
4. 向HDFS中导入数据
通过以下shell脚本从mysql数据库向hdfs导入数据
$ ./sqoop import --connect jdbc:mysql://IP_ADDRESS:3306/DATA_BASE --table DATA_BASE --username root --password 123 -m 1
如上图所示,则数据通过MapReduce导入成功!
5. 查看结果
通过以下shell脚本,我们可以在master节点上查看,向hdfs上导入的数据
0 0
- Sqoop安装配置及将mysql数据导入到hdfs中
- Sqoop安装配置及将mysql数据导入到hdfs中
- 用sqoop将mysql数据导入到hdfs中
- 使用sqoop将mysql数据导入到hdfs
- 使用Sqoop将HDFS中数据导入MYSQL中
- sqoop从mysql数据库导入数据到hdfs中
- Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入(基于Hadoop2.7.3)
- Sqoop 数据从HDFS导入到mysql
- SQOOP从MySQL导入数据到HDFS
- 使用sqoop将mysql中数据导入到hive中
- Sqoop将MySQL中数据导入到Hive表中
- Sqoop数据迁移,工作机制,sqoop安装(配置),Sqoop的数据导入,导入表数据到HDFS,导入关系表到HIVE,导入到HDFS指定目录,导入表数据子集,按需导入,增量导入,sqoop数据导出
- 使用sqoop将mysql的数据导入到HBase中
- Sqoop MySQL 导入到HDFS
- Sqoop导入数据到hdfs
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- 利用SQOOP将数据从数据库导入到HDFS
- 虚拟现实,是否现实?
- hdu - 1297 Children’s Queue
- servlet生成验证码
- 红黑树(RED-BLACK TREES)基本概念
- 大学生面试着装要求(男生篇)
- Sqoop安装配置及将mysql数据导入到hdfs中
- java对象转换为json字符串
- 大家好
- ubuntu linux下mysql开机自启动
- iOS 中的 url 编码问题
- 数据分区汇总
- ATS(Apache Traffic Server 4.2)配置SSL
- hdu2363 枚举最短路
- AVL树C语言完整实现