python脚本 用sqoop把mysql数据导入hive
来源:互联网 发布:汕头网页美工培训 编辑:程序博客网 时间:2024/05/20 01:13
主要功能:用python把mysql数据库的数据导入到hive中,该过程主要是通过python语言操作sqoop.
#! /usr/bin/env python# coding:utf-8# --------------------------------# Created by coco on 16/2/23# ---------------------------------# Comment: 主要功能说明 :初始化业务数据库import osimport pyhs2conn=pyhs2.connect(host="192.168.8.94",port=10000,authMechanism="PLAIN",user="hdfs")mysql_info={"host":"192.168.8.94","port":3306,"user":"root","passwd":"gc895316"}print mysql_infodef run_hive_query(sql): with conn.cursor() as cursor: cursor.execute(sql) return cursor.fetchall()def mysql_to_hive(host,port,user,passwd,database,table): #os.system("hadoop fs -rm -r /user/task/%s"%table) if [database] not in run_hive_query("show databases"): with conn.cursor() as cursor: cursor.execute("create database " +database) with conn.cursor() as cursor: cursor.execute("use "+database) if [table] not in run_hive_query("show tables"): os.system("sqoop import --connect jdbc:mysql://%s:%s/%s --username %s --password %s --table %s --hive-database %s -m 10 --create-hive-table --hive-import --hive-overwrite "%( host,port,database,user,passwd,table,database)) else: os.system("sqoop import --connect jdbc:mysql://%s:%s/%s --username %s --password %s --table %s --hive-database %s -m 10 --hive-import --hive-overwrite "%( host,port,database,user,passwd,table,database))mysql_to_hive(mysql_info["host"],mysql_info["port"],mysql_info["user"],mysql_info["passwd"].replace("(","\("),"wwn","cm_vip")
0 0
- python脚本 用sqoop把mysql数据导入hive
- python脚本用sqoop把mysql数据导入hive数据仓库中
- python脚本用sqoop把mysql数据导入hive数据仓库中
- sqoop把hive表数据导入到mysql中
- sqoop把hive数据导入到DB2
- sqoop hive mysql oracle 数据导入
- sqoop 导入mysql数据到hive
- sqoop导入mysql数据到hive中报错
- sqoop mysql数据导入Hive中
- SQOOP从MySQL导入数据到Hive
- sqoop将Mysql数据导入Hive中
- sqoop把hive数据导入mysql时,map卡在100%
- Hive数据仓库-Sqoop将数据从Mysql导入Hive中
- 用sqoop导入数据到hive中
- 用sqoop将oracle数据导入Hive
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 简化 RecyclerView 的多种 type 的 adapter,Fragment 可以动态添加到 RecyclerView 上,实现复杂的界面分多个模块开发
- c语言数组和指针
- 函数式编程
- 使用elasticsearch1.5.2实现查找附近的人
- 关于_WIN32_WINNT的含义
- python脚本 用sqoop把mysql数据导入hive
- 个人创业书笔记
- wifidog 源码初分析(1)
- HTML<frame>标签的使用
- AndroidStudio 使用Release签名进行Debug
- 枚举小结
- 一步一步实现iOS微信自动抢红包(非越狱)
- Oct week2
- 用Jersey开发RESTful服务