datax测试 读mysql 写hdfs
来源:互联网 发布:网络免费打电话软件下载 编辑:程序博客网 时间:2024/06/05 15:36
安装配置ant:下载
解压后配置环境变量ANT_HOME 同时将ANT_HOME/bin添加到PATH
安装配置mysql\
yum install mysql-server,安装完成后 执行mysqladmin -u root password 'root';
grant all privileges on *.* to peter@'localhost' identified by 'peter' with grant option;
create database xdata;
use xdata;
create table test_datax(user_id int,user_name varchar(30));
insert into test_datax values(111, 'peterlee');
insert into test_datax values(111, 'peterlee');
insert into test_datax values(111, 'peterlee');
安装配置hadoop 下载
配置core-site.xml hdfs-site.xml mapred-site.xml(最基本配置,网上一search一大把)
安装编译datax
从淘宝的开源svn上checkout一份代码
svn co http://code.taobao.org/svn/datax/trunk datax
用当前系统hadoop中的hadoop-core-xxxx.jar 替换下面的jar包
rpmbuild --ba XXXXX.spec (例如,t_dp_datax_engine.spec)
按照datax官方编译文档安装
安装完成后
在datax/bin目录下执行 python datax.py -e true 生成一个job配置文件 XXXXXXXXXXXXXX.xml
ptyhon datax.py /home/peter/datax/jobs/XXXXXXXXXXX.xml
- datax测试 读mysql 写hdfs
- HDFS读与写
- HDFS读和写
- mysql 写性能测试
- 测试HDFS读性能-读到本地缓存,不写硬盘的性能
- Sqoop安装与MapReduce读MySql写HDFS加载不了JDBC驱动问题
- hadoop HDFS工具类---对hdfs的读、写
- 【测试入门序列】如何用 DataX 导数据
- HDFS测试
- hadoop 从mysql中读取数据写到hdfs
- MySQL超时参数以及相关DataX数据同步案例分享
- HDFS写文件解析
- HDFS写文件解析
- hdfs写文件过程
- hadoop hdfs追加写
- HDFS写文件解析
- hadoop Hdfs写流程
- 写hdfs的API
- 【转】c与c++ static函数的区别
- XML解析类库对比和安装说明
- windows 下的 socat 工具下载地址和使用
- WebScoket 规范
- 判断一个数是否是2的幂数,并且判断是多少次方
- datax测试 读mysql 写hdfs
- 十六周任务一
- JAVA特殊语法
- android 关机流程分析
- 第十六周实验报告任务1
- 链表进行了翻转
- 字符串提取数字
- Android listView滑动刷新代码(分页功能)
- ConcurrentHashMap解析