集群-MySQL-jdbc-mapreduce
来源:互联网 发布:淘宝关闭花呗支付功能 编辑:程序博客网 时间:2024/06/03 19:59
跑的第一个实验今天晚上十点半终于跑出个东西了:每个mapper启动一个MySQL connection,结果给reduce汇总。
过程中遇到的问题很多,自然也学习到了很多。
1.maven选择性将依赖包打包的问题, http://www.cnblogs.com/dzblog/p/6913809.html,通过<scope>标签控制,不需要的就provided,需要的runtime;
2.给myql启动远程登录,http://www.cnblogs.com/linjiqin/p/5270938.html
3.Hadoop日志问题,一直输入的URL是master:50070,师兄过来一看,DataNode怎么都死了,然后发现这不是大集群啊……我想起来当时用小集群的时候配过etc/hosts,master映射到了小集群的IP……所以Hadoop的日志应该还是有价值的吧……虽然我没用日志分析,是硬调的代码+请大佬帮忙看代码沟通找到的问题所在:也就是大集群是无法访问我的电脑的MySQL的,跟我配不配置允许远程访问无关,因为大集群是处在它自己的局域网里的,无法访问局域网外的IP,只能访问局域网内的相对IP,所以连不上我的电脑,同理我也不能用那局域网内的相对IP访问集群上的MySQL,所以本地调试的时候不能连接集群的MySQL,只有提交到集群上跑的时候把代码IP改一下。
4.最后的乌龙是,从连接我自己的MySQL改成集群上的MySQL(建库,建表,传数据,导入的是CSV数据 http://blog.csdn.net/quiet_girl/article/details/71436108),代码的表名忘改了(可以说是好多年就这么丢三落四了,看得太仔细我怕眼睛瞎掉……),改完就好啦~
5.Linux和Mac OS的换行符是'\r',Hadoop也是在Linux系统上,输出文件格式所以要注意
另外,我终于知道为啥CSDN博客打不开(不好使)了,因为开了蓝灯……关了就好了,用国外服务器看来无法访问CSDN,虾米音乐APP也有同样的问题,其它音乐APP都好好的,在国外的时候虾米是不能用的……(限制了他俩的海外市场哈哈)
- 集群-MySQL-jdbc-mapreduce
- 当MySQL集群时, JDBC路径的使用方法.
- 当MySQL集群时, JDBC路径的使用方法.
- 当MySQL集群时, JDBC路径的使用方法
- 集群运行mapreduce原理
- Sqoop安装与MapReduce读MySql写HDFS加载不了JDBC驱动问题
- Hadoop集群-MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群 MapReduce初级案例
- Hadoop集群MapReduce经典案例
- 为hadoop集群安装mapreduce
- JDBC连接集群数据库
- jdbc oracle 集群配置
- JDBC连接SqlServer集群
- jdbc---mysql
- jdbc mysql
- jdbc-mysql
- glib 移植依赖 libmount 移植
- DOCTYPE有几种值,作用是什么?
- 我在管理技术团队时坚持的原则
- 001day(C++初步了解)
- unity_音轨可视化_效果实现_欧拉角的妙用和进一步理解
- 集群-MySQL-jdbc-mapreduce
- 在Android Studio中实现360加固自动化,进一步提升生产力!
- Linux(CentOS6.5)修改默认yum源为国内的阿里云、网易yum源
- Ubuntu 14.04 安装 chkconfig 服务管理程序
- HTML中的a标签实现点击下载
- 习题-1
- 学习过程
- 第4周项目5(2) 循环双链表应用
- 移动架构18_ListView源码分析