Hadoop虚拟机镜像

来源:互联网 发布:免费pdf合并软件 编辑:程序博客网 时间:2024/06/05 17:37

Hadoop虚拟机镜像(VMware 虚拟机 + linux +Hadoop)

前言:大数据、机器学习、深度学习、人工智能,这一IT浪潮不可谓不火。上至国家战略,下到普通老板姓茶余饭后谈资。作为一名IT从业者,我也从传统JAVA投身于这一波技术研发中。在开始学习hadoop大数据时,在搭建机器、搭建集群时花费了太多的时间,甚至有时因为最初的配置错误导致从头再来。左右互看,发现很多一起研究的伙伴,因为环境浪费大量时间,消耗了耐心和热情,导致最后放弃。我一直在思考,如何让新手能快速的上手?如何学到各自想要的技能?


*解决方法:Hadoop虚拟机镜像*


  • 思考一,不是人人都要做平台架构师

不是人人都想当平台架构师,社会也不需要这么平台架构师,特别不需要初级平台搭建者。比如你喜欢室内装潢设计,没人说你必须先学习房屋建设的知识与技能。同样的道理,社会行业中更多的是需要广大从业者使用大数据平台去实现一些传统实现不了的业务场景,而不是比谁的平台搭建得好看、用途更广、使用更方便。例如有人就像用hive做仓库模型设计、Hbase的Key设计、Kylin运行原理等等,但是不想关注底层其他组件如何使用。

  • 思考二,大树下好乘凉,快速上手

对应初学者,现在hadoop学习资料非常丰富,各种博客如繁星无数,免费教学视频也不少,在线、离线培训教育也挺多。道法三千,大体差不多。基本套路是,先搭建虚拟机、搭建集群、玩一下各种组件,模拟一下初级项目(把多个组件组合起来运用下),再讲解一些行业组件使用场景与经验。对于初学者,特别是在校生、刚毕业一两年者,搭建虚拟机就是第一道坎,不会玩Linux。其次,每套教程都是精心准备的原料工具,老师都给把雷排完了,照猫画虎可以,独立画虎反而成了四不像。先实际操作并使用一下各个组件的功能,然后再去反推各个组件如何搭建和调优。

  • 思考三,拿出一套成熟解决方案

正如一位前辈说的,简历中写熟练搭建台子,瞬间拉低逼格。台子搭建网上一大堆,给时间,谁都能模仿出来。不仅仅知道,而是要拿出一套成熟的解决方案。让很傻瓜的人直接上手使用。所以,重在业务,业务,业务!重要的事情说三遍。

  • 思考四,如何提供给大家一个平台

大数据模拟学习平台,在线商业的要收费、限制还很多;内部训练不可能开放;自己准备搭建一套供大家使用,发现每个人需要练习的方向不同,肯定需要修改各种参数,个人能力有限,无法承担维护工作。思前想后,最后决定准备几套虚拟机镜像供大家使用。直接解压就可以运行的虚拟机集群。

  • 思考五,免费还是收费

本着免费无好货,免费不珍惜的态度,决定让每位使用人员都用一碗面钱来获取。正如一种心理现象,付出后想收获更多的心理,能让人获得超出一碗面钱的价值,从而促进人进步。需要强调一点,这里的付出不是指那一碗面前,而是接下来选择投入到hadoop的研究中的个人时间与精力。

最后需要说的是,所有虚拟机镜像都是参考官网,配置最基础组件。因为每个人研究方向不同,肯定会有低参数配置导致的BUG,请大家多多深入研究,为中国象群的茁壮撸起袖子加油干!!!
链接( http://www.basichadoop.com )

原创粉丝点击