Hadoop QuickStart VM

Cloudera-Quickstart-VM-5.3.0

下载包: http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html

 

打开终端, 默认是cloudera用户, 切换到root用户

su - 

密码cloudera

[root@quickstart ~]# ll

-rw-------. 1 root root  3012 Dec 18 04:07 anaconda-ks.cfg

-rw-r--r--  1 root root 14092 Dec 25 21:18 categories.java

-rw-r--r--  1 root root 27980 Dec 25 21:22 customers.java

-rw-r--r--  1 root root 11466 Dec 25 21:22 departments.java

-rw-r--r--  1 root root 52798 Dec 18 04:31 hue.json

-rw-r--r--. 1 root root 16959 Dec 18 04:07 install.log

-rw-r--r--. 1 root root  5820 Dec 18 04:06 install.log.syslog

-rw-r--r--  1 root root 22771 Dec 25 21:23 order_items.java

-rw-r--r--  1 root root 16367 Dec 25 21:23 orders.java

-rw-r--r--  1 root root 21109 Dec 25 21:23 products.java

-rw-r--r--  1 root root     6 Dec 18 04:07 root

-rw-r--r--  1 root root   541 Dec 25 21:18 sqoop_import_categories.avsc

-rw-r--r--  1 root root  1324 Dec 25 21:22 sqoop_import_customers.avsc

-rw-r--r--  1 root root   409 Dec 25 21:22 sqoop_import_departments.avsc

-rw-r--r--  1 root root   980 Dec 25 21:23 sqoop_import_order_items.avsc

-rw-r--r--  1 root root   632 Dec 25 21:23 sqoop_import_orders.avsc

-rw-r--r--  1 root root   922 Dec 25 21:24 sqoop_import_products.avsc

 

查看已经启动的所有java进程

[root@quickstart flume]# jps

3614 HistoryServer

2036 NameNode

2342 JobHistoryServer

3829 HRegionServer

3190 ThriftServer

1951 JournalNode

4531 Bootstrap

3362 RunJar

2293 Bootstrap

10150 -- process information unavailable

1867 DataNode

15262 Jps

2657 ResourceManager

3069 RESTServer

1803 QuorumPeerMain

3593 Bootstrap

4552 

4345 Bootstrap

4587 

2425 NodeManager

3720 Master

3272 RunJar

2122 SecondaryNameNode

 

[root@quickstart flume]# jps -lm

3614 org.apache.spark.deploy.history.HistoryServer

2036 org.apache.hadoop.hdfs.server.namenode.NameNode

2342 org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer

3829 org.apache.hadoop.hbase.regionserver.HRegionServer start

3190 org.apache.hadoop.hbase.thrift.ThriftServer start

1951 org.apache.hadoop.hdfs.qjournal.server.JournalNode

3362 org.apache.hadoop.util.RunJar /usr/lib/hive/lib/hive-service-0.13.1-cdh5.3.0.jar org.apache.hive.service.server.HiveServer2

1867 org.apache.hadoop.hdfs.server.datanode.DataNode

2657 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager

3069 org.apache.hadoop.hbase.rest.RESTServer start

1803 org.apache.zookeeper.server.quorum.QuorumPeerMain /etc/zookeeper/conf/zoo.cfg

2425 org.apache.hadoop.yarn.server.nodemanager.NodeManager

3720 org.apache.spark.deploy.master.Master

3272 org.apache.hadoop.util.RunJar /usr/lib/hive/lib/hive-service-0.13.1-cdh5.3.0.jar org.apache.hadoop.hive.metastore.HiveMetaStore

2122 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

 

练习1: 使用sqoop从mysql导入数据到hive表中

[[e-mail] ~] sqoop import-all-tables \

  -m 1 \

  --connect jdbc:mysql://quickstart.cloudera:3306/retail_db \

  --username=retail_dba \

  --password=cloudera \

  --compression-codec=snappy \

  --as-avrodatafile \

  --warehouse-dir=/user/hive/warehouse

 

解决方法: 

http://stackoverflow.com/questions/15803266/name-node-is-in-safe-mode-not-able-to-leave

执行命令: hadoop dfsadmin -safemode leave

 

http://quickstart.cloudera:50070/explorer.html#/user/hive/warehouse

http://quickstart.cloudera:8088/cluster 

shutdown -h now

Sandbox_HDP_2.2_VirtualBox

http://hortonworks.com/tutorials/ 

http://localhost:8888/ 

http://localhost:8000/ 

点击Ambari的Enable, 然后访问: http://localhost:8080

hbase无法启动 : http://blog.csdn.net/bluishglc/article/details/42110429 

 

hadoop@hadoop:~$ ssh root@localhost -p 2222

The authenticity of host '[localhost]:2222 ([127.0.0.1]:2222)' can't be established.

RSA key fingerprint is d8:3b:33:13:b3:d4:c1:7a:03:47:a6:be:f7:6a:19:79.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '[localhost]:2222' (RSA) to the list of known hosts.

root@localhost's password: 

Last login: Fri Dec 26 07:55:29 2014

 

[root@sandbox current]# jps

2852 JobHistoryServer

2065 Bootstrap

6736 Kafka

20335 Jps

1434 ldap.jar

2041 QuorumPeerMain

2805 ResourceManager

8024 nimbus

11335 core

1179 EmbededServer

2334 Portmap

2332 Nfs3

12561 supervisor

2777 ApplicationHistoryServer

1733 DataNode

9737 drpc

1736 NameNode

1738 SecondaryNameNode

5384 AmbariServer

2832 NodeManager

667 HMaster

13162 logviewer

3515 gateway.jar

4427 UnixAuthenticationService

3030 Main

2272 HRegionServer

MapR-sandbox-for-hadoop

安装文档: http://doc.mapr.com/display/MapR/MapR+Sandbox+for+Hadoop 

入门指南: https://www.mapr.com/products/mapr-sandbox-hadoop/tutorials 

 

虚拟机网络设置:

设置桥接模式和Host-only两种. 

启动sandbox

如果遇到错误: mapr service not start with in 2 minutes可能是你的网络没有设置正确.

查看进程: jps -m

[root@maprdemo ~]# jps -m

5983 ThriftServer start

1038 QuorumPeerMain /opt/mapr/zookeeper/zookeeper-3.4.5/conf/zoo.cfg

1534 WardenMain /opt/mapr/conf/warden.conf

7323 NodeManager

2680 RunJar /opt/mapr/hive/hive-0.12/lib/hive-service-0.12-mapr-1408.jar org.apache.hive.service.server.HiveServer2

2322 Drillbit

5303 ResourceManager

2699 RunJar /opt/mapr/hive/hive-0.12/lib/hive-service-0.12-mapr-1408.jar org.apache.hadoop.hive.metastore.HiveMetaStore

4969 CommandServer /opt/mapr/conf/web.conf

3175 CLDB /opt/mapr/conf/cldb.conf

7204 JobHistoryServer

 

没有看到HBase等, 实际上其他服务都配置在/opt/mapr/conf/warden.conf中

登陆网页: http://192.168.0.135:8443/

hue用户名密码是: mapr/mapr

mcs用户名密码是: root/mapr