Ubuntu中的Hadoop
来源:互联网 发布:109普陀秒的数据 编辑:程序博客网 时间:2024/06/05 13:21
Hadoop下载
Apache官网下载地址:http://hadoop.apache.org/releases.html
选binary
Hadoop安装
1.通过windows挂载硬盘将文件复制到Linux下。
2.然后解压Hadoop:tar -xvzf hadoop.tar.gz
3.配置Hadoop系统参数:
sudo nano /etc/environment
内容如下:例
JAVA_HOME=/usr/soft/jdk1.8.0_151
HADOOP_INSTALL=/usr/soft/hadoop-3.0.0
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_151/bin:/usr/soft/hadoop-3.0.0/bin:/usr/soft/hadoop-3.0.0/sbin"
4.快速更新
source environment
5.查看版本
hadoop version
处理海量数据
1.存储
分布式文件系统:HDFS,Hadoop distributed file system
2.运算
MapReduce,map() + reduce
Hadoop配置:
1.独立模式
2.伪分布式
ssh登陆远程主机,无口令提示
sudo apt-get install shh
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost //第一次yes
exit
ssh localhost //第二次不需要口令
3.完全分布式
Hadoop使用:
参考:http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html
- Ubuntu中的Hadoop
- hadoop ubuntu
- hadoop ubuntu
- win7下Eclipse连接虚拟机中的ubuntu下的hadoop
- windows7下eclipse连接ubuntu中的hadoop开发环境配置
- hadoop ubuntu 安装
- ubuntu下部署hadoop
- ubuntu搭建hadoop
- ubuntu上hadoop配置
- hadoop on ubuntu
- Ubuntu下配置hadoop
- ubuntu 上安装 hadoop
- Ubuntu下hadoop部署
- ubuntu下安装hadoop
- ubuntu+myql+hadoop+mongodb
- ubuntu 12.04 安装hadoop
- ubuntu安装hadoop集群
- ubuntu 11配置hadoop
- 如何在VMWare的Ubuntu虚拟机中设置共享文件夹
- Go的坑我慢慢填
- git reabse -i 合并commit
- Excel在统计分析中的应用—第十一章—相关分析-简单线性相关-散点图法
- nginx: [alert] kill(1022, 1) failed (3: No such process)
- Ubuntu中的Hadoop
- @Pointcut——切点表达式重用
- jdk8中的PermGen永久代去哪里
- 十周第一次课 2017.12.18 安装PHP5、安装PHP7
- Git 的 4 个阶段的撤销更改
- linux kobject kobject_type kset
- JDBC详解系列(一)之流程
- ++ 符号
- C语言中指针的一些概念及用法