hadoop
来源:互联网 发布:优化教育怎么样 编辑:程序博客网 时间:2024/05/29 07:30
ssh localhost ssh免密登录
./sbin/start-dfs.sh 启动 hdfs
./sbin/start-yarn.sh 启动 yarn
./sbin/stop-dfs.sh 停止hdfs
./sbin/stop-yarn.sh 停止 yarn
赋权限
chown –R username:username /usr/hadoop/tmp
sudo chmod -R a+w /usr/local/hadoop
1、实际上有三种shell命令方式。
1. hadoop fs 适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
2. hadoop dfs 只能适用于HDFS文件系统
3. hdfs dfs 跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统
2、hadoop有提供相应的脚本去验证文件目录是否存在的:
查询hadoop下的目录 hadoop fs -ls / 或 hdfs fs -ls / ,权限:drwxr-xr-x 755
查询结果: /user /usr的所属组都是 supergroup
注:用cd 或 find 没用的,就这个搞了我好久,都是因为基础的东西没把握好。
3、网上说,接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。
然后可以查看一下 ./bin/hdfs dfs -ls /user/hadoop/input
- ./bin/hdfs dfs -mkdir /user/hadoop/input
- ./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
4、
- hadoop
- Hadoop
- Hadoop
- hadoop
- hadoop
- Hadoop
- Hadoop
- hadoop
- Hadoop
- hadoop
- hadoop
- hadoop
- hadoop
- Hadoop
- Hadoop
- hadoop
- Hadoop
- Hadoop
- navicat for MySQL,oracle,sqlserver,sqllite破解版
- SQLServer提取日期中的年月日及其他格式
- Qt控制台输入输出实现exe间通信
- 百度地图开发,实现鼠标悬浮时间以及点击事件
- JS邮箱验证-正则验证
- hadoop
- 23种设计模式之抽象工厂模式
- ASP从HTML标签中提取中文
- SQLServer存储过程实现单条件分页
- JS分段传输数据
- Python on ROS
- 从C++类创建后,自动创建的函数有哪些开始谈起
- JS表单提交
- ASP获取上月本月下月的第一天和最后一天