学习hadoop过程中用到的linux命令:

来源:互联网 发布:淘宝有卖种子的吗 编辑:程序博客网 时间:2024/05/01 05:55

1.查看防火墙是否关闭
[root@master bin]# /etc/init.d/iptables status


将指定账户添加到root管理员群组
[root@slave2 hadoop]# chmod 740 /etc/sudoers 
[root@slave2 hadoop]# vi /etc/sudoers
'root    ALL=(ALL)       ALL
'hadoop  ALL=(ALL)       ALL
[root@slave2 hadoop]# chmod 440 /etc/sudoers


2.修改文件权限  
[root@slave2 java]# chown -R root:root /usr/java/jdk1.7.0_09/
[hadoop@slave2 java]$ chmod 755 /data/hdfs/data/
其中1是执行权限,4是读取权限,2是写入权限。上述权限对应描述符:drwxr-xr-x
[hadoop@slave2 ~]$hadoop dfsadmin -report


3.添加磁盘,查看磁盘状况
[root@db1 /]# fdisk -l
[root@db1 /]# df -k


用fdisk 对/dev/sdb 进行分区
[root@db1 /]# fdisk /dev/sdb


格式化 /dev/sdb1 分区
[root@db1 /]# mkfs -t ext3 /dev/sdb1


创建目录 并将 /dev/sdb1 挂在到该目录下
[root@master dev]# mount /dev/sdb /hdata/


设置开机自动挂载
[root@db1 /]# vi /etc/fstab


4.CentOS设置开机自动启动某服务
查看sendmail是否已经是系统服务:
  # chkconfig --list |
  grep sendmail 会显示:
  0:off 1:off 2:off 3:off 4:off 5:off 6:off
  使用如下命令设置sendmail服务关闭: 
   # chkconfig --level 5 sshd off
   
5.查看linux磁盘信息
linux中df命令参数用于查看Linux文件系统的状态信息,显示各个分区的容量、已使用量、未使用量及挂载点等信息
  df -k  以千字节KB 为单位显示各分区的信息
  df -a  显示所有分区包括大小为0 的分区
  df -T  显示分区类型EXT2 或EXT3 等


6.查看文件大小命令
linux中du命令参数用于查看文件或文件夹的大小。
du -b /home  以字节为单位显示/home 文件夹下各个子文件夹的大小
du -ks /home  以千字节KB 为单位显示/home 文件夹的总大小
du -ms /home  以千字节MB 为单位显示/home 文件夹的总大小


7.在vi中怎样将光标移到行尾和行首
若要到某一行的末尾用shift+A或者$
若呀到某一行的行首用^或者0.


8.LINUX提供了一个查看配置的命令(实际有相应的库函数)getconf,使用它即可,方法如下:
getconf LONG_BIT


9.用 uniq 除去重复行 
[hadoop@master ~]$ sort /opt/20120528_001.txt  | uniq
显示统计信息,包括重复行的重复次数.
[hadoop@master ~]$ sort /opt/20120528_001.txt  | uniq -uc


10.hadoop集群搭建中用到的命令:
遇到问题 because /usr/java/jdk1.7.0_09/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied
执行如下命令即可:
[hadoop@master ~]$ /usr/sbin/setenforce 0 
原创粉丝点击