hadoop、spark学习中常用的linux命令

（

    设置服务开机启动：chkconfig 服务名 on

    值得注意的是，如果这个服务尚未被添加到 chkconfig 列表中，则现需要使用 --add 参数将其添加进去：chkconfig --add 服务名

    查询当前所有自动启动的服务，可以输入：chkconfig --list

）

1、IP查看：ifconfig，若未配置环境变量，则执行：/sbin/ifconfig

2、wget 下载路径：linux系统下资源下载

3、中文乱码问题：修改路径/etc/sysconfig/i18n，修改内容为：
LANG="zh_CN.GB18030"  
LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN"  
SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"  
SYSFONT="lat0-sun16" 

4、更改主机名：修改路径/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=master
修改路径：/etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               master master
::1             localhost6.localdomain6 localhost6

5、vi：编辑模式变命令模式，直接按Esc。
保存退出：（：wq!）
改动不保存：（：q!）

6、重启：reboot
   立即重启：shutdown -r now (root用户使用)
   关机：poweroff
   立即关机：shutdown -h now(root用户使用)

7、用户创建：useradd 用户名
   用户密码设置：passwd 用户名

8、cp：主要是用于在同一台电脑上，在不同的目录之间来回copy文件 
   scp：主要是在不同的Linux系统之间来回copy文件

9、关闭防火墙(iptables)：
    重启后永久性生效：
　　    开启：chkconfig iptables on
　　    关闭：chkconfig iptables off
    即时生效，重启后失效：
      开启：service iptables start
      关闭：service iptables stop

   关闭selinux服务：

     查看selinux状态：getenforce或sestatus -v 

     设置文件vim /etc/selinux/config

        注释掉：SELINUX=enforcing

        新增：SELINUX=disabled

     设置selinux服务临时关闭（无需重启）：setenforce 0

        
(
    CentOS 7.0默认使用的是firewall作为防火墙，使用iptables必须重新设置一下
    1、直接关闭防火墙
         停止firewall :systemctl stop firewalld.service 
         禁止firewall开机启动:systemctl disable firewalld.service 
    2、设置 iptables service
            yum -y install iptables-services
)

10、查看防火墙状态：service iptables status

11、网关更新信息：/etc/init.d/network restart

12、IP设置、自动获取IP：/etc/sysconfig/network-scripts/ifcfg-etc0

13、查看环境变量：set

14、服务的启动与关闭：service redisd start; service redisd stop

15、退出命令行操作模式：quit

16、退出ssh：ctrl+d

17、添加一个名为tommy的用户：adduser tommy 
   修改密码：passwd tommy

18、识别文件类型：file test.txt

19、./ : 是当前目录
    ../ : 是上一级目录
    ~/：表示的是个人目录，例如你的账户是student,那么~/代表的是/home/student/

    /:表示的是根目录。 cd / ,即进入根目录.

20、Linux中修改环境变量及生效方法

方法一： 
在/etc/profile文件中添加变量【对所有用户生效（永久的）】 
用VI在文件/etc/profile文件中增加变量，该变量将会对Linux下所有用户有效，并且是“永的”。 
要让刚才的修改马上生效，需要执行以下代码 
# source /etc/profile   

方法二： 
在用户目录下的.bash_profile文件中增加变量【对单一用户生效（永久的）】 
用VI在用户目录下的.bash_profile文件中增加变量，改变量仅会对当前用户有效，并且是“永久的”。 
要让刚才的修改马上生效，需要在用户目录下执行以下代码 
# source .bash_profile 
方法三： 
直接运行export命令定义变量【只对当前shell（BASH）有效（临时的）】 
在shell的命令行下直接使用[export变量名=变量值]定义变量，该变量只在当前的shell（BASH）或其子shell（BASH）下是有效的，shell关闭了，变量也就失效了，再打开新shell时就没有这个变量，需要使用的话还需要重新定义。 
export PATH=/usr/local/webserver/php/bin:$PATH

21、显示当前shell的变量，包括当前用户的变量：set;
    显示当前用户的变量：env;
    清除环境变量：unset 变量名;

22、有时候，对文件进行执行或修改的时候报错，有可能是对文件的权限不足。

23、文件删除：rm –rf;
             -r, -R, --recursive 递归删除目录及其内容;
             -f, --force 强制删除。忽略不存在的文件，不提示确认;

24、awk：一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报
告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开
的部分再进行各种分析处理。
三种方式调用awk：
1.命令行方式
awk [-F  field-separator]  'commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。相当于shell脚本首行的：#!/bin/sh，可以换成：#!/bin/awk
3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

25、rpm:类似Windows里面的“添加/删除程序
－ivh：安装显示安装进度--install--verbose--hash
－Uvh：升级软件包--Update；
－qpl：列出RPM软件包内的文件信息[Query Package list]；
－qpi：列出RPM软件包的描述信息[Query Package install package(s)]；
－qf：查找指定文件属于哪个RPM软件包[Query File]；
－Va：校验所有的RPM软件包，查找丢失的文件[View Lost]；
－e：删除包

26、运行yum命令出现：Loaded plugins: fastestmirror Determining fastest mirrors
问题分析：fastestmirror是yum的一个加速插件，这里是插件提示信息是插件不能用了。
问题解决：修改插件的配置文件/etc/yum/pluginconf.d/fastestmirror.conf  
enabled = 1//由1改为0，禁用该插件
修改yum的配置文件/etc/yum.conf
plugins=1//改为0，不使用插件

27、运行yum系统提示Existing lock /var/run/yum.pid: another copy is running as pid
    问题分析：主要原因就是yum在自动更新，所以再运行yum就会报这个错。
        问题解决：只要关掉正在执行的yum更新就可以了，停止正在运行的yum进程，或者禁用开机自动启动yum进程
    停止yum进程:rm -f /var/run/yum.pid
        停止自动更新:/etc/init.d/yum-updatesd stop
        我们不需要自动更新服务，可以直接删除它: yum remove yum-updatesd

28、centOR7安装bind:yum -y install bind bind-utils

29、scp ./id_rsa.pub grid@192.168.86.137:/home/grid/.ssh/authorized_keys

30、linux系统jdk环境变量配置： vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

31、如果secureCTR无法连接linux服务器，除了linux服务器防火墙未关闭外，还有可能为linux服务器未安装ssh

        ssh的安装：yum install ssh

        ssh的启动：service sshd start

        设置开机启动：chkconfig sshd on