Unix原理与应用(第四版)学习笔记1--理论篇

1Unix的体系结构与命令用法

Unix操作系统的两个组成部分:内核和壳.学习操作系统的一个重要的任务是命令集,Unix的帮助文档-man。

1.1Unix系统的结构

整个Unix是以几个简单并有点抽象的概念为核心的。Unix的成功在于对一组精心挑选出来的成熟的思想的充分的实现，并证明这些思想是实现一个小而强大的系统的关键技术。

1.1.1 任务分工—内核和壳

将内核和壳之间的任务分工,内核负责与机器的硬件打交道,shell则负责与用户打交道。

内核是操作系统的核心程序,是一组用C语言写成的例程,系统启动时被载入到内存里,直接对硬件设备进行控制.需要访问硬件设备的应用程序需要利用内核提供的服务,间接的访问硬件设备。函数调用请求内核服务。

除了为用户提供服务外，内核还要处理大量的日常事务(内存管理,进程管理,设备管理等等)。计算机本身不能理解用户输入的命令,需要一个命令解释器.一个系统只能有一内核在运行,可以有多个shell程序同时运行.

1.1.2文件与进程

Unix系统的两大支柱:文件和进程,文件是空间,进程是生命.

文件是字节序列,可以包含几乎任何内容,作为层次结构的一部分,它与另一文件有关联.定位文件时,需要选择莫事先定义好的位置作为参考点,Unix不在乎文件的类型,一切都是文件,最重要的一类文件是文本文件—系统的运行方式在很大程度上由这类文件决定.

进程是指内存中运行的程序,进程是可执行文件的”时间镜像”,与文件一样,进程也是一个层级结构里的成员.进程是一个有机体,有双亲,孩子和子孙,会在某个时间出生,在某个时间死亡.系统为我们提供了控制进程的工具.

1.1.3系统调用

Unix系统是由内核,shell和应用程序三个部分组成的,他们都是使用C编写的.虽然整个系统包含了一千多个命令,但是他们通过为数不多的几个函数调用与内核进行通信,这些函数调用为系统调用.各种不同类型的Unix系统的共同的特点是：他们的系统调用完全一样,都遵循POSIX规范。

1.2Unix系统的主要的特性

多用户多任务,管道+过滤器-->小即使美,Unix工具包,模式匹配,编程工具(shell以及其他的各种脚本)

Unix系统提供了全双工式的终端,shell将来自键盘的输入暂存到内核中的一个临时缓冲区,在当前命令执行执行完成后,内核再将命令传递到shell,让它进行解释.

1.3浏览在线帮助文档的man命令

man命令总是和某个特地的分页程序一起使用,Unix中的分页程序:

more：由Berkeley提供的分页程序,比AT&T公司的pg命令性能优越.

less:Linux系统的标准分页程序,模仿vi编辑器,功能比more强,使用vi导航和搜索的大部分功能.

导航和搜索:for b,搜索：'/'

小节

专题(SVR4)

名称(Linux)

说明

1

用户程序

用户命令

可由普通用户启动的命令

2

内核系统调用

系统调用

内核系统的函数

3

库函数

库函数

C 语言函数的库中的函数

4

管理文件格式

特殊文件和驱动

/dev目录中的特殊文件

5

其他

文件格式

如/etc/passwd等文件格式

6

游戏

游戏

系统提供的游戏，屏幕保护程序

7

特殊文件(/dev)

杂项和约定

标准文件系统的布局和手册页结构等杂项

8

管理命令

系统管理工具

只能由root启动的系统命令

1.3.1man帮助页的组成

一个man文档是有很多的部分组成,其中的一部分是公共的,另一部分是可有可无的.钱三个部分是NAME(使用一行介绍命令的功能),SYNOPSIS(概要,介绍命令的用法),DESCRIPTION(提供命令的详细内容).man-k,apropos,whatis,Linux的—help可选项

1.3.2出错时处理

终端和键盘的行为是不可预知的,一些终端设置将直接影响到键盘的操作,需要检查TERM变量值,下面使用一些常见的处理方法。

组合键或命令

功能

Ctrl+h

删除字符(删除键)

Ctrl+c|Delete

终端命令(终端键)

Ctrl+d

终止登录会话过程或终止等待键盘输入的程序(EOF标识)

Ctrl+s

停止屏幕翻页,锁住键盘

Ctrl+q

恢复屏幕翻页,键盘解锁--不明白有什么作用

Ctrl+u

取消命令行,不执行命令(命令行终止键)

Ctrl+\

终止正在运行的命令,但是生成一个核心文件保存程序在内存里的映像(quit)

Ctrl+z

挂起进程,返回到shell提示标识,用fg可唤醒进程(挂起键)

Ctrl+j

同Enter

Ctrl+m

同上

sttysane

恢复终端的正常状态(Unix命令)

2.通用命令介绍

Unix的命令的分类:1.常用的附件工具(计算器和邮件处理工具)2.显示系统的当前状态或者改变它的设置

为了可移植,POSIX规范建议使用printf;使用script命令记录一个会话过程的所有击键操作;基于图形的处理程序和基于字符的邮件处理程序的优点.mailbox和mbox在电子邮件系统中的作用。

工具命令:cal,date,echo|printf.

script—会话过程记录命令,可以把一个会话过程记录到一个文件中,这个命令没有包含到POSIX规范中,但是他可以记录所有的击键操作,所有输出结果和错误信息。在处理非常重要的任务时,可以使用这个命令.

2.1电子邮件基础

Unix系统往往很多用户同时使用,用户之间通信自然必不可少,电子邮件(email)很重要.

电子邮件寻址方式:寻址方式直接用主机名作为邮件的地址-->用户名@主机名

邮件处理工具:mailx,Linux使用mail来代替,

2.2系统管理工具

passwd,who,uname,tty(获取终端名称的命令),显示和设置终端特性的命令—stty

stty可以用过来修改终端的设置,echoe-能否删除字符,修改中断键(intr),修改文件结尾符(eof),默认设置(sane)

3 X windows 系统

MIT的毕业生最先提出Xwindows,X windows已经被所有的Unix系统制造商接受为标准的窗口系统。Xwindows属于X基金会,由两部分组成:X服务器和X客户端程序。X系统和其他的系统的据别和联系.

要求:X系统的结构,服务器与客户端程序的作用,窗口管理器

3.1X系统基础

客户端和服务器程序,客户-服务模式,X系统保留了C/S架构,将显示程序放在服务器端,应用程序兼作客户端程序-->X程序的移植性好.

要在一类的终端上运行一个X系统的客户端程序,设计者需要做的是为这类的终端编写一个X系统的服务端程序.

X服务器程序不仅能处理应用程序的输出,而且还能处理应用程序的输入。X系统的显示系统由多个显示器的显示屏幕组成,X客户端将他们的结果输出到显示器的各个窗口上(这些窗口没有框架,不能移动,也不能改变大小).一个专用的客户端程序来管理这些窗口.

X系统主要是为了在网络上运行,在一个机器上运行一个X系统的客户端程序,在另一个机器上输出其结果,这个就是X系统的最重要的特点。

窗口管理器

X系统不提供任何窗口管理功能来管理客户端程序创建的窗口.MIT的X系统包含了按钮和滚动条,但是外观平淡无奇,没有边框,也没有菜单,既不能移动和改变大小,也不能改变在窗口栈中的位置。X程序觉提外观不取决于X服务程序,而是取决GUI。GUI是一个自成体系的产品(另一个客户端程序,在X系统中,GUI被称之为窗口管理器)。

窗口管理器:OpenLook – Motif(mwm) – GTK/GTK+| Qt.

X系统启动需要经历复杂的过程:需要读取一个或者多个启动脚本,启动脚本决定调用哪个窗口管理器.Alt+Tab切换活跃的窗口。

3.2通用桌面环境

Motif曾经是标准窗口管理器,X window系统的具体发行版本的窗口管理器各不相同。

IBM,HP,SUN,Novell-->CommonOpen Software Environment(COSE)--Common Desktop Enviroment(CDE)

Linux-KDE,GNOME(GNU)

3.3启动和退出X系统

Unix系统将按某个运行级启动,这个运行级在系统安装时就确定了。X系统的启动的运行级可能是3或者5.系统按这个级别启动需要调用xdm(X显示管理器)显示图形界面.可以通过startx来手动的启动X系统。

startx—xinit命令(常用工具,读取.xinitrc脚本文件)

终端仿真程序以窗口的形式运行一个shell程序,用户可以在这个窗口中执行所有的Unix命令.xterm是所有的Unix系统最原始的终端仿真程序

3.4终端仿真程序

终端仿真程序可能是用户使用的最频繁的客户端程序,MIT将xterm和X系统一起发布。

GNOME(gnome-terminal),KDE(konsole)

3.5剪切和粘贴操作

为了实现“cut-plaste”功能,X客户端程序提供了Edit菜单,鼠标操作,xclipboard客户端程序。

Ubuntu系统已经有了相应的剪切版。

3.6远程运行X客户端程序

X系统主要的是为了在网络上运行,在单用户系统里,服务程序和客户端程序运行在同一个机器上,用户不必考虑对显示的控制.

• xhost命令可以实现将其他的计算机的输出结果在本地显示

• 使用重定向功能把客户端程序运行结果输出到另一个终端屏幕上,设置DISPLAY变量或者在客户端程序里使用-display可选项来实现

3.6.1使用DISPLAY变量

DISPLAY是一个shell变量,X系统利用它把一个X客户段程序的运行结果输出到其他机器上。赋予DISPLAY的值采用的是“主机名:服务器号.屏幕号”,如果是Tcp/ip网络,主机名存放在/etc/hosts或者从DNS中获取。如果没有主机名,必须使用IP地址。本地计算程序xcalc

3.7命令行选项

大多数的X系统的的客户程序都使用很多的可选项,其中的很多的命令是通用的

Options

Function

-foreground

窗口的前景颜色(-fg)

-background

窗口的背景颜色(-bg)

-display

指定显示客户端程序输出的主机屏幕

-geometry

窗口的大小和位置(-g)

-iconic

按最小化模式启动客户端程序

-title

出现在标题栏里的窗口标题

-name

应用程序名

-xrm

资源设置,它可以使资源文件里的设置无效

-reverse

背景颜色和前景颜色互换

3.8 一些标准的X客户端程序

MIT发行了50多个客户端程序—桌面辅助工具,字体和图形工具。一些标准的MIT客户端程序.

文件管理器(dtfile)-nautilus xclock-时钟模拟器xcalc-计算器xbiff-邮件通知显示

xload-显示系统负载 xkill—图形化杀死进程

X客户端程序是由许多对象组成的,如滚动条,按钮等,每类对象及其实例都有相应的属性(可以设置)。Xrdb-装载资源命令。

小结:X系统将应用程序分解为两个部分---客户端和服务器端,服务器端控制监视器,鼠标和键盘;应用程序本身以客户端程序的形式运行

4.网络工具

TCP/IPUnix .常用工具telnet和ftp。加密技术—secureshell,电子邮件服务和web服务工作机制—MIME协议。

TCP/IP和Internet都是基于客户机-服务器模式,守护进程一直监视特定的端口的请求。

主机文件:/etc/hosts.应用程序根据主机名可以在这个文件里查找相应的IP地址,或者更具IP地址查找相应的主机名,维护网络上的所有机器生成的/etc/hosts文件--->DNS系统.

4.1 TCP/IP应用程序

最初的TCP/IP是由一组程序发展而来的,这组程序称为DARPA集(telnet和ftp—登录-口令的方式登录服务器),Berkeley小组开发了一套软件工具:r工具集(rlogin,rcp,rsh---采用了免口令的授权方式).DARPA和Berkeley的r工具集都是使用的明文的形式传递数据。介绍SSH(secureshell),可以使用它来对整个通信过程进行加密。

ping,telnet,ftp(可以使用pwd,ls,cd,mkdir,rmdir和chmod)

ftp传输文件:注意文件的分类,所有的可执行文件,图形文件,子处理文件和多媒体文件都属于二进制文件,在传输这些文件时要先设定binary模式。

上传文件(put,mput),下载文件(get,mget,reget)

4.1密码学基础

密码学是一门关于信息安全的科学,它采用数学方法把信息转换成一种不容易理解的形式。密码学需要解决三个问题:认证,保密,完整。

很多的算法用来对数据进行加密和解密,这些算法决定了密钥生成的方式,同常分为两大类:

• 使用单一密钥的对称密钥法

• 使用两个密钥的非对称密钥法

密文的模式取决于密钥,因此数据的安全性取决于算法的健壮性和密钥的长度。

对称密钥和非对称密钥各有优缺点,SSH利用这两个技术在两端点之间建立了一个完全加密的会话过程.

4.1.1对称密钥算法

对称密钥算法指得是在加密和解密过程中使用同一个密钥。消息的发送者和接受者都必须知道这个密钥。对称密钥算法用于加密和解密的速度都非常的快,广泛用于大量数据加密。如果用户需要传递大量的数据,那么最好使用对称密钥保护数据。最常使用的对称算法是DES,3DES,Blowfish,IDES.

对称算法存在一个问题,那就是如何传递密钥,用户很多的时候,密钥的交换很成。

4.1.2非对称密钥算法

非对称密钥算法—公钥/私钥。一个公钥,一个私钥.其中一个用来加密,另一个用来解密.

公钥是发给所有人的,私钥是保留在用户自己机器的。

非对称密钥的速度非常的慢,比对称的慢1000倍。SSH使用对称算法加密数据,使用非对称算法发送密钥。SSH采用的RSA,DSA和Diffie-Hellman作为公钥系统。

4.2 SSH---安全外壳

telnet和ftp的安全性是一个很严重的问题。SSH可以解决所有的这些问题,它用一个对称密钥把整个会话过程加密,使用公钥/私钥机制认证主机和用户的身份。目前在使用的主要有两类的SSH协议---SSH-1和SSH-2.在技术细节上有差别。OpenSSH程序(Berkeley)实现了SSH-2协议。

4.2.1SSH工具

slogin用于远程登录

ssh用于远程登录和命令执行

scp和sftp用于文件传输

4.3DNS域名解析系统

APPANET使用集中式的主机来维护主机文件,规模的扩展使得维护这个文件是一件极其痛苦的事情。Berkeley的加入,DomainName System,一个分布式的系统,容易升级,三个重要的概念:

• 域名的层级结构

• 分布式数据库用于“域名-IP地址”映射

• 层级结构里的各级授权

5.程序开发工具

编译(.c-->.s文件)–汇编(.s– >.o目标码扩展名)–链接(链接器或者装配器：目标码和库-a.out)

cc(gcc)将源代码编译生成.s文件,然后调用as命令生成.o文件,然后调用ld生成可执行文件.可以直接调用ld命令,但是不好使,还是通过cc编译器比较好用,cc默认会删除.o文件,-c命令只生成目标文件.

cc-c a.c b.c c.c

cc-o foo a.o b.o c.o

5.1一个多文件的应用程序

大型应用程序由多个文件组成,这些文件包括了源程序和主程序所调用所需的函数的目标码,也包括了函数原型的说明的头文件,把任务分解成函数的好处：

• 函数代表模块,函数使程序更容易理解,因而更容易调试

• 函数可重用,同一个函数可以供多个程序使用

提示:是否将一段代码定义为函数:是否至少被使用过两次,或者至少被另一个程序使用。有时设计函数是为了功能分解。

5.2保留.o文件的原因

• .o文件才能生成可执行文件

• 可以根据最后修改时间来决定是否重新编译。

• 可以将一组.o问将合并成一个库文件,这样生成可执行文件时不需要说明全部的目标文件名，而只需要说明一个库文件。创建库文件由ar命令实现。

5.3 make – 保持程序更新

大型程序要用到十几个文件,使用make工具可以方便的管理这些文件之间的依赖关系。

make在当前目录下读取一个命令makefile或者Makefile文件,makefile中规则形式为:

target:dependency_list

command_list //Tabat beginning of line

make把#看成是注释行，用\符号把一行内容拆分为两行,每条规则之间有一个空行(newline)。Make递归的作用。最小立异原则。

Make的推断:

• 如果目标对象和从属对象具有相同的主文件名,无需说明命令列表。

• 如果从属文件中省略了源文件,则make认为源文件的主文件名就是目标文件名。

make的其他功能:文件清理和备份

make clean ---> make ---> make install

5.3.1 宏(macro)

make支持宏。宏为变量，用来定义反复使用的字符串,格式:macroname=value,一般放在makefile文件的开头部分,宏调用的格式是$(macroname)或者${macroname}

除了CC(编译器选项)外,make还有两个内置宏,CFLAGS-在编译中额外使用的可选项列表,LDFLAGS-连接器使用的可选项。

5.3.2ar命令---建立一个库文件(归档文件)

在实际的项目开发中要将makefile文件说明所有的目标文件，将是一件非常麻烦的事情,使用ar命令把他们集中到一个库文件中，则会提供很多的方便。ar命令处理归档文件的方式和tar命令一样。ar命令生成的归档文件的扩展名为.a。ar(-crv)命令的可选项:

-r:如果归档文件中没有这个文件,则把它加入到归档文件中,如果已有,则覆盖它

-q:把一个文件添加到归档文件末尾

-x:从归档文件中解压出某个文件

-d:从归档文件中删除某个文件

-t:显示档案文件清单

-v:详细信息显示

使用库文件编译:

cc-o calc_reposit.clibcalc.a -lm

cccalc_deposit.c -lcalc -L"."-lm (由于库文件名字很有规律lib+xxx+.a,可以使用-lxxx,-L说明库文件所在的位置)

-lxxx-表示libxxx.a或者libxxx.so

编译器在/lib和/usr/lib目录中搜索库文件,用户自定义的库需要使用-L说明其位置。

提示:如果创建了很多的库，最好建立一个目录存放。

Make命令可以维护库文件,详细参考makefile3文件。

5.4静态库和共享库

创建的是一个静态链接库,当程序编译后连接到一个静态链接库,静态库的目标代码插到可执行文件中,多个程序调用同一个文件,引起可执行文件的代码长度急剧增大。

C支持动态链接库,执行时加载,扩展名为.so。其支持程序运行较慢,但是可执行文件小。

5.6版本控制工具–SCCS和RCS

SourceCode Control System(SCCS),Revision ControlSystem(RCS):ci(签入),co(签出),rcs.

5.7小结

UNIX系统专为程序员设计的操作系统:make命令,版本控制系统,调试器(dbx和gdb)。 一些理论就是上面的这些,下一节介绍系统调用。我的学习笔记其实就是抄书打字，别具个人特色的土方法。

参考资料

[1] Unix 原理与应用(第四版)，印 Sumitabba Das著 ,吴文国译，清华大学出版社, 2008.1