标签（空格分隔）： Linux实战教学笔记-陈思齐
---本教学笔记是本人学习和工作生涯中的摘记整理而成，此为初稿（尚有诸多不完善之处），为原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处，作者信息和本声明。否则将追究法律责任。http://www.cnblogs.com/chensiqiqi/
1）什么是NFS？
NFS是Network File System的缩写，中文意思是网络文件系统。它的主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或目录。NFS客户端（一般为应用服务器，例如web）可以通过挂载（mount）的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中（就是某一个挂载点下）。从客户端本地看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样，而实际上却是远端的NFS服务器的目录。
NFS网络文件系统很像Windows系统的网络共享，安全功能，网络驱动器影射，这也和Linux系统里的samba服务类似。只不过一般情况下，Windows网络共享服务或samba服务用于办公局域网共享，而互联网中小型网站集群架构后端常用NFS进行数据共享。
2）NFS在企业中的应用场景
- 在企业集群架构的工作场景中，NFS网络文件系统一般被用来存储共享视频，图片，附件等静态资源文件，通常网站用户上传的文件都会放到NFS共享里，例如：BBS产品的图片，附件，头像（注意网站BBS程序不要放NFS共享里），然后前端所有的节点访问这些静态资源时都会读取NFS存储上的资源。NFS是当前互联网系统架构中最常用的数据存储服务之一，前面说过，中小型网站公司应用频率更高，大公司或门户除了使用NFS外，还可能会使用更为复杂的分布式文件系统，比如Moosefs（mfs），GlusterFS，FastDFS等
- 在企业生产集群架构中，NFS作为所有前端Web服务的共享存储，存储的内容一般包括网站用户上传的图片，附件，头像等，注意，网站的程序代码不要放NFS共享里，因为网站程序是开发运维人员统一发布的，不存在发布延迟问题，直接批量发布到Web节点提供访问比共享到NFS里访问效率更高。
3）企业生产集群为什么需要共享存储角色。
- 这里通过图解给大家展示以下集群架构需要共享存储服务的理由。例如：A用户上传图片到Web1服务器，然后让B用户访问这张图片，结果B用户访问的请求分发到了Web2，因为Web2上没有这张图片，这就导致它无法看到A用户上传的图片，如果此时有一个共享存储，A用户上传图片的请求无论是分发到Web1还是Web2上，最终都会存储到共享存储上，而在B用户访问图片时，无论请求分发到Web1还是Web2上，最终也都会去共享存储上找，这样就可以访问到需要的资源了。这个共享存储的位置可以通过开源软件和商业硬件实现，互联网中小型集群架构会用普通PC服务器配置NFS网络文件系统实现。
- 当及集群中没有NFS共享存储时，用户访问图片的情况如下图所示。
上图是企业生产集群没有NFS共享存储访问的示意图。下图是企业生产集群有NFS共享存储的情况
- 中小型互联网企业一般不会买硬件存储，因为太贵，大公司如果业务发展很快的话，可能会临时买硬件存储顶一下网站压力，当网站并发继续加大时，硬件存储的扩展相对就会很费劲，且价格成几何级数增加。例如：淘宝网就曾替换掉了很多硬件设备，比如，用lvs+haproxy替换了netscaler负载均衡设备，用FastDFS，TFS配合PC服务器替换了netapp，emc等商业存储设备，去IOE正在成为互联网公司的主流。
1.2.1 NFS系统挂载结构图解与介绍
下图是企业工作中的NFS服务器与客户端挂载情况结构图
- 可以看到NFS服务器端/video共享目录挂载到了两台NFS客户端上。在客户端查看时，NFS服务器端的/video目录就相当于客户端本地的磁盘分区或目录，几乎感觉不到使用上的区别，根据NFS服务端授予的NFS共享权限以及共享目录的本地系统权限，只要在指定的NFS客户端操作挂载/v/video或者/video的目录，就可以将数据轻松地存取到NFS服务器端上的/video目录中了。
客户端挂载NFS后，本地挂载基本信息显示如下：
-
从挂载信息来看，和本地磁盘分区几乎没什么差别，只是文件系统对应列的开头是以IP滴噢址开头的形式了。
-
经过前面的介绍，我们知道NFS系统是通过网络来进行数据传输的（所以叫做网络文件系统）因此，NFS会使用一些端口来传输数据，那么，NFS到底使用哪些端口来进行数据传输呢？
-
NFS在传输数据时使用的端口会随机选择。可能有同学会纳闷，既然这样，NFS客户端是怎么知道NFS服务端使用的哪个端口呢？
-
答案就是通过RPC（中文意思远程过程调用，英文Remote Procedure Call简称RPC）协议/服务来实现，这个RPC服务的应用在门户级的网站有很多，例如：百度等。
1.2.2 什么是RPC（Remote Procedure Call）
- 因为NFS支持的功能相当多，而不同的功能都会使用不同的程序来启动，每启动一个功能就会启用一些端口来传输数据，因此，NFS的功能所对应的端口无法固定，它会随机取用一些未被使用的端口来作为传输之用，其中CentOS5.x的随机端口都小于1024，而CentOS6.x的随机端口都是较大的。
- 因为端口不固定，这样一来就会造成NFS客户端与NFS服务端的通信障碍，因为NFS客户端必须要知道NFS服务端的数据传输端口才能进行通信，才能交互数据。
- 要解决上面的困扰，就需要通过远程过程调用RPC服务来帮忙了，NFS的RPC服务最主要的功能就是记录每个NFS功能所对应的端口号，并且在NFS客户端请求时将该端口和功能对应的信息传递给请求数据的NFS客户端，从而确保客户端可以连接到正确的NFS端口上去，达到实现数据传输交互数据目的。这个RPC服务类似NFS服务端和NFS客户端之间的一个中介。
- 就拿房屋中介打个比喻吧：假设我们要找房子，这里的我们就相当于NFS客户端，中介介绍房子，中介就相当于RPC服务，房子所有者房东就相当于NFS服务，租房的人找房子，就要找中介，中介要预先存有房子主人房东的信息，才能将房源信息告诉租房的人。
- 那么RPC服务又是如何知道每个NFS的端口呢？
- 这是因为，当NFS服务端启动服务时会随机取用若干端口，并主动向RPC服务注册取用的相关端口及功能信息，如此一来，RPC服务就知道NFS每个端口对应的NFS功能了，然后RPC服务使用固定的111端口来监听NFS客户端提交的请求，并将正确的NFS端口信息回复给请求的NFS客户端，这样一来，NFS客户端就可以与NFS服务端进行数据传输了。
- 在启动NFS SERVER之前，首先要启动RPC服务（CentOS5.x下为portmap服务，CentOS6.x下为rpcbind服务，下同），否则NFS SERVER就无法向RPC服务注册了。另外，如果RPC服务重新启动，原来已经注册好的NFS端口数据就会丢失，因此，此时RPC服务管理的NFS程序也需要重新启动以重新向RPC注册。要特别注意的是，一般修改NFS配置文件后，是不需要重启NFS的，直接在命令行执行/etc/init.d/nfs reload或exportfs -rv即可使修改的/etc/exports生效。
1.2.3 NFS的工作流程原理
当访问程序通过NFS客户端向NFS服务端存取文件时，其请求数据流程大致如下：
1）首先用户访问网站程序，由程序在NFS客户端上发出存取NFS文件的请求，这时NFS客户端（即执行程序的服务器）的RPC服务（rpcbind服务）就会通过网络向NFS服务器端的RPC服务（rpcbind服务）的111端口发出NFS文件存取功能的询问请求。
2）NFS服务端的RPC服务（rpcbind服务）找到对应的已注册的NFS端口后，通知NFS客户端的RPC服务（rpcbind服务）
3）此时NFS客户端获取到正确的端口，并与NFS daemon联机存取数据
4）NFS客户端把数据存取成功后，返回给前端访问程序，告知给用户存取结果，作为网站用户，就完成了一次存取操作。
因为NFS的各项功能都需要向RPC服务（rpcbind服务）注册，所以只有RPC服务（rpcbind服务）才能获取到NFS服务的各项功能对应的端口号（port number），PID，NFS在主机所监听的IP等信息，而NFS客户端也只能通过向RPC服务（rpcbind服务）询问才能找到正确的端口。也就是说，NFS需要有RPC服务（rpcbind服务）的协助才能成功对外提供服务。从上面的描述，我们不难推断，无论是NFS客户端还是NFS服务器端，当要使用NFS时，都需要首先启动RPC服务（rpcbind服务），NFS服务必须在RPC服务启动之后启动，客户端无需启动NFS服务，但需要启动RPC服务。
注意：
NFS的RPC服务，在CentOS5.X下名称为portmap，在CentOS6.x下名称为rpcbind
1.3.1 NFS服务部署服务器准备
1.3.2 修改主机名及标签
1.3.3 必须的优化（统一使用模版机进行克隆）
从第二阶段开始教学笔记中出现的服务器配置没有意外的情况下，它的IP等相关信息都是统一的，第二阶段的教学当中一共大概会出现8-10台必须的服务器（搭建不同的业务），最终这些服务器就组成了我们第二阶段最后的考试内容，10台规模的基础核心架构集群。
因此，我们在克隆虚拟机的时候，要统一克隆模版，因此建议大家，准备一个虚拟机的模版机，只做克隆用。模版机的相关优化及克隆准备工作，请参看http://www.cnblogs.com/chensiqiqi/p/6228006.html实战教学笔记的第六节
1.4.1 NFS软件列表
要部署NFS服务，需要安装下面的软件包：
注意：
有关RPC协议知识这里大家不必细究，详细说明可见本章结尾命令部分。
1.4.2 查看NFS软件包
可使用如下命令查看默认情况下CentOS6.x里NFS软件的安装情况。
当不知道软件名字时候，可以用来过滤包含在引号内的字符串。grep -E这里相当于egrep。grep，egrep这两个命令在运维工作中非常常用并且很好用。CentOS6.8默认没有安装NFS软件包，可以使用命令来安装NFS软件。
如果出现rpcbind和nfs-utils开头的两个软件包，表示NFS服务端软件安装完毕
1.4.3 启动NFS相关服务
查看某个命令属于已经安装的哪个rpm包
1.4.1.1 启动rpcbind
因为NFS及其辅助程序都是基于RPC（remote Procedure Call）协议的（使用的端口为111），所以首先要确保系统中运行了rpcbind服务。启动的实际操作如下：
1.4.3.2 启动NFS服务
特别提示：
如果不启动rpcbind服务直接启动nfs服务的会启动时失败。
1.4.3.3 NFS服务常见进程详细说明
从上面NFS服务启动过程可以看出，运行NFS服务默认需要启动的服务或进程至少有：NFS quotas(rpc.rquotad),NFS daemon(nfsd),NFS mountd(rpc.mountd)。可以通过执行如下命令查看启动NFS后，系统中运行的NFS相关进程：
NFS服务的主要任务是共享文件系统数据，而文件系统数据的共享离不开权限问题。所以NFS服务器启动时最少需要两个不同的进程，一个是管理NFS客户端是否能够登入的rpc.nfsd主进程，另一个用于管理NFS客户端是否能够取得对应权限的rpc.mountd进程。如果还需要管理磁盘配额，则NFS还要再加载rpc.rquotad进程。
1.4.3.4 配置NFS服务端服务开机自启动
特别说明：
在很多大企业里，大都是统一按照运维规范将服务的启动命令放到/etc/rc.local文件里的，而不是用chkconfig管理的。把/etc/rc.local文件作为本机的重要服务档案文件，所有服务的开机自启动都必须放入/etc/rc.local。这样规范的好处是，一旦管理此服务器的人员离职，或者业务迁移都可以通过/etc/rc.local很容易的查看到服务器对应的相关服务，可以方便的运维管理。下面是把启动命令放入到/etc/rc.local文件中的配置信息，注意别忘了加上启动服务的注释。
1.5.1 NFS服务端配置文件路径
NFS服务的默认配置文件路径为：/etc/exports，并且默认是空的。
提示：
NFS默认配置文件/etc/exports其实是存在的，但是没有内容，需要用户自行配置。
1.5.2 exports配置文件格式
/etc/exports文件位置格式为：
NFS共享的目录 NFS客户端地址1（参1，参2...）客户端地址2（参1，参2...）
NFS共享的目录 NFS客户端地址（参1，参2...）
查看exports语法文件格式帮助的方法为：
执行man exports命令，然后切换到文件结尾，可以快速看如下样例格式：
修改配置文件以后，必须重启nfs服务
1.5.3 给共享目录更改属主属组为nfsnobady
特别提示：
如果不授权属主属组，那么共享目录挂载以后将不遵循配置文件exports的设定好的读写规则。虽然也能正常挂载，但是会导致写入文件时提示没有权限。
1.5.4 进行本地挂载测试
提示：
没有报错就说明挂载成功了。
1.5.5 进行文件写入测试
提示：
当配置文件exports里设定了（rw，rsync）后，表示目录可读写，并且是实时同步的。也就是说，在其中任意一个挂载目录里改变了里面的内容信息，那么所有挂载目录包含源共享目录的内容信息同步改变。
至此NFS服务器端配置完毕
1.6.1 回顾整体流程
1.6.2 客户端必须安装nfs-utils软件
提示：不安装则不能挂载nfs共享目录
1.6.3 检查远端showmount
1.6.4 客户端挂载
提示：-t nfs 可以省略
1.6.5 进行文件读写及同步测试
1.6.6 配置开机自动挂载nfs共享目录（/etc/fstab）
配置客户端mount挂载命令使挂载开机自动执行，这里有两种方法，如下：
第一种方法：将挂载命令放在/etc/rc.local里
缺点：偶尔开机挂载不上，工作中除了开机自启动配置，还要对是否挂载做监控
第二种方法，将挂载命令放在/etc/fstab里
其实所谓配置方法，这里有一个误区，如下：
- fstab会优先于网络被Linux系统加载。网络没启动时执行fstab会导致连不上NFS服务器端，无法实现开机挂载。而且，即使是本地的文件系统，也要注意，fstab最后两列要设置0 0.否则有可能导致无法启动服务器的问题。
- 因此，nfs网络文件系统最好不要放到fstab里实现开机挂载。
- 但是，如果是在开机自启动服务里设置并启动了netfs服务，放入fstab里也是可以开机挂载的。
例如：
如此一来，我们也可以通过fstab进行开机挂载了nfs网络文件系统了。同学们可以自行仿照测试。
至此NFS客户端配置完毕
实例一：
共享/data 目录给10.0.0.0/24整个网段可读可写。
实例二：
nfs服务器：172.16.1.31
共享下面两个目录：
/app/w :要求可读可写，同步数据，所有用户压缩为匿名用户
/app/r：要求只读，同步数据，所有用户都压缩为匿名用户
客户端上面的要求：
backup服务器，把nfs服务器的/app/r挂载到/data/r
web01服务器，把nfs服务器的/app/w挂载到/data/w
exports配置文件的相关参数，摘自man exports：
上述各个列的参数含义如下：
1）（rw,sync） :可读可写，同步传输
2）（ro,async）:只读，异步传输。
详细说明：
rw或者ro，主要控制的是所有客户端用户（包含root）的读写权限。如果设置成ro，就算root也只有读权限。它是NFS权限设置的第一道总闸阀门。
sync：同步传输，实时进行。
async:异步传输：攒一会在传输。
3）root_squash:将root账户在共享目录里的身份降低为匿名者（默认nfsnobody）身份
4）no_root_squash:不降低root账户在共享目录的身份，身份还是root
5）all_squash:将所有访问用户在共享目录里的身份都降低为匿名者（默认nfsnobody）身份
详细说明：
6）anonuid和anongid：指定NFS虚拟账户的uid或gid
- 这两个参数主要用来修改NFS默认的虚拟账户nfsnobody。可以通过指定虚拟账户的uid和gid的方式修改默认的虚拟账户的账户名称和所属组。
1）NFS客户端挂载后，往共享目录写入数据时卡住了
2）NFS服务端，重启restart服务，客户端如果写入数据卡住了。
解答：
1，nfs服务端重启之后，共享文件夹进入grace time（无敌时间）
2，客户端在服务端重启后写入数据大概要等90秒
3，nfs配置文件:/etc/sysconfig/nfs
在NFS服务端可以通过cat /var/lib/nfs/etab 查看服务端配置参数的细节。在NFS客户端可以通过cat /proc/mounts查看mount的挂载参数细节。
2.2.1 mount挂载说明
通过如下命令在NFS客户端测试挂载获取的默认挂载参数：
NFS Client mount 挂载参数列表
mount -o参数对应的选项：
|参数|参数意义|系统默认值|
某网友问：在企业生产环境中，NFS客户端挂载有没有必须要加的参数，比如，加noexec，nosuid，nodev，bg，soft，rsize，wsize等参数。
解答：
这个问题属于mount挂载优化内容（有些参数也适合其他文件系统），一般来说要适当加挂载参数，但是，最好是先做好测试，用数据来说话，才能更好的确定到底是挂载还是不挂载。
2.3.1 有关系统安全挂载参数选项
在企业工作场景，一般来说，NFS服务器共享的只是普通静态数据（图片，附件，视频），不需要执行suid，exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性，例如：很多木马篡改站点文件都是由上传入口上传的程序到存储目录，然后执行的。
因此在挂载的时候，用下面的命令很有必要：
2.3.2 mount挂载性能优化参数选项
下面介绍几个在企业生产环境下，NFS性能优化挂载的例子。
1）禁止更新目录及文件时间戳挂载，命令如下：
2)安全加优化的挂载方式如下：
3）默认的挂载方式如下：
如果是本地文件系统，使用如下命令：
注意：
如果本地文件系统挂载时，如果加入nodiratime会报错
2.3.3 NFS网络文件系统优化挂载的参数建议
在CentOS6.5 6.6 6.8等服务器端和客户端环境下，可使用如下命令参数：
经过实际测试，CentOS6.6 6.8默认的挂载参数性能还是不错的。
注意：非性能的参数越多，速度可能会变慢
2.3.4 NFS内核优化建议
下面是优化选项说明：
NFS服务可以让不同的客户端挂载使用同一个共享目录，也就是将其作为共享存储使用，这样可以保证不同节点客户端数据的一致性，在集群架构环境中经常会用到。如果是windows和Linux混合环境的集群系统，可以用samba来实现。
优点：
局限：
应用建议：
大中小型网站（参考点2000万/日PV以下）线上应用，都有用武之地。门户站也会有应用，生产场景应该多把数据的访问往前推，即尽量把静态存储里的资源通过CDN或缓存服务器提供服务，如果没有缓存服务或架构不好，存储服务器数量再多也是扛不住压力的，而且用户体验会很差。
NFS客户端实现fstab开机自启动挂载
现象：nfs开机挂载卸载了/etc/fstab中，结果无法开机自动挂载nfs
解答：
1，nfs客户对岸挂载命令放在/etc/rc.local实现自动挂载
2，开机自启动netfs服务，然后才能实现fstab的开机自动挂载nfs文件系统（linux开机时在加载网络之前就会加载/etc/fstab）
1，fstab文件被错误修改，导致在开机启动linux时候出现错误，提示让你恢复系统设置。
4）退出/etc/fstab。在命令行输入命令
的意思是将整个根目录已可读可写rw的方式重新挂载一边remount
5）我们再打开/etc/fstab 就会发现只读模式没了
6）赶紧修改fstab然后重启服务器。
2，光盘救援模式恢复（用linux光盘修复系统）
1）调整开机bios设置光盘启动，然后挂载光盘
2）重启系统，进入光盘救援模式
5）输入命令