LINUX文件系统及日志分析

LINUX文件系统及日志分析

LINUX文件系统及日志分析

一、inode和block概述

文件数据包括元信息与实际数据文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节

1、block (块)

连续的八个扇区组成一个block(4K)是文件存取的最小单位元信息——————inode数据———————block

2、inode (索引节点)

中文译名为“索引节点”，也叫i节点用于存储文件元信息文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区"(sector)，每个扇区存储512字节。一般连续八个扇区组成一个"块"(block)，一a个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中，存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。 因此，一个文件必须占用一个inode， 并且至少占用一个block。inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码，获取inode信息; 根据inode信息，看该用户是否具有访问这个文件的权限:如果有，就指向相对应的数据block，并读取数据。查看文件名对应的inode号码有两种方式:ls-i 文件名stat 文件名stat testfile 输入命令File:、 testfile’Size: 102 Blocks: 8 I0 Block: 4096 regular fileDevice: 807h/2055d Inode: 1265161 Links: 1Access: (0644/-rw-r–r–) Uid: ( 0/ root) Gid: ( 0/ root)Access: 2014-08-13 14:07:20. 000000000 +0800Modify: 2014-08-13 14:07: 07.000000000 +0800Change: 2014-08-13 14:07 :07.000000000 +0800 ，

该图是用stat这个命令来查看文件的inode号。

如图所示就是mtime实验的内容，在图中我使用echo对这个文件内容进行了修改，其时间就会发生改变，如图最近更改，以及最近改动都发生了变化。ctime (status time):当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是createtime，更像是changetime,只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。

在图中我创建了一个以abc.txt命名的文件，然后我把这个文件移动，并且给他进行了重命名为123.txt但是其inode号并未发生改变。3.打开一个文件以后，系统就以inode 号码来识别这个文件，不再考虑文件名。4.使用vi编辑器修改文件数据保存后，会生成一个新的inode 号码。

在图中我使用了vim编辑器对123.txt这个文件进行了修改，然后用ll -i这个命令来进行查看，发现它的inode号已经发生了改变。删除文件方法：find ./ -inum 52305140 -exec rm -i {} ;find ./ -inum 50464299 -delete

3、inode的内容

inode包含文件的元信息不包含文件名文件的字节数文件拥有者的User ID文件的Group ID文件的读、写、执行权限文件的时间戳…用stat命令可以查看某个文件的inode信息示例: stat aa.txtinode的内容

二、目录文件的结构

文件名1 ——————inode号码1文件名2 ————————inode号码2每一行称为一个目录项目录也是一种文件目录文件的结构每个inode都有一个号码，操作系统用inode号码来识别不同的文件Linux系统内部不使用文件名，而使用inode号码来识别文件对于用户，文件名只是inode号码便于识别的别称

1、inode的号码

用户通过文件名打开文件时，系统内部的过程1.系统找到这 个文件名对应的inode号码2.通过inode号码， 获取inode信息3.根据inode信息，找到文件数据所在的block,读出数据查看inode号码的方法ls -i命令:查看文件名对应的inode号码Is -i aa.txtstat命令:查看文件inode信息中的inode号码stat aa.txt

2、硬盘的分区后的结构

文件名————目录项————目录块元信息————inode————inode表区块数据—————block—————block数据区block：八个扇区组成

3、inode的大小

inode也会消耗硬盘空间每个inode的大小一般是128字节或256宁节格式化文件系统时确定inode的总数使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

4、链接文件

为文件或目录建立链接文件链接文件分类

链接文件为文件或目录建立链接文件链接文件分类硬链接In 源文件目标位置软链接In -s 源文件或目录…链接文件或目标位置

5、inode节点耗尽故障处理

使用fdisk创建分区/dev/sdb1，分区大小30M即可fdisk /dev/ sdbmkfs.ext4 /dev/sdb1mkdir / testmount /dev/sdb1 /创建的文件df -i模拟inode节点耗尽故障for ((i=1; i<=7680; i++)) ;do touch /test/ file$i ; donetouch {1. . 7680} . txtdf -idf -hT

删除文件恢复rm -rf /test/*df -idf -hT

我们首先用fdisk -l这个命令，来对磁盘进行一个查看。

然后我们对磁盘进行分区的操作。

如图就是data这个目录inode号被占满的情况，如图显示，已经100%进行了使用。

我们使用rm -rf*来进行删除后，便可以进行创建文件的操作。

三、EXT类型文件恢复

extundelete是一个开源的Linux 数据恢复工具，支持ext3、 ext4文件 系统。(ext4 只能在centos6版本恢复)使用fdisk创建分区/dev/sdc1,格式化ext3文件系统fdisk /dev/sdcpartprobe /dev/sdcmkfs.ext3 /dev/ sdc1mkdir /testmount /dev/sdc1 /testdf -hT安装依赖包yum -y install e2fsprogs-devel e2fsprogs-libs编译安装extundeletecd /testwget //nchc .dl.sourceforge. net/project/ extundelete/extundelete/0.2.4/extundelete-0.2.4. tar .bz2tar jxvf extundelete-0.2.4. tar.bz2cd extundelete-0.2.4/. /configure --prefix=/usr/local /extundelete && make && make installln -s / usr /local/extundelete/bin/ * /usr/bin/模拟删除并执行恢复操作cd /testecho a>aecho a>becho a>Cecho a>dlsextundelete /dev/sdc1 – inode 2查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。rm-rf a bextundelete /dev/sdc1 --inode 2umount /testcd ~umount / testextundelete /dev/sdc1 --restore-all恢复/dev/sdc1文件系统下的所有内容在当前目录下会出现一 个RECOVERED FILES/目录， 里面保存了已经恢复的文件ls RECOVERED FILES/

然后我们进行格式化，以ext3文件名来进行格式化。

然后我们对extundelete这个软件包进行编译安装。

该图我们是进行了模拟删除的操作，如图要删除a和b这两个。

图中是我们进行解挂载的操作，然后我们在进行恢复数据的操作。案例:恢复XFS类型的文件xfsdump命令格式xfsdump -f 备份存放位置要备份的路径或设备文件xfsdump备份级别(默认为0)0: 完全备份1-9: 增量备份xfsdump常用选项: -f、 -L、 -M、-sxfsrestore命令格式xfsrestore -f 恢复文件的位置存放恢复后文件的位置模拟删除并执行恢复操作

四、xfs类型文件备份和恢复

CentOS 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。xfsdump的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump的备份级别默认为0。xfsdump的命令格式为:xfsdump -f 备份存放位置 要备份的路径或设备文件xfsdump命令常用的选项:-f: 指定备份文件目录-L: 指定标签session label-M: 指定设备标签media label-s: 备份单个文件，-s后面不能直接跟路径xf sdump使用限制:1.只能备份已挂载的文件系统2.必须使用root的权限才能操作3.只能备份XFS文件系统4.备份后的数据只能让xfsrestore解析5.不能备份两个具有相同UUID的文件系统(可用blkid命令 查看)使用fdisk创建分区/dev/sdb1,格式化xfs文件系统fdisk /dev/ sdbpartprobe /dev/sdbmkfs.xfs [-f] /dev/ sdb1mkdir /data .mount /dev/sdb1 /data/cd /datacp /etc/passwd ./mkdir testtouch test/a使用xfsdump 命令备份整个分区rpm -qa| grep xfsdumpyum install -y xfsdumpxfsdump -f /opt/dump sdb1 /dev/sdb1 [-L dump sdb1 -M sdb1]模拟数据丢失并使用xfsrestore 命令恢复文件cd /data/rm -rf ./*lsxfsrestore -f /opt/dump_ sdb1 /data/

然后我们进行挂载的操作。然后我们进行复制一些文件以及目录到我们创建的data2目录当中，我这里复制的是两个文件。==

我们使用xfsdump这个命令来对整个分区进行备份的操作。

如图所示，丢失的文件以及完成了恢复。

五、日志文件

1、日志的功能;

用于记录系统、程序运行中发生的各种事件通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

内核及系统日志由系统服务rsyslog统一进行管理， 日志格式基本相似主配置文件/etc/rsyslog.conf用户日志.记录系统用户登录及退出系统的相关信息程序日志由各种应用程序独立管理的日志文件，记录格式不统一

3、日志保存位置

默认位于: Ivar/log目录下

4、主要日志文件介绍

内核及公共消息日志/var/log/messages计划任务日志Ivar/log/cron系统引导日志/var/log/dmesg邮件系统日志

六、内核及系统日志

1、由系统服务rsyslog统一管理软件包: rsys1og-7 .4.7-16.el7.x86_ 64主要程序: /sbin/rsyslogd配置文件: /etc/rsyslog.confvim /etc/ rsyslog. conf查看rsyslog . conf配置文件，规则配置格式: [ 设备.级别动作]. info;mail . none; authpriv . none; cron . none/var/ 1og/messages. info 表示info等级及以.上的所有等级的信息都写到对应的日志文件里mail. none 表示某事件的信息不写到日志文件里( 这里比如是邮件)2、设备字段说明:auth 用户认证时产生的日志authpriv ssh、ftp等登录信息的验证信息daemon 一些守护进程产生的日志ftp FTP产生的日志lpr 打印相关活动mark rsyslog服务内部的信息，时间标识;news 网络新闻传输协议(nntp)产生的消息。syslog 系统日志uucp Unix- -to-Unix Copy两个unix之间的相关通信console 针对系统控制台的消息。cron 执行定时任务产生的日志。kern 系统内核日志local0~loca17 自定义程序使用mail 邮件日志user 用户进程Linux系统内核日志消息的优先级别( 数字等级越小，优先级越高，消息越重要) :0 EMERG(紧急):会导致主机系统不可用的情况。如系统崩溃1 ALERT(警告):必须马上采取措施解决的问题。如数据库被破坏2 CRIT(严重):比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能3 ERR (错误) :运行出现错误。不是非常紧急，尽快修复的4 WARNING (提醒) :可能影响系统功能，需要提醒用户的重要事件。不是错误，如磁盘用了85号等5 NOTICE (注意) :不会影响正常功能，但是需要注意的事件。无需处理6 INFO(信息):一般信息。正常的系统信息7 DEBUG(调试):程序或系统调试信息等。包含详细开发的信息，调试程序时使用none: 没有优先级，不记录任何日志消息。举例:mail. info /var/log/maillog :比指定级别更高的日志级别，包括指定级别自身，保存到/var/1og/maillog中mail.=info /var/log/maillog :明确指定日志级别为info，保存至/var/ log/maillogmail. !info /var/log/maillog :除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog. info /var/1og/maillog :所有facility的info级别，保存至/var/1og/maillogmail. /var/1og/maillog : mai1的所有日志级别信息，都保存至/var/1og/maillogmail. notice; news.info /var/log/maillog : mail的notice以 上记得日志级别和news的info以上的级别保存至/var/log/maillogmail, news.crit -/var/log/maillog : mail和news的crit以上的日志级别保存/var/1og/maillog中: “-"代表异步模式Jun 3 13:26:35:时间标签localhost vmusr[2439]: [critical] [GL ib-GObject]

七、程序日志分析

由相应的应用程序独立进行管理Web服务: /var/log/ //记录客户访问事件error log //记录错误事件代理服务: /var/log/squid/access.log、cache.log分析工具文本查看、grep过滤检索、Webmin管理套件中查看awk、sed等文本过滤、格式化编辑工具Webalizer、Awstats等专用 日志分析工具

八、日志管理策略

及时作好备份和归档 ：命令/脚本/+crontab/延长日志保存期限控制日志访问权限日志中可能会包含各类敏感信息，如账户、口令等集中管理日志将服务器的日志文件发到统一的日志文件服务器便于日志信息的统一收集、整理和分析杜绝日志信息的意外丢失、恶意篡改或删除

九、配置日志服务器收集日志

rsyslog是一个C/S架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听端口是514，只需要在MODULES打开即可。发送服务器: 客户端192. 168.80.20收集服务器: 服务端192. 168.80.30//关闭服务端和客户端防火墙、selinuxsetenforce 0systemctl stop firewalldsystemctl disable firewalld//修改客户端配置文件，并启动服务vim /etc/rsyslog. confMODULES将下面四行前的注释取消掉ModLoadimudpModLoad imudpModLoadimudpUDPServerRun 514ModLoadimtcpModLoad imtcpModLoadimtcp InputTCPServerRun 514RULES添加下列内容template myFormat, "×tamp% %hostname% syslogseverity-text% %syslogtag% %msg号\n"ActionFileDefaultTemplate myFormat*. info;mail . none; authpriv . none; cron. nonebr/>@@192.168.80.30:514timestamp%: 时间戳%fromhost-ip%:接收的信息来自于哪个节点的IP%hostname% :主机名%syslogseverity-text%:日志等级%syslogtag% :服务进程br/>%msg%:日志内容接收方IP前面一个@表示TCP传输，两个@表示UDP传输systemctl restart rsyslog//修改服务端配置文件，并启动服务vim /etc/ rsyslog. conf#将下面四行前的注释取消掉ModLoadimudpModLoad imudpModLoadimudpUDPServerRun 514ModLoadimtcpModLoad imtcpModLoadimtcp InputTCPServerRun 514#添加以下内容AllowedSendertcp,192.168.80.0/24允许192.168.80.0网段内的主机以tcp协议来传输AllowedSender tcp, 192.168.80.0/24允许192. 168.80.0网段内的主机以tcp协议来传输AllowedSendertcp,192.168.80.0/24允许192.168.80.0网段内的主机以tcp协议来传输template Remote, “/data/log/ %fromhost- ip%/fromhost-ip%_ %YEARYEAR%- %YEARMONTH%-%$DAY%. log”定义模板，接受日志文件路径，区分了不同主机的日志: fromhost-ip， ! isequal, “127.0.0.1” ?Remote过滤掉server 本机的日志systemctl restart rsyslog//在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致mkdir -p /data/log//验证#客户端的终端命令行输入或者重启-一个服务.logger “hello world”#在服务端查看日志文件tree /data/log/

十、journalctl 日志管理工具

日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这 个文件里读取信息。Systemd统一管 理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志(内核日志和应用日志)。日志的配置文件是/etc/ systemd/ journald. conf查看所有日志(默认情况下，只保存本次启动的日志)journalctljournalctl -r -r表示倒序，从尾部看(推荐)查看内核日志(不显示应用日志)journalctl -k查看系统本次启动的日志journalctl -b [-0]查看上一次启动的日志( 需更改设置,如上次系统崩溃，需要查看日志时，就要看上一次的启动日志)journalctl -b -1显示尾部指定行数的日志查看的是/var/1og/messages的日志，但是格式上有所调整，如主机名格式不一样而已journalctl -n 20 [-f]查看某个服务的日志journalctl -u nginx.service [-f]查看指定进程的日志journalctl_PID=1查看指定用户的日志journalctl_UID=0 --since todayjournalctl -xe-x是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址

-e pager-end 从末尾开始看

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。