linux cpu占用率如何看
282
2022-11-05
inode和日志分析
@[toc]
inode号与block
一、inode与block
概念
文件数据包括元信息与实际数据 (元信息>>inode,数据>>block) 文件存储在硬盘上,硬盘最小存储单位是“扇区”(sector),每个扇区存储512字节
block(块)
连续的八个扇区组成一个block(4k) 是文件存储的最小单位 一般连续八个扇区组成一个"块"(block),一个块是4K大小,是文件存取的最小单位,文件数据存储在“块”中。 操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。
inode(索引节点)
中文译名为“索引节点”,也叫 i节点 用于存储文件元信息 文件数据包括实际数据与元信息(类似文件属性)。 文件数据存储在"块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。 因此一个文件必须占用一个inode,并且至少占用一个 block。 inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件,因此目录也是一种文件。 每个inode都有一个号码。操作系统用inode号码来识别不同的文件。Linux内部不使用文件名,而使用inode号来识别文件。 文件名只是inode号便于识别的别称。文件名和inode号是一一对应的关系,每个inode号都对应一个文件名。
系统访问文件的过程
==当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码;通过inode号码,获取inode信息,根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。==
inode包含文件的元信息
linux系统文件三个重要的时间属性
ctime(change time)==最后一次改变文件或目录(属性)的时间== atime(access time)==最后一次访问文件或目录的时间== mtime(modify time)==最后一次修改文件或目录(内容)的时间==
inode的内容
目录文件的结构 目录也是一种文件 目录文件的结构 每个inode都有一个号码,操作系统用inode号码来识别不同的文件 Linux系统内部==不使用==文件名,而==使用inode号码==来识别文件 对于用户,==文件名只是inode号码便于识别的别称==
inode的号码
用户通过文件名打开文件时,系统内部的过程 系统找到这个文件名对应的inode号码 通过inode号码, 获取inode信息 根据inode信息, 找到文件数据所在的block,读出数据
inode的大小:
inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盏分成两个区域。 一个是数据区,存放文件数据 另一个是inode区,存放inode所包含的信息。 每个inode的大小一般是128字节或256字节 通常情况下不需要关注单个inode的大小,而是需要重点关注inode总数。 inode的总数在格式化时就给定了,==执行"df-i”命令==即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量。 由于inode号码与文件名分离,导致Linux系统具备以下几种特有的现象: 文件名包含特殊字符,可能无法正常删除。这时直接删除inode,能够起到删除文件的作用 移动文件或重命名文件,只是改变文件名,不影响inode号码 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名 文件数据被修改保存后,公生成一个新的inode号码。
通过inode号删除文件
 # 二、inode节点耗尽故障处理       # 三、恢复误删除文件 ## 1.恢复EXT格式文件 extundelete是一个开源的Linux数据恢复工具,支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)    创建文件,并赋予内容,查看inode号 ```html/xml echo a>文件名 ##创建文件 ls ##查看inode号 rm -rf a b ##删除a、b,再次查看inode (模拟故障) umount /opt -lf ##解挂载 extundelete /dev/sdc1 --restore-all ##恢复操作 ls ##查看会发现生成一个目录 cd 生成的目录 ##之前删除的文件会再次恢
2.xfs类型文件备份和恢复
概述:CentOS 7 系统默认采用 xfs类型的文件,xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种0表示完全备份(默认为0)1-9表示增量备份 xfsdump 命令格式xfsdump -f 备份存放位置 要备份的路径或设备文件 xfsdump 命令常用的选项 f:指定备份文件目录 L:指定标签 session label M:指定设备标签 media label s:备份单个文件,-s 后面不能直接跟路径 sfsdump使用限制只能备份已挂载的文件系统必须使用root的权限才能操作只能备份 XFS 文件系统备份后的数据只能让 xfsrestore 解析不能备份两个具有相同 UUID 的文件系统(可用 blkid命令查看)
四、分析日志文件
1.日志的功能
用于记录系统、程序运行中发生的各种事件通过阅读日志,有助于诊断和解决系统故障
2.日志文件的分类
内核及系统日志由系统服务rsyslog统一进行管理,日志格式基本相似主配置文件/etc/rsyslog.conf 用户日志记录系统用户登录及退出系统的相关信息 程序日志由各种应用程序独立管理的日志文件,记录格式不统一 默认放在目录/var/log/下
3.主要日志文件介绍
内核及公共消息日志/var/log/messages:记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。 计划任务日志/var/log/cron: 记录crond计划任务产生的事件信息。 系统引导日志/var/log/dmesg:记录Linux系统在引导过程中的各种事件信息。 邮件系统日志/var/log/maillog:记录进入或发出系统的电子邮件活动。 用户登录日志/var/log/secure: 记录用户认证相关的安全事件信息。/var/log/lastlog: 记录每个用户最近的登录事件。二进制格式/var/log/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式/var/run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式
4.内核及系统日志
由系统服务rsyslog 统一管理软件包:rsyslog-7.4.7-16.el7.x86_64主要程序:/sbin/rsyslogd配置文件:/etc/rsyslog.conf 设备字段说明
auth | 用户认证时产生的日志 |
authpriv | ssh、ftp等登陆信息的验证信息 |
daemon | 一些守护进程产生的日志 |
ftp | FTP产生的日志 |
lpr | 打印相关的活动 |
mark | rsyslog服务内部的信息,时间标识 |
news | 网络新闻传输协议nntp产生的消息 |
syslog | 系统日志 |
uucp | Unix-to-Unix copy 两个unix之间的相关通信 |
console | 针对系统控制台的信息 |
cron | 系统执行定时任务产生的日志 |
kern | 系统内核日志 |
local0-local7 | 自定义程序使用 |
邮件日志 | |
user | 用户进程 |
日志消息的级别Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)
级号 | 消息 | 级别 | 说明 |
---|---|---|---|
0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
2 | CRIT | 严重 | 比较严重的情况 |
3 | ERR | 错误 | 运行出现错误 |
4 | WARNING | 提醒 | 可能会影响系统动能的事件 |
5 | NOTICE | 注意 | 不会影响系统但值得注意 |
6 | INFO | 信息 | 一般信息 |
7 | DEBUG | 调试 | 程序或系统调试信息等 |
5.日志记录的一般格式
时间标签: 消息发出的日期和时间
主机名: 生成消息的计算机的名称
子系统名称: 发出消息的应用程序的名称
消息: 消息的具体内容
6.用户日志分析
分析工具users、who、 w、last、lastblast命令用于查询成功登录到系统的用户记录lastb命令用于查询登录失败的用户记录
7.程序日志分析
由相应的应用程序独立进行管理Web服务:/var/log/#记录客户访问事件error_log #记录错误事件代理服务:/var/log/squid/access.logcache.log分析工具文本查看、grep过滤检索、Webmin管理套件中查看awk、sed等文本过滤、格式化编辑工具Webalizer、Awstats等专用日志分析工具
8.日志管理策略
及时作好备份和归档 (日志收集方式:命令/脚本、rsyslog、ELK/EFK、)
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器 便于日志信息的统一收集、 整理和分析 杜绝日志信息的意外丢失、恶意篡改或删除
5、journalctl 日志管理工具
日志管理工具journalct1是centos7上专有的日志管理工具,该工具是从message这 个文件里读取信息。
Systemd统一管理所有Unit的启动日志。带来的好处就是,可以只用journalctl一个命令,查看所有日志(内核日志和应用日志)。
日志的配置文件是/etc/systemd/ journald. conf
#查看所有日志(默认情况下,只保存本次启动的日志)
journalctl
journalctl -r #-r表示倒序,从尾部看(推荐)
#查看内核日志(不显示应用日志)
journalctl -k
#查看系统本次启动的日志
journalctl -b [-0]
#查看上一次启动的日志(需更改设置,如上次系统崩溃,需要查看日志时,就要看上一次的启动日志)
journalctl -b -1
#显示尾部指定行数的日志
查看的是/var/log/messages的日志,但是格式上有所调整,如主机名格式不一样而已
journalctl -n 20 [-f]
#查看某个服务的日志
journalctl -u nginx.service [-f]跟踪
#查看指定进程的日志
journalctl_PID=1
#查看指定用户的日志
journalctl_UID=0 --since today
journalctl -xe
#-x 是目录(catalog)的意思,在报错的信息下会,附加解决问题的网址
#-e pager-end从末尾开始看
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~