Linux文件系统 FAQ

rm cannot remove xxx Read-only file system 无法删除文件

df dir 查看无法删除的目录所在的文件系统

df /snap/remmina/
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/nvme0n1p2 479152840 195515620 259227828 43% /

fsck -y /   #执行修复文件系统 的挂载根目录 或者 有问题的文件所在的挂载目录;

shutdown -r now

再删除ubuntu系统中的snap应用文件时上述方法没有解决

使用df -h 查看 发现remmina中的 /snap/remmina/4978 的挂载点是/dev/loop12

sudo umount /dev/loop12 去掉挂载后,再删除就可以了 ,原因是磁盘的挂载目录无法直接被删除

阿里云在线扩容磁盘遇到的问题

按照官方文档扩容

输入growpart 命令时 没有查找一下该命令的参数和含义,照着文档以为是截图中的序号,结果报如下错误

NOCHANGE: partition 2 is size 0. it cannot be grown

growpart <DeviceName> <PartionNumber>

应该输入分区好,即截图中1,/dev/vdb 是设备名称 ,/dev/vdb1是设备名称+分区号,即设备分区

总结:
服务器运行不了解的命令一定要先查一下文档手册,看个大概,梳理一下操作的大概意思,然后在操作
完善一下文件系统的文档,复习一下文件系统的知识

参考

在线扩容云盘(Linux系统)

阿里云Linux服务器动态扩容(阿里云服务器扩容后磁盘空间无变化解决方法)

Linux安装PHP FAQ

离线安装

很多国企和大型企业的自建机房不允许访问公网,流量只能进开发固定端口,造成安装LNMP环境时缺少各种依赖和报错。以centos系统为例

1.上传和服务器版本一致的操作系统镜像,(例:CentOS-7-x86_64-Everything-2009.iso,一定要使用everything版本包含软件包) 到服务器

2.挂载光盘镜像

mkdir /mnt/dvd //创建挂载目录
mount -o loop /xxx/CentOS-7-x86_64-Everything-2009.iso /mnt/dvd  //挂载,xxx为镜像所在目录
df -h  //查看 /mnt/dvd 挂载点是否挂载成功

3.配置yum本地源

mkdir /etc/yum.repos.d/bk //创建备份目录
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bk //备份源文件

vim /etc/yum.repos.d/CentOS-Media.repo  //编辑本地源
//centos6/7内容如下,file路径为上一步的镜像挂载
[local-media]
name=CentOS-$releasever-Media
baseurl=file:///mnt/dvd/
gpgcheck=1
enabled=1
gpgkey=file:///mnt/dvd/RPM-GPG-KEY-CentOS-7

//CentOS 8本地源配置文件写法与CentOS6和7不同,配置文件内容如下:
[LocalRepo_BaseOS]
name=LocalRepository_BaseOS
baseurl=file:///mnt/dvd/BaseOS
enabled=1
gpgcheck=0

[LocalRepo_AppStream]
name=LocalRepository_AppStream
baseurl=file:///mnt/dvd/AppStream
enabled=1
gpgcheck=0

//保存然后执行
yum clean all && yum makecache

//测试一下是否可用
yum install git

4 执行离线安装

使用oneinstack

一台服务器(可以使用系统版本系统的虚拟机替代)联网使用oneinstack安装后,src目录里会有相应的包,打包oneinstack 放到需要离线安装的服务器(配置好内网yum源)就是离线了。

使用lnmp一键安装包,需要下载完整包

执行CheckMirror=n ./install.sh lnmp

5 其它参考

https://blog.51cto.com/u_1836630/2417675

Linux编译安装相关知识

linux查看某个库是否安装

https://blog.csdn.net/vantian/article/details/76636327

ldconfig -p | grep pcap

Top命令参数相关系统知识总结

平均负载

平均负载是指单位时间内,系统处于可运行状态(R 状态 Running 或 Runnable)和不可中断状态(Uninterruptible Sleep,也称为 Disk Sleep) 的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系

进程状态

linux中断机制

参考

什么是中断机制?

操作系统需要管理外设,但是外设的速度远远低于CPU的速度,所以我们需要一种机制来弥补这种速度鸿沟,提高CPU的效率。

为此我们引入了中断机制,让外设在需要操作系统处理外设相关事件的时候,能够主动通知操作系统,即打断操作系统和应用的正常执行,让操作系统完成外设的相关处理,然后在恢复操作系统和应用的正常执行。

当CPU收到中断或者异常的事件时,它会暂停执行当前的程序或任务,通过一定的机制跳转到负责处理这个信号的相关处理例程中,在完成对这个事件的处理后再跳回到刚才被打断的程序或任务中

硬中断

由与系统相连的外设(比如网卡、硬盘)自动产生的。主要是用来通知操作系统系统外设状态的变化。比如当网卡收到数据包的时候,就会发出一个中断。我们通常所说的中断指的是硬中断(hardirq)。

软中断

为了满足实时系统的要求,中断处理应该是越快越好。linux为了实现这个特点,当中断发生的时候,硬中断处理那些短时间就可以完成的工作,而将那些处理事件比较长的工作,放到中断之后来完成,也就是软中断(softirq)来完成。

buff/cache

过高时会导致物理内存占用过高

Swap交换分区

Swap分区在系统的物理内存不够用的时候,把硬盘内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到Swap分区中,等到那些程序要运行时,再从Swap分区中恢复保存的数据到内存中

虚拟内存

虚拟内存计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存(一个连续完整的地址空间),而实际上,它通常是被分隔成多个物理内存碎片,还有部分暂时存储在外部磁盘存储器上,在需要时进行数据交换。目前,大多数操作系统都使用了虚拟内存,如Windows家族的“虚拟内存”;Linux的“交换空间”等。

Shell学习资料笔记

极客时间

https://github.com/geektime-geekbang/geekbanglinux/tree/master/ppt

Bash4.0 中文手册

Bash4.0 英文手册

https://www.gnu.org/savannah-checkouts/gnu/bash/manual/bash.html

Bash教程

https://wangdoc.com/bash/index.html

explainshell

https://explainshell.com/

Shell常用语法和案例

简单笔记

执行方式 bash ./xxx.sh ./xxx.sh (子进程运行) | source ./xxx.sh . xxx.sh (当前进程运行,会更改当前目录)

bash ./xxx.sh 可以不需要赋予执行权限 其它的方式需要 chmod u+x(r) xxx.sh

内建命令不需要创建子进程,对当前shell生效

环境变量配置

Linux环境变量设置/etc/profile、/etc/bashrc、~/.profile、~/.bashrc区别

Linux下/etc/profile 文件和/etc/profile.d区别以及相关说明

/etc/profile.d/目录增加脚本,或者/etc/profile增加内容后执行如下命令生效

source /etc/profile

Linux进程管理 常用命令和工具

参考

极客时间

Linux命令搜索

10分钟教会你看懂 top

《linux编程基础》

top 显示或管理执行中的程序

头部信息

显示项说明
top – 09:44:56当前系统时间
up 43 min系统已经运行时间43分钟
1 user当前登录用户数量
load average: 0.24, 0.40, 0.53三个数字对应1 分钟、5 分钟、15 分钟的平均负载
进程信息Tasks 第二行
349 total系统中的进程数量349个
2 running处于运行态的进程数量
346 sleeping处于睡眠态的进程数量
0 stopped处于停止态的进程数量
0 zombie处于僵尸态的进程数量
CPU信息 %Cpu(s) 第三行
0.3 us用户占用cpu百分比 us=user
0.2 sy系统占用cpu百分比 sy=system
0.0 ni用户进程空间内改变过优先级的进程占用cpu百分比 ni=nice
99.3 id空闲进程占用cpu百分比 id=idle
0.1 wa硬件设备I/O 等待占用 占用cpu百分比 wa=wait
0.0 hi硬中断占用cpu百分比 hi=hardirq
0.0 si软中断占用cpu百分比 si=softirq
0.0 st虚拟机被hypervisior(虚拟监视器)偷去的时间所占的百分比
内存信息MiB(单位) Mem 第四行
15896.6 total物理内存总量
10442.7 free 空闲内存总量
2328.9 used使用的物理内存总量
3125.1 buff/cache缓冲内存(缓存) 内存总量
交换分区信息(虚拟内存)MiB(单位) Swap 第五行
2048.0 total交换区总容量
2048.0 free空闲交换区总容量
0.0 used使用的交换区总量
12667.6 avail Mem可用交换区总量

进程列表标题头

标题头说明
PID进程PID 进程的唯一标识
USER进程的运行用户
PR进程优先级
NInice值用来控制进程优先级 对应nice命令操作
VIRT虚拟内存大小,即进程使用的虚拟内存总量,单位为K
RES常驻内存及大小,即进程使用的违背换出的物理内存大小,单位为B
SHR共享内存大小,单位为KB
S进程状态 对应PS命令的中的STAT
%CPU上次更新到现在的CPU时间占用,默认按此值排序
%MEM进程使用物理内存站总内存的百分比
TIME进程占CPU的总时长,单位为1/100秒

快捷键

热键说明
M根据常驻内存集RES大小为进程排序
P根据%CPU为进程排序
T根据TIME + 为进程排序
r重置一个进程的优先级
i忽略限制和僵尸进程
k终止一个进程

htop [非内部命令]一个互动的进程查看器,可以动态观察系统进程状况

top的升级版

ps 报告当前系统的进程状态

ps -aux| grep 进程名称 //查看指定名称的进程
ps -aux| grep php-fpm |wc -l //统计php-fpm进程数量

pstree 以树状图的方式展现进程之间的派生关系

kill 发送信号到进程

kill -s 9 PID //杀死进程

skill 向选定的进程发送信号冻结进程 用于向选定的进程发送信号,冻结进程。这个命令初学者并不常用,深入之后牵涉到系统服务优化之后可能会用到。

killall 使用进程的名称来杀死一组进程 我们可以使用kill命令杀死指定进程PID的进程,如果要找到我们需要杀死的进程,我们还需要在之前使用ps等命令再配合grep来查找进程,而killall把这两个过程合二为一,是一个很好用的命令。

pkill 可以按照进程名杀死进程 pkill和killall应用方法差不多,也是直接杀死运行中的程序;如果您想杀掉单个进程,请用kill来杀掉。

查看进程所在目录

ll /proc/{PID}  //{PID}为进程pid

进程启动管理

chkconfig 检查或设置系统的各种服务

systemctl 系统服务管理器systemd指令

strace  是一个集诊断、调试、统计与一体的工具

文件系统基础知识

参考

概念

磁盘文件系统 操作磁盘,存储文件

闪存文件系统 操作移动设备,存储文件

数据库文件系统

文件管理方面的一个新概念是一种基于数据库的文件系统的概念。不再(或者不仅仅)使用分层结构管理,文件按照他们的特征进行区分,如文件类型、专题、作者或者亚数据进行区分。于是文件检索就可以按照SQL风格甚至自然语言风格进行。例如BFS[1]WinFS

网络文件系统

NFS,Network File System是一种将远程主机上的分区(目录)经网络挂载到本地系统的一种机制

常见文件系统介绍

RAW文件系统是一种磁盘未经处理或者未经格式化产生的文件系统,最快的方法是立即格式化

FAT32

  • 操作系统 Win95OSR2之后/Linux
  • 扇区范围 512bytes~64KB
  • 最大单一文件 2bytes-4GB
  • 最大格式化容量 2TB(但NT内核系统限制为32GB)
  • 档案数量 4194304

NTFS

  • 操作系统 Win2000之后 /Linux Ubuntu默认支持 Centos需要安装软件支持
  • 扇区范围 512bytes~ 64KB
  • 最大单一文件 受最大分割容量
  • 最大格式化容量 2TB~256TB(受MBR影响)
  • 档案数量 无-不受限制

centos安装ntfs支持

centos7  

unix系统哲学一切都是文件

linux 设备和文件目录

设备设备在Linux中的文件名
IDE硬盘/dev/hd[a-d]
SCS/SATA/USB硬盘/dev/sd[a-p]
U盘/dev/sd/[a-p] 与SATA相同
软驱/dev/fd[0-1]
打印机25针:/dev/ip[0-2]
USB:/dev/usb/lp[0-15]
鼠标USB:/dev/usb/mouse[0-15]
PS2:/dev/psaux
当前CD ROM/DVD ROM/dev/cdrom
当前鼠标/dev/mouse
磁带机IDE:/dev/ht0
SCSI:/dev/st0
目录说明
/根目录,zhhibaohao只包含目录不包含具体文件
/bin存放可执行文件
/dev存放设备文件
/rootroot用户的工作目录
/home普通用户的工作目录
/lib存放动态链接库文件,类似于Win的dll,一般以SO结尾;也存放与内核相关的文件
/boot启动时用到的文件,内核,引导程序
/etc系统管理文件,配置文件
/mnt挂载存储设备的挂载目录
/proc系统内存映射直接通过访问目录获取系统信息
/opt附加应用目录
/tmp存放临时文件系统重启后不会保存
/swp虚拟内存交换文件
/usr用户程序/usr/bin 库文件/usr/lib 文档/usr/share/doc

linux tmpsf 文件系统

Systemd 基础使用

Linux默认启动采用init进程,init进程是所有进程的父进程

sudo /etc/init.d/apache2 start
service apache2 start

上述启动方式缺点:

  • 启动时间长,init进程是串行启动,即按顺序一个接一个的启动
  • 启动脚本复杂,init进程只是执行启动脚本,不管其它事情,脚本需要自己处理,这使得脚本变得很长

Systemd 就是为了解决init方式启动的问题诞生的.他的设计目标是,微系统启动和管理提供一套完整的解决方案

根据linux管理字母d (daemon)是守护进程的缩写.Systemd,的含义就是整个系统的守护进程. 作者Lennart Poettering

systemd架构图
任务旧指令新指令
使某服务自动启动chkconfig –level 3 httpd onsystemctl enable httpd.service
使某服务不自动启动chkconfig –level 3 httpd offsystemctl disable httpd.service
检查服务状态service httpd statussystemctl status httpd.service (服务详细信息) systemctl is-active httpd.service (仅显示是否 Active)
显示所有已启动的服务chkconfig –listsystemctl list-units –type=service
启动服务service httpd startsystemctl start httpd.service
停止服务service httpd stopsystemctl stop httpd.service
重启服务service httpd restartsystemctl restart httpd.service
重载服务service httpd reloadsystemctl reload httpd.service
对比

常用命令

Systemd 并不是一个命令,而是一组命令,涉及到系统管理的方方面面

$ systemctl --version //查看版本

$ systemctl --version
systemd 237
+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ +LZ4 +SECCOMP +BLKID +ELFUTILS +KMOD -IDN2 +IDN -PCRE2 default-hierarchy=hybrid

systemctl 是systemd的主命令,用于管理系统

$ sudo systemctl reboot //重启系统

$ sudo systemctl poweroff //关闭系统 切断电源

$ sudo systemctl halt //cpu 停止工作

$ sudo systemctl suspend //暂停系统

$ sudo systemctl hibernate //让系统进入冬眠状态

$ sudo systemctl hybrid-sleep //让系统进入交互式休眠状态

$ sudo systemctl rescue //启动进入救援状态 单用户状态

一旦修改配置文件,就要让 SystemD 重新加载配置文件,然后重新启动,否则修改不会生效。

$ sudo systemctl daemon-reload
$ sudo systemctl restart httpd.service

systemd-analyze 分析启动进程

# systemd-analyze
Startup finished in 487ms (kernel) + 2.776s (initrd) + 20.229s (userspace) = 23.493s

systemd-analyze blame 分析启动时各个进程花费的时间

# systemd-analyze blame
8.565s mariadb.service
....

systemd-analyze critical-chain 分析启动时的关键链

# systemd-analyze critical-chain
The time after the unit is active or started is printed after the "@" character.
The time the unit takes to start is printed after the "+" character.
multi-user.target @20.222s
└─mariadb.service @11.657s +8.565s
......

systemctl list-unit-files 列出所有可用单元

# systemctl list-unit-files
UNIT FILE                                   STATE   
proc-sys-fs-binfmt_misc.automount           static  
.....

systemctl list-units 列出所有运行中单元

# systemctl list-units
UNIT                                        LOAD   ACTIVE SUB       DESCRIPTION
proc-sys-fs-binfmt_misc.automount           loaded active waiting   Arbitrary Executable File Formats File Syste
evices-pl...erial8250-tty-ttyS2.device loaded active plugged 
...
systemctl list-units  列出所有失败单元
UNIT          LOAD   ACTIVE SUB    DESCRIPTION
kdump.service loaded failed failed Crash recovery kernel arming
...

systemctl is-enabled crond.service 检查某个单元(如 cron.service)是否启用

# systemctl is-enabled crond.service
enabled

systemctl kill httpd 使用systemctl命令杀死服务

# systemctl kill httpd

systemd-cgtop 按CPU、内存、输入和输出列出控制组

# systemd-cgtop
Path                                                              Tasks   %CPU   Memory  Input/s Output/s
/                                                                    83    1.0   437.8M        -        -
/system.slice                                                         -    0.1        -        -        -
...  

查看日志

Systemd 统一管理所有 Unit 的启动日志

journalctl命令,查看所有日志(内核日志和应用日志)

日志的配置文是/etc/systemd/journald.conf

#排错常用
#-xe是排查问题时最常用的参数:
#-e 从结尾开始看
#-x 相关目录(如:问题相关的网址)
sudo journalctl -xe 

#查看所有日志(默认情况下 ,只保存本次启动的日志)
$ sudo journalctl

# 查看内核日志(不显示应用日志)
$ sudo journalctl -k

# 查看系统本次启动的日志
$ sudo journalctl -b
$ sudo journalctl -b -0

# 查看上一次启动的日志(需更改设置)
$ sudo journalctl -b -1

# 查看指定时间的日志
$ sudo journalctl --since="2012-10-30 18:17:16"
$ sudo journalctl --since "20 min ago"
$ sudo journalctl --since yesterday
$ sudo journalctl --since "2015-01-10" --until "2015-01-11 03:00"
$ sudo journalctl --since 09:00 --until "1 hour ago"

# 显示尾部的最新10行日志
$ sudo journalctl -n

# 显示尾部指定行数的日志
$ sudo journalctl -n 20

# 实时滚动显示最新日志
$ sudo journalctl -f

# 查看指定服务的日志
$ sudo journalctl /usr/lib/systemd/systemd

# 查看指定进程的日志
$ sudo journalctl _PID=1

# 查看某个路径的脚本的日志
$ sudo journalctl /usr/bin/bash

# 查看指定用户的日志
$ sudo journalctl _UID=33 --since today

# 查看某个 Unit 的日志
$ sudo journalctl -u nginx.service
$ sudo journalctl -u nginx.service --since today

# 实时滚动显示某个 Unit 的最新日志
$ sudo journalctl -u nginx.service -f

# 合并显示多个 Unit 的日志
$ journalctl -u nginx.service -u php-fpm.service --since today

# 查看指定优先级(及其以上级别)的日志,共有8级
# 0: emerg
# 1: alert
# 2: crit
# 3: err
# 4: warning
# 5: notice
# 6: info
# 7: debug
$ sudo journalctl -p err -b

# 日志默认分页输出,--no-pager 改为正常的标准输出
$ sudo journalctl --no-pager

# 以 JSON 格式(单行)输出
$ sudo journalctl -b -u nginx.service -o json

# 以 JSON 格式(多行)输出,可读性更好
$ sudo journalctl -b -u nginx.serviceqq
 -o json-pretty

# 显示日志占据的硬盘空间
$ sudo journalctl --disk-usage

# 指定日志文件占据的最大空间
$ sudo journalctl --vacuum-size=1G

# 指定日志文件保存多久
$ sudo journalctl --vacuum-time=1years

相关文章

Systemd 入门教程:命令篇

systemctl 命令完全指南

systemctl

Virtual Box (Linux) 安装增强模式

参考

  • https://www.jianshu.com/p/7c556c783bb2
  • https://www.cnblogs.com/mychangee/p/12087954.html

centos

1.点击设备->安装增加功能->下载增加镜像,底部镜像按钮挂载VBoxGuestAddtions.iso 运行

2.运行后报错,没有安装内核,需要安装内核和gcc 并且保持kernel 和kernel-devel版本一致

yum install -y kernel-devel kernel-headers gcc make

yum -y upgrade kernel kernel-devel

reboot

uname -r //查看当前启动的内核版本

rpm -qa | grep kernel-[0-9] //查看全部的内核

yum remove xxxx //删除旧版本内核

或者可以使用下面两个命令中的一个安装和Linux内核版本匹配的kernel-devel

yum install -y "kernel-devel-uname-r == $(uname -r)"

yum install -y kernel-devel-xxxx 

centos 8 报错

https://github.com/geerlingguy/packer-centos-8/issues/4

$ cat /var/log/vboxadd-setup.log
Building the main Guest Additions 6.0.12 module for kernel 4.18.0-80.7.1.el8_0.x86_64.
Error building the module.  Build output follows.
make V=1 CONFIG_MODULE_SIG= -C /lib/modules/4.18.0-80.7.1.el8_0.x86_64/build M=/tmp/vbox.0 SRCROOT=/tmp/vbox.0 -j1 modules
Makefile:958: *** "Cannot generate ORC metadata for CONFIG_UNWINDER_ORC=y, please install libelf-dev, libelf-devel or elfutils-libelf-devel".  Stop.
make: *** [/tmp/vbox.0/Makefile-footer.gmk:111: vboxguest] Error 2
Could not find the X.Org or XFree86 Window System, skipping.
modprobe vboxguest failed
yum(dnf)install -y elfutils-libelf-devel elfutils-libelf-devel.x86_64

sh VBoxLinuxAdditions.run

ubuntu desktop

#先更新
sudo apt update && sudo apt upgrade

安装增加功能

同 centos 设备 >> 安装增强功能

#根据报错信息安装如下包

sudo apt install gcc make perl

#ubuntu24.04 需要安装bzip2

sudo apt install bzip2

点击挂在的光盘,运行增强程序

共享文件夹

挂载点要设置到登录用户的家目录/home/xxx/dirname 下,会自动创建文件夹,使用chmod和chown 修改权限无效

使用如下命令手动挂载方式,可以更改权限目录

sudo mount -t vboxsf downloads /home/www/share

ubuntu server

进程的基础知识

基本概念

程序是存储在硬盘上的编译生成的二级制可执行文件.不占用系统资源,是具体的.

进程是一个二进制程序(在内存中)的执行过程(运行实例).占用系统资源,是抽象的.

启动程序时,程序的文件会被加载到内存中,产生进程,结合系统分配的资源完成运行,程序关闭或退出时,进程会结束.

POSIX标准(可移植操作系统接口 Portable Operating System Interface),为了统一 类UNIX操作系统编程接口,方便跨平台编程和程序的可移植。参考:posix是什么都不知道,就别说你懂Linux了!

进程处理机制

1个单核CPU(或CPU的一个核心)在一个时间点只能处理一个进程.

我们用电脑同时运行多个程序,是因为操作系统的”多道程序设计”技术,内核控制CPU在多道进程间切换,它将CPU的整个生命周期划分为多个长度相同的时间片,在每个时间片内只处理一个进程。因为时间片很小,我们会感觉这些软件同时都在运行。这种分时间片实现的多任务系统,我们把它叫分时系统

CPU划分的时间片是微小的(比如纳秒),以及CPU的运算速度非常快,所以使用时感觉是同时运行多个程序.多核CPU在同时,多进程运行方面比单核CPU有优势.

假如内存中只有3个进程A,B,C,CPU时间片分配情况

多进程切换时。把当前任务状态先保存起来,把另一个任务的状态恢复,并把执行权交给它即可。俗称上下文切换。任务的状态就是一堆寄存器的值。要切换进程,只需要保存和恢复一堆寄存器的值即可。

进程的属性

OS内核能够区分进程并可获取进程属性,进程属性保存在名为进程控制块(Process Control Block)的中结构体中,内核为每个进程维护一个进程控制块,用于管理进程属性.

标识符

(1)进程标识符(Process Identifier)PID,32位非负无符号整形数据,进程的唯一标识,用来标识不同进程.

(2)父进程标识符(Parent Process Identifier)PPID,创建子进程的父进程对应的PID,在linux系统中,除init进程(编号为1)外,其余进程都有父进程. 吗

(3)用户标识符(User Identifier) UID ,标识创建这个进程的用户。PCB结构体中有euid概念(Effective User Identifier) ,即有效用户标识符,标识以有效权限发起进程的用户。例:用户yangliuan 以root权限发起进程,那么进程的uid对应的用户为yangliuan,进程的euid对应用户为root

(4)组标识符(Group Identifier)GID,标识创建进程的用户所属组。euid对应的组标识符为egid(Effective Group Identifier)

<?php
echo '进程标识[PID]:', posix_getpid(), PHP_EOL;
echo '父进程标识符[PPID]:', posix_getppid(), PHP_EOL;
echo '用户标识符[UID]:', posix_getuid(), PHP_EOL;
echo '有效用户标识符[EUID]:', posix_geteuid(), PHP_EOL;
echo '组标识符[GID]:', posix_getgid(), PHP_EOL;
echo '有效组标识符[EGID]:', posix_getegid(), PHP_EOL;

进程的状态

(1)就绪态

进程所需资源已经分配到位,只等待CPU,当可以使用CPU时,进程会立即变为运行态,内核会维护一个运行对列,用来装载所有就绪态的进程,当CPU空闲时,内核会从队列中选择一个进程,为其分配CPU

(2)运行态

进程处于此状态时会占用CPU,处于此状态的进程数量必定小于等于处理器数量,因为每个CPU在一个时间点只能运行一个进程

(3)睡眠态

此状态的进程不能占用CPU

不可中断睡眠态,是由外部I/O调用造成,等待外部I/O硬件设备响应,此状态不可中断,即我们常说的阻塞。举例进程向硬盘读写数据时,为了保证数据的一致性,在得到磁盘回复前,它是不能被其他进程或者中断打断的,这个时候的进程就处于不可中断状态

可终端睡眠态,进程对应的当前用户请求已处理完毕,暂时退出退出CPU,当用户再次发出请求,会立即被唤醒,这种状态被称为挂起,程序中常用的方法是sleep() (php为例) ,类比可以理解为汽车已点火,但是没有往前开。

(4)终止态

进程已运行完毕,此时进程不会被调度,也不再占用CPU

进程状态转换示意图

寄存器信息

寄存器的数量是有限的,cpu在进行进程切换时,会保存当前进程的数据,以边下次切换回来的时候从中断处继续进行。该过程称为cpu的上下文切换。在服务端多进程编程模型中,进程数和cpu核数该如何匹配

页表指针

百度百科 页表机制

程序运行时,系统会为其开辟一段虚拟内存,虚拟内存和物理内存映射时,各个虚拟内存中的地址相同的数据会被MMU(Memory Managenment 内存管理单元) 映射的到内存中的不同物理地址,PCB会存储虚拟地址和内存地址的对应关系

linux采用分页存储方式管理内存,进程载入到内存之前,系统将用户进程的逻辑空间分成若干个大小相等的片(称 页面或页)并编号,为进程分配内存时,以块为单位将进程中的若干页装入多个可以不相邻的物理块中,linux使用页面表来存储逻辑地址和物理地址的对应关系,页表的实质是一个结构体,每个进程的PCB中都有一个进项页表的指针。

进程组与会话

同一个进程组(process group)的进程 ,进程组由用户启动的进程创建,用户启动进程是进程组的领导进程(process group leader) ,进程组中的领导进程pid是识别进程组id,即pgid

会话(session)是进程组的集合,会话中的每一个进程组称为一个工作job,

进程控制

linux启动时创建一个init进程,进程pid为1,是所有进程的父进程,负责启动getty进程,设置进程运行级别 回收孤儿进程。

linux系统对进程的控制主要包含:进程创建,进程任务转变,进程同步,退出进程

1.创建进程

多道程序环境(多任务处理操作系统,可以同时运行多个程序)中需要创建进程的情况通常有4种:用户登录,作业调度,用户请求,应用请求。

当一个程序执行时,可能需要申请一些资源,如打开某个文件、请求某项服务 ,根据cpu运行的机制此时进程会进入睡眠态并放弃占用cpu,若要申请的资源与之后操作并不冲突,为了保障当前进程的持续进行(走完当前时间片),此时可以内存中在创建一个进程,让新的进程代替原进程执行资源申请的工作。

linux使用fork函数创建进程,系统会创建一个与原进程近乎相同的进程,之后父子进程都继续往下执行。如图

fork函数创建子进程

2.创建多个进程

fork函数创建进程时,系统会复制原程序,因此在通过父进程循环创建子进程时,要判断是不是父进程,只有父进程才能fork。

数据共享机制

子进程可以访问到与父进程完全相同的代码信息、数据信息和堆栈信息,在调用fork()函数时,遵循“读时共享写时复制”原则。

fork()函数创建子进程后,子进程获得父进程的数据空间,堆栈,页表,等副本,此时父子进程中变量的虚拟地址相同,虚拟地址对应的物理地址也相同,父子进程共享物理内存的页面信息,为了防止一方修改导致另一方出现访问异常,系统将页面信息标记为制度,fork()函数执行完毕。

之后父子进程都继续向下执行:此时子进程拥有与父进程相同的页表,若进程只需要进行数据访问,则到对应的物理地址中便能获取到数据,因为父子进程相同虚拟空间对应相同的物理地址,其访问机制如图。

读取时共享

若子进程要对数据段,堆栈中的数据进行修改, 系统会将待操作数据复制到内存中一块新的区域,修改副本数据为可写。之后子进程修改数据副本,因此父子进程可以保存各自的数据,父子进程中相同的虚拟地址对应内存中不同的物理地址。访问机制如图

写时复制

注意事项,同样的虚拟地址对应不通的物理地址,因为虚拟地址适合进程关联的,每个进程都有一段0~4G的虚拟内存,因此多个进程中会有数据处于相同虚拟地址 ,但虚拟内存只是系统的内存管理的一种技术,目的是使进程认为自己有一段连续的地址空间,方便分配与数据管理,他不是“实际”的,进程中的数据实际存在于内存对应的物理地址

<?php
//获取当期那进程id
$pid = posix_getpid();
echo "my pid: {$pid}", PHP_EOL;
$childNum = 5;
global $a;
$a = 1;
for ($i = 1; $i <= $childNum; ++$i) {
//fork一个进程
$pid = pcntl_fork();
//创建失败
if (-1 === $pid) {
echo "failt to fork!", PHP_EOL;
exit;
} elseif( $pid == 0 ) {
//当前进程pid
$mypid = posix_getpid();
//父进程pid
$parentpid = posix_getppid();
//子进程中操作父进程变量并显示结果
$a++;
echo "I'm the {$i}th child and my pid:{$mypid},parentpid:{$parentpid} a={$a}", PHP_EOL;
sleep($childNum);
exit;
} elseif ($pid > 0) {
//parent code
echo "fork the {$i}th child,pid:{$pid} a={$a}", PHP_EOL;
}
}

代码运行结果,全局变量a的值始终为2说明,无法修改父进程的值s

my pid: 37018
fork the 1th child,pid:37019 a=1
I'm the 1th child and my pid:37019,parentpid:37018  a=2
fork the 2th child,pid:37020 a=1
I'm the 2th child and my pid:37020,parentpid:37018  a=2
fork the 3th child,pid:37021 a=1
I'm the 3th child and my pid:37021,parentpid:37018  a=2
fork the 4th child,pid:37022 a=1
I'm the 4th child and my pid:37022,parentpid:37018  a=2
fork the 5th child,pid:37023 a=1
I'm the 5th child and my pid:37023,parentpid:37018  a=2

进程的执行顺序

在linux系统中,子进程应该由父进程回收,但是当在子进程被创建后,他与父进程及其他进程共同竞争系统资源,所以父子进程执行顺序是不确定 ,终止的先后顺序也是不确定。(在没有人为控制的情况下,比如在父进程使用wait sleep函数

fork函数在执行时,会复制父进程的代码,当分支较多时,代码比较庞大,每次fork时都要将所有代码复制一次,如此代码冗余造成的空间浪费不可忽视。可以将多于代码封装起来,在需要时使用exec函数族调用执行。

孤儿进程

父进程应该负责子进程的回收工作,但父子进程是异步运行的,若父进程在子进程退出之前退出,子进程就会变成孤儿进程,此时子进程会被init进程收养,之后init会替代原来的父进程完成状态收集工作。避免孤儿的方法:sleep()函数 wait()函数

僵尸进程

当进程调用了exit()函数之后,该进程并不是马上消失,而是留下一个称为僵尸进程的数据结构,僵尸进程是linux系统中另一种特殊进程,它几乎放弃了进程退出之前占用的所有内存,即没有可执行代码,也不能被调度,只能在进程列表中保留一个位置,记载进程的退出状态等信息供父进程收集。若父进程中没有回收子进程的代码,子进程将会一直处于僵尸态。

守护进程(daemon process) 后台进程、

在后台运行的一种特殊进程,通常在系统启动时启动,并在系统关闭时终止。它们通常不与用户交互,而是在后台执行某些任务,例如监视文件系统或网络连接,或者执行定期任务。它们通常以超级用户(root)权限运行,以便可以执行需要特权的任务。原理,fork一个子进程,父进程退出与前台终端的交互,设置子进程为会话领导者。可以通过信号来控制启动关闭。

daemon希腊神话半人半精灵守护神

进程同步

在多道程序环境中,进程是并行执行的,父进程与子进程可能没有交集,各自独立执行,子进程的执行结果是父进程的下一步操作的先决条件,此时父进程必须等待子进程执行。我们把异步环境下的一组并发进程因相互制约而互相发送消息、互相合作、互相等待、使各个进程按一定的速度和顺序执行称为进程间的同步。

sleep()函数来控制进程的执行顺序,但这种方法是一种权益之计,系统中进程的执行顺序是由内核决定的,这种方法很难做到对进程精确控制

linux系统中提供了wait()函数 waitpid()函数(php中PCNTL提供了这两个函数)来获取进程状态,实现进程同步。调用wait()函数的进程

参考