1 Linux运维学习笔记 1.1 基本操作命令 |
1.1.1 权限管理 |
1.1.1.1 chmod |
1.1.1.2 chown |
1.1.1.3 setfacl |
1.1.1.4 chattr |
1.1.2 用户管理 |
1.1.2.1 useradd(添加用户) |
1.1.2.2 passwd(修改用户密码) |
1.1.2.3 userdel(删除用户角色) |
1.1.2.4 usermod(修改用户信息) |
1.1.2.5 groupadd(添加工作组) |
1.1.2.6 groupdel(删除工作组) |
1.1.3 文件管理 |
1.1.3.1 cat |
1.1.3.2 mv |
1.1.3.3 scp,rsync文件传输 |
1.1.3.3.1 scp |
1.1.3.4 rz |
1.1.3.5 awk |
1.1.3.5.1 案例 |
1.1.3.6 cp复制 |
1.1.3.7 more |
1.1.3.8 less |
1.1.3.9 mkdir |
1.1.3.10 diff |
1.1.3.11 head |
1.1.3.12 tail |
1.1.3.13 sed |
1.1.3.14 sort |
1.1.3.15 uniq (去重语句) |
1.1.3.16 grep |
1.1.3.16.1 grep(2) |
1.1.3.17 xargs |
1.1.3.18 tr |
1.1.3.19 cut |
1.1.3.20 od |
1.1.3.21 dos2unix |
1.1.3.22 cpio |
1.1.3.23 tee |
1.1.3.24 column |
1.1.3.25 swapon |
1.1.4 软件包管理 |
1.1.4.1 yarn |
1.1.4.2 zip |
1.1.5 备份策略 |
1.1.5.1 tar |
1.1.5.2 cp |
1.2 系统工作常用命令 |
1.2.1 ab(压力测试) |
1.2.1.1 ab常见问题 |
1.2.2 nohup |
1.2.2.1 bg fg |
1.2.3 crontab |
1.2.4 find |
1.2.4.1 find |
1.2.5 tcpdump |
1.2.6 ifconfig |
1.2.7 netstat(网络通信情况) |
1.2.8 ps (查看系统进程) |
1.2.9 top (系统运维状态) |
1.2.10 alias |
1.2.11 pidof |
1.2.12 kill与killall与pkill |
1.2.13 uptime(系统负载信息) |
1.2.14 free(系统内存情况) |
1.2.15 last(登陆日志) |
1.2.16 fdisk(磁盘分区) |
1.2.17 strace |
1.2.18 lsmod |
1.2.19 ssh |
1.2.19.1 sshpass |
1.2.20 ftp (sftp) |
1.2.21 du |
1.2.22 umask(文件权限) |
1.2.23 df (磁盘占用情况) |
1.2.24 curl |
1.2.25 date |
1.2.26 lsof |
1.2.27 chrony |
1.2.28 cpu运行状态 |
1.2.29 lshw |
1.2.30 vim |
1.2.31 lsb_release -a (系统版本信息) |
1.3 网络基础 |
1.3.1 ifconfig |
1.3.2 route |
1.3.3 nslookup |
1.3.4 ping网关 |
1.3.5 ISO/OSI七层模型 |
1.3.6 TCP/IP三次握手(四次挥手) |
1.3.6.1 三次握手 |
1.3.6.2 四次挥手 |
1.3.7 IP地址网段(可用IP地址)(广播地址) |
1.3.8 网络连接数 |
1.3.9 mtr |
1.3.10 ip |
1.4 系统管理类 |
1.4.1 进程与线程 |
1.4.1.1 pstree |
1.4.2 系统安全 |
1.4.2.1 记录一次远程挖矿病毒 |
1.4.2.2 漏洞修补 |
1.4.3 nfs远程挂载 |
1.4.3.1 nfs自动挂载 |
1.4.4 查询系统用户登录情况 |
1.4.5 权限优化 |
1.4.6 备份策略 |
1.4.7 Raid(磁盘阵列) |
1.4.8 资源查看(监控) |
1.4.8.1 dstat(网络监控) |
1.4.9 启动流程 |
1.4.10 系统优化 |
1.4.11 cpu |
1.5 Shell编程 |
1.5.1 数组类型 |
1.5.2 if 条件判断 |
1.5.3 for |
1.5.4 文本截取 |
1.5.5 随机字符串 |
1.5.6 网站检测 |
1.5.6.1 nmap |
1.5.7 Debug |
1.5.8 declare |
1.6 网络服务类 |
1.6.1 网关 |
1.6.2 SSH服务 |
1.6.3 DHCP + FTP |
1.6.4 DNS服务 |
1.6.4.1 智能DNS |
1.6.5 Apache配置 |
1.6.5.1 Apache 三种工作模式 |
1.6.6 Apache优化 |
1.6.6.1 CDN |
1.6.7 Nginx配置 |
1.6.7.1 nginx开启SSL证书 |
1.6.7.2 Session一致性解决方案 |
1.6.7.3 异步非阻塞方式 |
1.6.7.4 Nginx反向代理配置出现问题 |
1.6.7.5 nginx 负载均衡算法 |
1.6.7.6 nginx status |
1.6.8 Nginx优化 |
1.6.8.1 Nginx请求PHP(Tomcat)过程 |
1.6.8.2 gzip压缩 |
1.6.8.3 缓存优化 |
1.6.8.4 反向代理 |
1.6.9 http状态码 |
1.7 数据库管理类 |
1.7.1 集群部署(Amoeba) |
1.7.2 索引 |
1.7.3 误操作Drop语句如何解决? |
1.7.4 Redis(缓存数据库) |
1.7.4.1 Redis_ |
1.8 Good Luck |
1.9 Linux(实际工作可能常用命令) |
1.10 LeetCode(Bash) |
1.10.1 统计词频 |
1.10.2 有效电话号码 |
2 三剑客 |
2.1 正则表达式 |
2.1.1 扩展正则表达式 |
2.2 grep(...过滤) |
2.3 sed(...替换) |
2.3.1 sed删除,增加 |
2.3.2 sed 替换 |
2.4 awk(...取列统计) |
2.4.1 awk模式匹配 |
2.4.2 awk数组 |
awk '{ print $NF}' $NF 也就是说输出最后一列
统计 符合某一前缀和为 ***开头的文件和总和
NF 列 NR 行
-F : 以冒号作为一个分隔符号
-v 设置变量
ll | awk '{print $9,$5}' | awk '/^(test)/ {print $2}' | tr -s '\n' ' ' | awk '{for(i=1;i<=NF;i++) a+=$i} {print a}'
• $ awk '/^(no|so)/' test-----打印所有以模式no或so开头的行。
• $ awk '/^[ns]/{print $1}' test-----如果记录以n或s开头,就打印这个记录。
• $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一个域以两个数字结束就打印这个记录。 $1 ~ 以[][] 两位数结尾
• $ awk '$1 == 100 || $2 < 50' test-----如果第一个或等于100或者第二个域小于50,则打印该行。
• $ awk '$1 != 10' test-----如果第一个域不等于10就打印该行。
• $ awk '/test/{print $1 + 10}' test-----如果记录包含正则表达式test,则第一个域加10并打印出来。
• $ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一个域大于5则打印问号后面的表达式值,否则打印冒号后面的表达式值。
• $ awk '/^root/,/^mysql/' test----打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记录,则继续打印直到下一个以正则表达式mysql开头的记录为止,或到文件末尾。
• awk有三种循环:while循环;for循环;special for循环。
• $ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。变量的初始值为1,若i小于可等于NF(记录中域的个数),则执行打印语句,且i增加1。直到i的值大于NF.
• $ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。
• breadkcontinue语句。break用于在满足条件的情况下跳出循环;continue用于在满足条件的情况下忽略后面的语句,直接返回循环的顶端。如: {for ( x=3; x<=NF; x++) if ($x<0){print "Bottomed out!"; break}} {for ( x=3; x<=NF; x++) if ($x==0){print "Get next item"; continue}}
• next语句从输入文件中读取一行,然后从头开始执行awk脚本。如: {if ($1 ~/test/){next} else {print} }
awk 'NR>=2&&NR<=4' user 输出2~4行 awk -F: 'NR>=2&&NR<=4{print $1}' user 找2~4行并输出第1列 awk -F: 'NR==4 ||NR==5{print $1}' user 找4行或5行并输出第1列 awk -F: 'NR>=10 || NR<=20{print $1}' user 找10行以及大于10行的内容, 或者20以内的行, 相当于所有行,再显示第1列 awk -F: 'NR<10 && NR>20{print $1}' user 不存在的行,逻辑错误
常用的例子 用于文件的切割处理
一般可以用于比如说 if 判断比较的一些条件,比如说文本内容的一些处理等
举例 切割 IP 响应报文为 200 的情况下,出现ip次数最多的,按照从大到小排序 前十的情况
cat access.log | awk ' { if($9 == 200) { ip[$1]++}} END { for(i in ip) {print ip[i],i}}' | sort -rn -k 1 | head -n 10
|