安装filebeat nginx日志模板

$images\cherry_red.png$ 1 实训二前期LNMP简易架构

$images\cherry_blue.png$ 1.1 php server安装

$images\cherry_blue.png$ 1.2 安装初始化数据库

$images\cherry_red.png$ 2 Mysql数据库

$images\cherry_blue.png$ 2.1 Mysql5.7安装

$images\cherry_orange.png$ 2.1.1 rpm安装

$images\cherry_orange.png$ 2.1.2 yum安装

$images\cherry_orange.png$ 2.1.3 源码安装

$images\cherry_orange.png$ 2.1.4 编译好的非rpm包安装

$images\cherry_orange.png$ 2.1.5 my.cnf常见选项

$images\cherry_blue.png$ 2.2 Mysql基础

$images\cherry_orange.png$ 2.2.1 MySql数据库操作

$images\cherry_orange.png$ 2.2.2 MySql数据类型

$images\cherry_cyan.png$ 2.2.2.1 整型

$images\cherry_cyan.png$ 2.2.2.2 浮点数和定数

$images\cherry_cyan.png$ 2.2.2.3 字符串类型

$images\cherry_cyan.png$ 2.2.2.4 日期和时间类型

$images\cherry_cyan.png$ 2.2.2.5 字段修饰和约束

$images\cherry_cyan.png$ 2.2.2.6 业务建表练习

$images\cherry_orange.png$ 2.2.3 MySql表操作

$images\cherry_orange.png$ 2.2.4 MySql体系结构

$images\cherry_orange.png$ 2.2.5 MySql存储引擎

$images\cherry_blue.png$ 2.3 MySql操作

$images\cherry_orange.png$ 2.3.1 MySql数据操作

$images\cherry_orange.png$ 2.3.2 MySql单表查询

$images\cherry_orange.png$ 2.3.3 MySql多表查询

$images\cherry_orange.png$ 2.3.4 MySql存储过程与函数

$images\cherry_blue.png$ 2.4 MySql操作-2

$images\cherry_orange.png$ 2.4.1 MySql安全机制

$images\cherry_orange.png$ 2.4.2 MySql日志管理

$images\cherry_orange.png$ 2.4.3 MySql复制概述

$images\cherry_orange.png$ 2.4.4 主从同步

$images\cherry_blue.png$ 2.5 最基本sql语句及主从架构

$images\cherry_blue.png$ 2.6 MyCat中间件

$images\cherry_orange.png$ 2.6.1 部署Mycat

$images\cherry_orange.png$ 2.6.2 配置读写分离

$images\cherry_cyan.png$ 2.6.2.1 安全的读写分离

$images\cherry_orange.png$ 2.6.3 XML语法格式

$images\cherry_orange.png$ 2.6.4 mycat 分表分库

$images\cherry_blue.png$ 2.7 Mysql MHA

$images\cherry_orange.png$ 2.7.1 MHA-部署

$images\cherry_orange.png$ 2.7.2 MHA-故障切换VIP透明

$images\cherry_cyan.png$ 2.7.2.1 VIP切换脚本内容

$images\cherry_cyan.png$ 2.7.2.2 VIP-手动在线切换脚本

$images\cherry_orange.png$ 2.7.3 MHA+Mycat高可用Mysql读写分离

$images\cherry_orange.png$ 2.7.4 MHA+VIP+Mycat

$images\cherry_orange.png$ 2.7.5 MHA-故障切换邮件报警

$images\cherry_orange.png$ 2.7.6 自动配置Slave主机

$images\cherry_red.png$ 3 实验

$images\cherry_blue.png$ 3.1 mysql授权问题

$images\cherry_blue.png$ 3.2 1.单节点数据库

$images\cherry_blue.png$ 3.3 2.主从同步

$images\cherry_blue.png$ 3.4 3.实验(高可用)

$images\cherry_orange.png$ 3.4.1 高可用keepalived

$images\cherry_cyan.png$ 3.4.1.1 keepalived install

$images\cherry_blue.png$ 3.5 4.实验(高可用+大并发)

$images\cherry_orange.png$ 3.5.1 HAproxy代理

$images\cherry_blue.png$ 3.6 4.实验(mycat-读写分离)

$images\cherry_orange.png$ 3.6.1 mycat安装部署

$images\cherry_orange.png$ 3.6.2 读写分离高可用

$images\cherry_orange.png$ 3.6.3 mycat管理端口命令

$images\cherry_blue.png$ 3.7 5.双主双从-读写分离-高可用

$images\cherry_blue.png$ 3.8 6.mycat分库操作

$images\cherry_blue.png$ 3.9 7.mycat分表

$images\cherry_blue.png$ 3.10 8.mycat分库分表之下实现读写分离

$images\cherry_red.png$ 4 Shell脚本编程

$images\cherry_red.png$ 5 Zabbix监控

$images\cherry_blue.png$ 5.1 zabbix设置邮件报警--自定义报警媒介

$images\cherry_blue.png$ 5.2 zabbix解决中文界面乱码问题

$images\cherry_blue.png$ 5.3 ziabbix自带的template Linux OS

$images\cherry_blue.png$ 5.4 zabbix-agent自定义收集数据

$images\cherry_blue.png$ 5.5 zabbix监控Nginx性能

$images\cherry_blue.png$ 5.6 综合配置

$images\cherry_blue.png$ 5.7 实验：监控nginx端口实现告警

$images\cherry_red.png$ 6 ELK日志分析

$images\cherry_blue.png$ 6.1 PS

$images\cherry_blue.png$ 6.2 es-head插件安装

$images\cherry_blue.png$ 6.3 安装filebeat nginx日志模板

在 ES 服务配置:
[root@mycat-elk ~]# cd /usr/local/elasticsearch-6.2.3/
[root@mycat-elk elasticsearch-6.2.3]# ./bin/elasticsearch-plugin install ingest-geoip
[root@mycat-elk elasticsearch-6.2.3]# ./bin/elasticsearch-plugin install ingest-user-agent

重启ES
[root@mycat-elk ~]# netstat -nlpt | grep 9200
tcp6 0 0 192.168.182.11:9200 :::* LISTEN 11783/java
tcp6 0 0 127.0.0.1:9200 :::* LISTEN 11783/java
[root@mycat-elk ~]# kill -9 11783
[root@mycat-elk ~]# su abc
[abc@mycat-elk root]$ /usr/local/elasticsearch-6.2.3/bin/elasticsearch -d

配置filebeat
[root@web-1 ~]# grep -vE "#|^$" /opt/filebeat-6.2.3-linux-x86_64/filebeat.yml
filebeat.prospectors:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
setup.kibana:
host: "192.168.182.11:5601"
output.elasticsearch:
hosts: ["192.168.182.11:9200"]

开启nginx 模块支持
[root@web-1 ~]# cd /opt/filebeat-6.2.3-linux-x86_64/
[root@web-1 filebeat-6.2.3-linux-x86_64]# ./filebeat modules enable nginx
PS：报错原因，是新安装的模板文件并不是属于root用户的，默认是为uid 1000的用户，但是启动时这些文件必须属于root
[root@web-1 filebeat-6.2.3-linux-x86_64]# ./filebeat setup
Loaded index template
Loaded dashboards
Exiting: 1 error: Error reading fileset nginx/access: Error reading manifest file: config file ("/opt/filebeat-6.2.3-linux-x86_64/module/nginx/access/manifest.yml") must be owned by the beat user (uid=0) or root

解决方案:
[root@ ~]# chown -R root:root /opt/filebeat-6.2.3-linux-x86_64/
[root@web-1 filebeat-6.2.3-linux-x86_64]# ./filebeat setup

注意你的访问日志命令风格:
[root@web-1 nginx]# cat /opt/filebeat-6.2.3-linux-x86_64/module/nginx/access/manifest.yml
var:
- name: paths
default:
- /var/log/nginx/*access.log*
os.darwin:
- /usr/local/var/log/nginx/access.log*
os.windows:
- c:/programdata/nginx/logs/*access.log*

++++++++++++++++++++++++++++++++++++++++++++++++
启动：
[root@web-1 ~]# cd /opt/filebeat-6.2.3-linux-x86_64/
[root@web-1 filebeat-6.2.3-linux-x86_64]# nohup ./filebeat -e -c ./filebeat.yml &