1 实训二前期LNMP简易架构 1.1 php server安装 |
1.2 安装初始化数据库 |
2 Mysql数据库 |
2.1 Mysql5.7安装 |
2.1.1 rpm安装 |
2.1.2 yum安装 |
2.1.3 源码安装 |
2.1.4 编译好的非rpm包安装 |
2.1.5 my.cnf常见选项 |
2.2 Mysql基础 |
2.2.1 MySql数据库操作 |
2.2.2 MySql数据类型 |
2.2.2.1 整型 |
2.2.2.2 浮点数和定数 |
2.2.2.3 字符串类型 |
2.2.2.4 日期和时间类型 |
2.2.2.5 字段修饰和约束 |
2.2.2.6 业务建表练习 |
2.2.3 MySql表操作 |
2.2.4 MySql体系结构 |
2.2.5 MySql存储引擎 |
2.3 MySql操作 |
2.3.1 MySql数据操作 |
2.3.2 MySql单表查询 |
2.3.3 MySql多表查询 |
2.3.4 MySql存储过程与函数 |
2.4 MySql操作-2 |
2.4.1 MySql安全机制 |
2.4.2 MySql日志管理 |
2.4.3 MySql复制概述 |
2.4.4 主从同步 |
2.5 最基本sql语句及主从架构 |
2.6 MyCat中间件 |
2.6.1 部署Mycat |
2.6.2 配置读写分离 |
2.6.2.1 安全的读写分离 |
2.6.3 XML语法格式 |
2.6.4 mycat 分表分库 |
2.7 Mysql MHA |
2.7.1 MHA-部署 |
2.7.2 MHA-故障切换VIP透明 |
2.7.2.1 VIP切换脚本内容 |
2.7.2.2 VIP-手动在线切换脚本 |
2.7.3 MHA+Mycat高可用Mysql读写分离 |
2.7.4 MHA+VIP+Mycat |
2.7.5 MHA-故障切换邮件报警 |
2.7.6 自动配置Slave主机 |
3 实验 |
3.1 mysql授权问题 |
3.2 1.单节点数据库 |
3.3 2.主从同步 |
3.4 3.实验(高可用) |
3.4.1 高可用keepalived |
3.4.1.1 keepalived install |
3.5 4.实验(高可用+大并发) |
3.5.1 HAproxy代理 |
3.6 4.实验(mycat-读写分离) |
3.6.1 mycat安装部署 |
3.6.2 读写分离高可用 |
3.6.3 mycat管理端口命令 |
3.7 5.双主双从-读写分离-高可用 |
3.8 6.mycat分库操作 |
3.9 7.mycat分表 |
3.10 8.mycat分库分表之下实现读写分离 |
4 Shell脚本编程 |
5 Zabbix监控 |
5.1 zabbix设置邮件报警--自定义报警媒介 |
5.2 zabbix解决中文界面乱码问题 |
5.3 ziabbix自带的template Linux OS |
5.4 zabbix-agent自定义收集数据 |
5.5 zabbix监控Nginx性能 |
5.6 综合配置 |
5.7 实验:监控nginx端口实现告警 |
6 ELK日志分析 |
6.1 PS |
6.2 es-head插件安装 |
6.3 安装filebeat nginx日志模板 |
下载地址:https://dev.mysql.com/downloads/mysql/5.7.html#downloads
环境准备,CentOS7/Redhat7 64bit 2G 内存 1G 内存编译将近一个小时
磁盘空间 15G 以上。 ============================== mysql-5.7.19.tar.gz 50M 解压后: 190多M 编译完成后,这个解压目录会变为 6.2 G 编译的输出 内容, mysql57 1.6 G
需要 软件包: boost_1_59_0.tar.gz mysql-5.7.19.tar.gz yum安装组件: gcc* cmake ncurses-devel
根据官方文档提示,此过程比较消耗内存,
从MySQL5.7版本开始,安装MySQL需要依赖 Boost 的C++扩展,而且只能是 1.59.0 版本;。
Boost 下载地址: http://www.boost.org/users/history ;选择1.59.0版本下载,在编译是填写相应参数,指定Boost源码位置即可;
shell > tar zxf boost_1_59_0.tar.gz #解压扩展 shell > mv boost_1_59_0 /usr/local/boost # 将扩展源码剪切到/usr/local下
Boost库是一个可移植、提供源代码的C++库,作为标准库的后备,是C++标准化进程的开发引擎之一。 Boost库由C++标准委员会库工作组成员发起,其中有些内容有望成为下一代C++标准库内容。 在C++社区中影响甚大,是不折不扣的“准”标准库。Boost由于其对跨平台的强调,对标准C++的强调,与编写平台无关。
从mysql5.5起,mysql 源码安装开始使用cmake了。
CMake是一个跨平台的安装(编译)工具,可以用简单的语句来描述所有平台的安装(编译过程)。 他能够输出各种各样的makefile或者project文件,能测试编译器所支持的C++特性,类似UNIX下的automake。
下面是介绍configure选项如何映射到CMake的等值参数。
1. configure方式和 cmake 方式对比区别:
configure command cmake command --------------------------------------------------------------------- ./configure cmake . ./configure --help cmake . -LH or ccmake . ##重新编译时,需要清除旧的对象文件和缓存信息 --------------------------------------------------------------------- make make make clean rm -f CMakeCache.txt ##安装选项 -------------------------------------------------------------------- --prefix=/usr/local/mysql -DCMAKE_INSTALL_PREFIX=/usr/local/mysql ##最终安装 -------------------------------------------------------------------- make install make install
使用configure编译完将生成 config.log 和 config.status 文件。 使用cmake编译完在CMakeFiles目录下生成 CMakeError.log 和 CMakeOutput.log 文件。
一、准备工作~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
准备 c++ booost 库,不需要编译 。 [root@http9 soft]# tar xf boost_1_59_0.tar.gz [root@http9 soft]# mv boost_1_59_0 /usr/local/boost
1.下载mysql并解压
[root@001 ~]# tar xf mysql-5.7.19.tar.gz -C /usr/local/src [root@001 ~]# cd !$ 进入对应mysql解压路径 [root@001 src]# cd mysql-5.7.19/
2.安装相关编译工具
[root@001 mysql-5.7.19]# yum -y install gcc-c++ ncurses-devel cmake
3.新建用户
[root@http9 mysql-5.7.19]# groupadd -g 27 mysql [root@http9 mysql-5.7.19]# useradd -u 27 -g mysql -M -s /sbin/nologin mysql
##不创建家目录,禁止登陆系统。
二、编译安装及配置~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1、 开始编译安装 cmake make make install
[root@001 mysql-5.7.19]# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql57 -DMYSQL_DATADIR=/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost
## cmake 的检测过程中,如果出现错误,需要重新 cmake, 删除缓存文件 rm CMakeCache.txt , 然后重新 运行 cmake 。
cmake 参数解析 ,详细见附录:
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql57 指定安装路径 -DMYSQL_DATADIR=/data/mysql 指定数据存放路径 -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci 设置字符校验集 -DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock 设置套接字生成路径 -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1 ##存储引擎的支持 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost 指定Boost扩展源码路径
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql57 -DMYSQL_DATADIR=/data/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost
make #此过程很漫长,请耐心等待,#如果出错重新运行配置,需要删除 CMakeCache.txt文件,使用命令: rm -f CMakeCache.txt
make install ## 千万注意磁盘空间的使用率。
rm CMakeCache.txt
2、 编译完成,开始其他 设置
mysqld 主服务程序 主配置文件 初始化数据库 启动脚本 mysql.sock 的位置 mysql.pid 的位置。
#### yum remove mariadb 卸载原先的mariadb
#### chown -R mysql:mysql /usr/local/mysql57 # 重新修改权限 #### 提供配置文件, my.cnf 默认配置详情如下,可以自己建立 [client] port=3306 socket=/mysql/mysql.sock
[mysqld] character-set-server=utf8 collation-server=utf8_general_ci
skip-name-resolve ## localhost -h 127.0.0.1 user=mysql port=3306 basedir=/usr/local/mysql57 datadir=/mysql tmpdir=/tmp socket=/mysql/mysql.sock
log-error=/mysql/mysqld.log pid-file=/mysql/mysqld.pid
#### 将编译好的 mysql bin 里面的命令,加入到 $PATH 变量中 PATH=$PATH:/usr/local/mysql57/bin 写入到 /etc/profile 中,永久生效 source /etc/profile 重新读取生效
#### 初始化数据库 [root@http9 mysql]# /usr/local/mysql57/bin/mysqld --defaults-file=/etc/my.cnf --initialize --user=mysql # 初始化数据库, 确保 /data/mysql 目录是mysql 可写的。 命令参数解释: --defaults-file : 指定MySQL配置文件路径 ##这里面有我们刚才配置好的参数 --initialize : 初始化随机密码,注意,初始化的密码是一个过期密码,登录后需要立刻修改密码 --user: 指定运行用户
#### 在命令提示符的最后给出随机密码,将此密码记录下来,等会登录数据库时用。
找到生成的初始密码, 在mysqld.log ,自己 的 日志文件中。
#### 启动mysql 服务 [root@http9 mysql]# /usr/local/mysql57/support-files/mysql.server start #启动mysql 服务器 #### 使用随机密码登录数据库
[root@server-13 /mysql]# cat mysql.log | grep password 2018-09-12T06:28:43.374399Z 1 [Note] A temporary password is generated for root@localhost: dHuSP!;y.3ef [root@http9 mysql]# /usr/local/mysql57/bin/mysql -uroot -p"jslw4.TgDvfV" 登陆后,提示需要立刻修改密码: ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.
方法一 : mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码'; ##成功后修改新密码。 mysql> flush privileges;
方法三: update mysql.user set authentication_string=password("123123@qq.com"); flush privileges;
忘记MySQL密码
MySQL 5.7 及以后版本,密码字段是 authentication_string
[root@mysql1 ~]# vim /etc/my.cnf [mysqld] skip-grant-tables ### [mysqld] 加在服务器标签 ## 使用 skip-grant-tables 进入 mysql服务器,可以不需要 root 密码,但是同时,不能做 授权修改。
[root@mysql1 ~]# /usr/local/mysql57/support-files/mysql.server restart [root@mysql1 ~]# /usr/local/mysql57/bin/mysql ##无密码进入 ,使用update语句,更新自己的root密码
mysql> update mysql.user set authentication_string=password("123123@qq.com"); mysql> flush privileges; mysql> exit
########### 千万记得,修改完密码,退出后,立刻去掉配置文件中的 skip-grant-tables 选项,并重载配置文件 ##############
[root@mysql1 ~]# vim /etc/my.cnf [mysqld] #skip-grant-table [root@mysql1 ~]# /usr/local/mysql57/support-files/mysql.server reload
MySQL 5.5 及早期版本,密码字段是 password 的
[root@slave1 ~]# vim /etc/my.cnf [mysqld] skip-grant-tables
mysql> update mysql.user set password=password("123@163.com") where user="root" and host="localhost"; mysql> flush privileges; mysql> exit
编译后流程 总结:
/usr/local/mysql57 /usr/local/mysql57/bin/mysqld ##主程序 /etc/my.cnf ##修改配置文件 datadir socket pid-file 初始化数据库: /usr/local/mysql57/bin/mysqld --defaults-file=/etc/my.cnf --initialize --user=mysql cat 日志文件,寻找 初始密码。 ## 启动脚本 : /usr/local/mysql57/support-files/mysql.server start stop reload
## 启动服务器。 ## 客户端工具, 使用 找到的 初始密码登录。 (此次 密码直接是过期的。要求我们立刻修改密码。) ## mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123123'; mysql> flush privileges;
## 退出登录, 修改 my.cnf 给客户端 [mysql] 段,加上刚刚设置的 password=123123 ## mysql 无密码登录。 ## 执行数据库初始化脚本。。。。
附录: Mysql CMAKE编译参数详解:
-DCMAKE_INSTALL_PREFIX= #指向mysql安装目录 -DINSTALL_SBINDIR=sbin #指向可执行文件目录(prefix/sbin) -DMYSQL_DATADIR=/var/lib/mysql #指向mysql数据文件目录(/var/lib/mysql) -DSYSCONFDIR=/etc/mysql #指向mysql配置文件目录(/etc/mysql) -DINSTALL_PLUGINDIR=lib/mysql/plugin #指向插件目录(prefix/lib/mysql/plugin) -DINSTALL_MANDIR=share/man #指向man文档目录(prefix/share/man) -DINSTALL_SHAREDIR=share #指向aclocal/mysql.m4安装目录(prefix/share) -DINSTALL_LIBDIR=lib/mysql #指向对象代码库目录(prefix/lib/mysql) -DINSTALL_INCLUDEDIR=include/mysql #指向头文件目录(prefix/include/mysql) -DINSTALL_INFODIR=share/info #指向info文档存放目录(prefix/share/info)
prefix官方推荐设为/usr
Storage Engine相关
类型csv,myisam,myisammrg,heap,innobase,archive,blackhole
若想启用某个引擎的支持:-DWITH_<ENGINE>_STORAGE_ENGINE=1 如:
-DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1
若想禁用某个引擎的支持:-DWITHOUT_<ENGINE>_STORAGE_ENGINE=1 如:
-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 -DWITHOUT_FEDERATED_STORAGE_ENGINE=1 -DWITHOUT_PARTITION_STORAGE_ENGINE=1
Library相关---------------------------------------------------------
-DWITH_READLINE=1 #启用readline库支持(提供可编辑的命令行) -DWITH_SSL=system #启用ssl库支持(安全套接层) -DWITH_ZLIB=system #启用libz库支持(zib、gzib相关) -DWTIH_LIBWRAP=0 #禁用libwrap库(实现了通用TCP包装的功能,为网络服务守护进程使用) -DMYSQL_TCP_PORT=3306 #指定TCP端口为3306 -DMYSQL_UNIX_ADDR=/tmp/mysqld.sock #指定mysql.sock路径 -DENABLED_LOCAL_INFILE=1 #启用本地数据导入支持 -DEXTRA_CHARSETS=all #启用额外的字符集类型(默认为all) -DDEFAULT_CHARSET=utf8 #指定默认的字符集为utf8 -DDEFAULT_COLLATION=utf8_general_ci #设定默认排序规则(utf8_general_ci快速/utf8_unicode_ci准确) -DWITH_EMBEDDED_SERVER=1 #编译嵌入式服务器支持 -DMYSQL_USER=mysql #指定mysql用户(默认为mysql) -DWITH_DEBUG=0 禁用debug #(默认为禁用) -DENABLE_PROFILING=0 #禁用Profiling分析(默认为开启) -DWITH_COMMENT='string' #一个关于编译环境的描述性注释
|