MySQL基础: 索引, 优化, 锁 (下)-一一网

三.查询截取分析

1、慢查询日志

MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。

具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。

由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合之前explain进行全面分析。

默认情况下，MySQL数据库没有开启慢查询日志，需要我们手动来设置这个参数。

当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件	
复制代码

1.查看是否开启及如何开启

默认情况下slow_query_log的值为OFF，表示慢查询日志是禁用的，可以通过设置slow_query_log的值来开启
复制代码

	SHOW VARIABLES LIKE '%slow_query_log%';	
复制代码

查看是否开启.bmp

使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效，如果MySQL重启后则会失效。	
复制代码

开启慢查询.bmp

开启慢查询2.bmp

全局变量设置，对当前连接不影响
复制代码

开启慢查询4.bmp

对当前连接立刻生效
复制代码

开启慢查询2.bmp

如果要永久生效，就必须修改配置文件my.cnf（其它系统变量也是如此）

修改my.cnf文件，[mysqld]下增加或修改参数
slow_query_log 和slow_query_log_file后，然后重启MySQL服务器。也即将如下两行配置进my.cnf文件
复制代码

	slow_query_log =1
	slow_query_log_file=/var/lib/mysql/atguigu-slow.log
复制代码

关于慢查询的参数slow_query_log_file ，它指定慢查询日志文件的存放路径，系统默认会给一个缺省的文件host_name-slow.log（如果没有指定参数slow_query_log_file的话）	
复制代码

2.那么开启了慢查询日志后，什么样的SQL才会记录到慢查询日志里面呢？

这个是由参数long_query_time控制，默认情况下long_query_time的值为10秒，
命令：
复制代码

	SHOW VARIABLES LIKE 'long_query_time%';
复制代码

慢查询.bmp

可以使用命令修改，也可以在my.cnf参数里面修改。

假如运行时间正好等于long_query_time的情况，并不会被记录下来。也就是说，在mysql源码里是判断大于long_query_time，而非大于等于。
复制代码

3.设置慢查询的阙值时间

使用命令 
复制代码

	set global long_query_time=1
复制代码

修改为阙值到1秒钟的就是慢sql
复制代码

慢查询2.bmp

修改后发现long_query_time并没有改变。
复制代码

为什么设置后看不出变化？

需要重新连接或新开一个会话才能看到修改值。 
复制代码

	SHOW VARIABLES LIKE 'long_query_time%';
复制代码

或者通过set session long_query_time=1来改变当前session变量;
复制代码

慢查询3.bmp

4.记录慢SQL并后续分析

实验一条慢sql
复制代码

慢查询4.bmp

跟踪日志信息
复制代码

慢查询5.bmp

5.查询当前系统中有多少条慢查询记录

	show global status like '%Slow_queries%';
复制代码

慢查询6.bmp

6.配置版

    【mysqld】下配置：
    slow_query_log=1;
    slow_query_log_file=/var/lib/mysql/atguigu-slow.log
    long_query_time=3;
    log_output=FILE
复制代码

2、日志分析工具mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow。

查看mysqldumpslow的帮助信息
复制代码

	mysqldumpslow --help
复制代码

工作常用参考:

    得到返回记录集最多的10个SQL
    mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log

    得到访问次数最多的10个SQL
    mysqldumpslow -s c -t 10 /var/lib/mysql/atguigu-slow.log

    得到按照时间排序的前10条里面含有左连接的查询语句
    mysqldumpslow -s t -t 10 -g "left join" /var/lib/mysql/atguigu-slow.log

    另外建议在使用这些命令时结合 | 和more 使用 ，否则有可能出现爆屏情况
    mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log | more
复制代码

3、批量数据脚本

1.建表

    # 新建库
    create database bigData;
    use bigData;

    #1 建表dept
    CREATE TABLE dept(  
        id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
        deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,   
        dname VARCHAR(20) NOT NULL DEFAULT "",  
        loc VARCHAR(13) NOT NULL DEFAULT ""  
    ) ENGINE=INNODB DEFAULT CHARSET=UTF8 ;  

    #2 建表emp
    CREATE TABLE emp(  
        id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
        empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/  
        ename VARCHAR(20) NOT NULL DEFAULT "", /*名字*/  
        job VARCHAR(9) NOT NULL DEFAULT "",/*工作*/  
        mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*上级编号*/  
        hiredate DATE NOT NULL,/*入职时间*/  
        sal DECIMAL(7,2) NOT NULL,/*薪水*/  
        comm DECIMAL(7,2) NOT NULL,/*红利*/  
        deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0 /*部门编号*/  
    )ENGINE=INNODB DEFAULT CHARSET=UTF8 ; 
复制代码

2.设置参数log_bin_trust_function_creators

    创建函数，假如报错：This function has none of DETERMINISTIC......
    # 由于开启过慢查询日志，因为我们开启了 bin-log, 我们就必须为我们的function指定一个参数。

    show variables like 'log_bin_trust_function_creators';

    set global log_bin_trust_function_creators=1;

    # 这样添加了参数以后，如果mysqld重启，上述参数又会消失，永久方法：

    windows下my.ini[mysqld]加上log_bin_trust_function_creators=1 

    linux下    /etc/my.cnf下my.cnf[mysqld]加上log_bin_trust_function_creators=1
复制代码

3.创建函数,保证每条数据都不同

随机产生字符串:

	DELIMITER $$
    CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
    BEGIN    ##方法开始
         DECLARE chars_str VARCHAR(100) DEFAULT   'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ'; 
         ##声明一个 字符窜长度为 100 的变量 chars_str ,默认值 
         DECLARE return_str VARCHAR(255) DEFAULT '';
         DECLARE i INT DEFAULT 0;
        ##循环开始
         WHILE i < n DO  
             SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
            ##concat 连接函数  ，substring(a,index,length) 从index处开始截取
             SET i = i + 1;
         END WHILE;
         RETURN return_str;
    END $$

    #假如要删除
    #drop function rand_string;
复制代码

随机产生部门编号:

    #用于随机产生部门编号
    DELIMITER $$
    CREATE FUNCTION rand_num( ) 
    RETURNS INT(5)  
    BEGIN   
        DECLARE i INT DEFAULT 0;  
        SET i = FLOOR(100+RAND()*10);  
        RETURN i;  
    END $$

    #假如要删除
    #drop function rand_num;
复制代码

4.创建存储过程

创建往emp表中插入数据的存储过程:

    DELIMITER $$
    CREATE PROCEDURE insert_emp10000(IN START INT(10),IN max_num INT(10))  
    BEGIN  
    DECLARE i INT DEFAULT 0;   
    #set autocommit =0 把autocommit设置成0  ；提高执行效率
     SET autocommit = 0;    
     REPEAT  ##重复
     SET i = i + 1;  
     INSERT INTO emp10000 (empno, ename ,job ,mgr ,hiredate ,sal ,comm ,deptno ) VALUES ((START+i) ,rand_string(6),'SALESMAN',0001,CURDATE(),FLOOR(1+RAND()*20000),FLOOR(1+RAND()*1000),rand_num());  
     UNTIL i = max_num   ##直到  上面也是一个循环
     END REPEAT;  ##满足条件后结束循环
     COMMIT;   ##执行完成后一起提交
     END $$

    #删除
    # DELIMITER ;
    # drop PROCEDURE insert_emp;
复制代码

创建往dept表中插入数据的存储过程:

    #执行存储过程，往dept表添加随机数据
    DELIMITER $$
    CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))  
    BEGIN  
    DECLARE i INT DEFAULT 0;   
     SET autocommit = 0;    
     REPEAT  
     SET i = i + 1;  
     INSERT INTO dept (deptno ,dname,loc ) VALUES (START +i ,rand_string(10),rand_string(8));  
     UNTIL i = max_num  
     END REPEAT;  
     COMMIT;  
     END $$ 

    #删除
    # DELIMITER ;
    # drop PROCEDURE insert_dept;
复制代码

5.调用存储过程

dept:

    DELIMITER ;
    CALL insert_dept(100,10); 
复制代码

emp:

    #执行存储过程，往emp表添加50万条数据
    DELIMITER ;    #将 结束标志换回 ;
    CALL insert_emp(100001,500000); 
    CALL insert_emp10000(100001,10000); 
复制代码

批量数据脚本.bmp

批量数据脚本2.bmp

6.大量数据案例

4、Show Profile

是mysql提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于SQL的调优的测量

官网：http://dev.mysql.com/doc/refman/5.5/en/show-profile.html

默认情况下，参数处于关闭状态，并保存最近15次的运行结果	
复制代码

1.是否支持，看看当前的mysql版本是否支持

	Show variables like 'profiling';	#默认是关闭，使用前需要开启	
复制代码

Show Profile.bmp

2.开启功能，默认是关闭，使用前需要开启

	show variables like 'profiling';
	set profiling=1;
复制代码

Show Profile2.bmp

3.运行SQL

	select * from emp group by id%10 limit 150000;
	select * from emp group by id%20  order by 5
复制代码

4.查看结果，show profiles;

Show Profile3.bmp

5.诊断SQL，show profile cpu,block io for query n (n为上一步前面的问题SQL数字号码);

Show Profile4.bmp

参数备注:

    type:  
     | ALL                        --显示所有的开销信息  
     | BLOCK IO                --显示块IO相关开销  
     | CONTEXT SWITCHES --上下文切换相关开销  
     | CPU              --显示CPU相关开销信息  
     | IPC              --显示发送和接收相关开销信息  
     | MEMORY           --显示内存相关开销信息  
     | PAGE FAULTS      --显示页面错误相关开销信息  
     | SOURCE           --显示和Source_function，Source_file，Source_line相关的开销信息  
     | SWAPS            --显示交换次数相关开销的信息
复制代码

6.日常开发需要注意的结论

converting HEAP to MyISAM 查询结果太大，内存都不够用了往磁盘上搬了。

Creating tmp table 创建临时表:拷贝数据到临时表,用完再删除
复制代码

    1  select * from emp group by id%20 limit 120000;

    2  select * from emp group by id%20  order by 5
复制代码

Copying to tmp table on disk 把内存中临时表复制到磁盘，危险！！！
复制代码

Show Profile5.bmp

locked
复制代码

5、全局查询日志

尽量不要在生产环境开启这个功能。
复制代码

配置启用:

    在mysql的my.cnf中，设置如下：
    #开启
    general_log=1   
    # 记录日志文件的路径
    general_log_file=/path/logfile
    #输出格式
    log_output=FILE
复制代码

编码启用:

    命令
    set global general_log=1;

    #全局日志可以存放到日志文件中，也可以存放到Mysql系统表中。存放到日志中性能更好一些，存储到表中
    set global log_output='TABLE';

    此后 ，你所编写的sql语句，将会记录到mysql库里的general_log表，可以用下面的命令查看

    select * from mysql.general_log;
复制代码

四.MySql锁机制

锁是计算机协调多个进程或线程并发访问某一资源的机制。

在数据库中，除传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。
复制代码

1.锁的分类

从对数据操作的类型（读\写）分:

读锁 (共享锁)：针对同一份数据，多个读操作可以同时进行而不会互相影响。

写锁 (排它锁）：当前写操作没有完成前，它会阻断其他写锁和读锁。
复制代码

从对数据操作的粒度分:

表锁

行锁

为了尽可能提高数据库的并发度，每次锁定的数据范围越小越好，理论上每次只锁定当前操作的数据的方案会得到最大的并发度，但是管理锁是很耗资源的事情（涉及获取，检查，释放锁等动作），因此数据库系统需要在高并发响应和系统性能两方面进行平衡，这样就产生了“锁粒度（Lock granularity）”的概念。

一种提高共享资源并发性的方式是让锁定对象更有选择性。尽量只锁定需要修改的部分数据，而不是所有的资源。更理想的方式是，只对会修改的数据片进行精确的锁定。任何时候，在给定的资源上，锁定的数据量越少，则系统的并发程度越高，只要相互之间不发生冲突即可。	
复制代码

2.表锁(偏读)

偏向MyISAM存储引擎，开销小，加锁快；无死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。
复制代码

1、案例分析

建表SQL:
复制代码

   【表级锁分析--建表SQL】
    create table mylock(
        id int not null primary key auto_increment,
        name varchar(20)
    )engine myisam;

    insert into mylock(name) values('a');
    insert into mylock(name) values('b');
    insert into mylock(name) values('c');
    insert into mylock(name) values('d');
    insert into mylock(name) values('e');

    select * from mylock;

   【手动增加表锁】
    lock table 表名字1 read(write)，表名字2 read(write)，其它;
   【查看表上加过的锁】
    show open tables;

   【释放表锁】
    unlock tables;
复制代码

加读锁:

	我们为mylock表加read锁(读阻塞写例子)
复制代码

session_1	session_2
获得表mylock的READ锁定
连接终端
当前session可以查询该表记录
其他session也可以查询该表的记录

当前session不能查询其它没有锁定的表
其他session可以查询或者更新未锁定的表

当前session中插入或者更新锁定的表都会提示错误：
其他session插入或者更新锁定表会一直等待获得锁：
释放锁
Session2获得锁，插入操作完成：

加写锁:

	mylockwrite(MyISAM)
复制代码

session_1	session_2
获得表mylock的WRITE锁定	待Session1开启写锁后，session2再连接终端
当前session对锁定表的查询+更新+插入操作都可以执行：	其他session对锁定表的查询被阻塞，需要等待锁被释放：

释放锁	Session2获得锁，查询返回：

2、表锁结论

MyISAM在执行查询语句（SELECT）前，会自动给涉及的所有表加读锁，在执行增删改操作前，会自动给涉及的表加写锁。 
MySQL的表级锁有两种模式：
表共享读锁（Table Read Lock）
表独占写锁（Table Write Lock）	
复制代码

锁类型	他人可读	他人可写
读锁	是	否
写锁	否	否

    结合上表，所以对MyISAM表进行操作，会有以下情况： 
  1.对MyISAM表的读操作（加读锁），不会阻塞其他进程对同一表的读请求，但会阻塞对同一表的写请求。只有当读锁释放后，才会执行其它进程的写操作。 
  2.对MyISAM表的写操作（加写锁），会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其它进程的读写操作。
简而言之，就是读锁会阻塞写，但是不会堵塞读。而写锁则会把读和写都堵塞
复制代码

3.行锁(偏写)

偏向InnoDB存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。

InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁
复制代码

1、案例分析

建表SQL:
复制代码

    create table test_innodb_lock (
        a int(11),
        b varchar(16)
    )engine=innodb;

    insert into test_innodb_lock values(1,'b2');
    insert into test_innodb_lock values(3,'3');
    insert into test_innodb_lock values(4,'4000');
    insert into test_innodb_lock values(5,'5000');
    insert into test_innodb_lock values(6,'6000');
    insert into test_innodb_lock values(7,'7000');
    insert into test_innodb_lock values(8,'8000');
    insert into test_innodb_lock values(9,'9000');
    insert into test_innodb_lock values(1,'b1');

    create index test_innodb_a_ind on test_innodb_lock(a);

    create index test_innodb_lock_b_ind on test_innodb_lock(b);

    select * from test_innodb_lock;
复制代码

行锁定基本演示:
复制代码

Session_1	Session_2

更新但是不提交，没有手写commit;	Session_2被阻塞，只能等待
提交更新	解除阻塞，更新正常进行
	commit命令执行
下面试试1号会话更新a =1	下面试试1号会话更新a =1

无索引行锁升级为表锁:
复制代码

Session_1	Session_2
正常情况，各自锁定各自的行，互相不影响，一个2000另一个3000

由于在column字段b上面建了索引，如果没有正常使用，会导致行锁变表锁
比如没加单引号导致索引失效，行锁变表锁	比如没加单引号导致索引失效，行锁变表锁

2、行锁结论

Innodb存储引擎由于实现了行级锁定，虽然在锁定机制的实现方面所带来的性能损耗可能比表级锁定会要更高一些，但是在整体并发处理能力方面要远远优于MyISAM的表级锁定的。当系统并发量较高的时候，Innodb的整体性能和MyISAM相比就会有比较明显的优势了。

但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让Innodb的整体性能表现不仅不能比MyISAM高，甚至可能会更差。
复制代码

3、Select加锁

1.读锁–共享锁(Share Lock):

共享锁又称读锁，是读取操作创建的锁。其他用户可以并发读取数据，但任何事务都不能对数据进行修改（获取数据上的排他锁），直到已释放所有共享锁。
如果事务T对数据A加上共享锁后，则其他事务只能对A再加共享锁，不能加排他锁。获准共享锁的事务只能读数据，不能修改数据。

用法:
复制代码

	SELECT ... LOCK IN SHARE MODE;
复制代码

在查询语句后面增加 LOCK IN SHARE MODE ，Mysql会对查询结果中的每行都加共享锁，当没有其他线程对查询结果集中的任何一行使用排他锁时，可以成功申请共享锁，否则会被阻塞。其他线程也可以读取使用了共享锁的表（行？），而且这些线程读取的是同一个版本的数据。
复制代码

2.写锁排他锁（eXclusive Lock）

排他锁又称写锁，如果事务T对数据A加上排他锁后，则其他事务不能再对A加任何类型的封锁。获准排他锁的事务既能读数据，又能修改数据。

用法:
复制代码

   SELECT ... FOR UPDATE;
复制代码

在查询语句后面增加 FOR UPDATE ，Mysql会对查询结果中的每行都加排他锁，当没有其他线程对查询结果集中的任何一行使用排他锁时，可以成功申请排他锁，否则会被阻塞。
复制代码

4、间隙锁危害

1.什么是间隙锁
当我们用范围条件而不是相等条件检索数据，并请求共享或排他锁时，InnoDB会给符合条件的已有数据记录的索引项加锁；对于键值在条件范围内但并不存在的记录，叫做“间隙（GAP)”，InnoDB也会对这个“间隙”加锁，这种锁机制就是所谓的间隙锁（GAP Lock）。

2.危害
因为Query执行过程中通过过范围查找的话，他会锁定整个范围内所有的索引键值，即使这个键值并不存在。
间隙锁有一个比较致命的弱点，就是当锁定一个范围键值之后，即使某些不存在的键值也会被无辜的锁定，而造成在锁定的时候无法插入锁定键值范围内的任何数据。在某些场景下这可能会对性能造成很大的危害

3.间隙锁带来的插入问题

Session_1	Session_2
	阻塞产生，暂时不能插入
commit;	阻塞解除，完成插入

5、行锁分析

如何分析行锁定:
通过检查InnoDB_row_lock状态变量来分析系统上的行锁的争夺情况

	show status like 'innodb_row_lock%';
复制代码

分析行锁.bmp

对各个状态量的说明如下：

Innodb_row_lock_current_waits：当前正在等待锁定的数量；
Innodb_row_lock_time：从系统启动到现在锁定总时间长度；
Innodb_row_lock_time_avg：每次等待所花平均时间；
Innodb_row_lock_time_max：从系统启动到现在等待最长的一次所花的时间；
Innodb_row_lock_waits：系统启动后到现在总共等待的次数；
复制代码

对于这5个状态变量，比较重要的主要是
Innodb_row_lock_time_avg（等待平均时长），
Innodb_row_lock_waits（等待总次数）
Innodb_row_lock_time（等待总时长）这三项。
尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手指定优化计划。

最后可以通过

	SELECT * FROM information_schema.INNODB_TRX;
复制代码

来查询正在被锁阻塞的sql语句。

6、优化建议

尽可能让所有数据检索都通过索引来完成，避免无索引行锁升级为表锁。

尽可能较少检索条件，避免间隙锁

尽量控制事务大小，减少锁定资源量和时间长度

锁住某行后，尽量不要去调别的行或表，赶紧处理被锁住的行然后释放掉锁。

涉及相同表的事务，对于调用表的顺序尽量保持一致。

在业务环境允许的情况下,尽可能低级别事务隔离
复制代码

4.页锁

开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。

了解一下即可
复制代码

文章版权归作者所有，未经允许请勿转载。

THE END

后端

phpBB BBCode IMG Tag 脚本注入漏洞

数据引领增长，“小巨人”如何实现大跨越？

Code-Crafters Ability Server FTP STOR和APPE参数远程缓冲区溢出漏洞

MiniGal 2 (MG2) index.php 信息泄露漏洞

微服务下的手工签名实现，以及消除中文乱码

redux和mobx入门使用

MySQL基础: 索引, 优化, 锁 (下)

三.查询截取分析

1、慢查询日志

2、日志分析工具mysqldumpslow

3、批量数据脚本

4、Show Profile

5、全局查询日志

四.MySql锁机制

1.锁的分类

2.表锁(偏读)

1、案例分析

2、表锁结论

3.行锁(偏写)

1、案例分析

2、行锁结论

3、Select加锁

4、间隙锁危害

5、行锁分析

6、优化建议

4.页锁