Part 1
— 前言 —
壓力測(cè)試過(guò)程中，因?yàn)橘Y源使用瓶頸等問(wèn)題引發(fā)的最直接的性能問(wèn)題是業(yè)務(wù)交易響應(yīng)時(shí)間偏大，TPS逐漸降低等。而問(wèn)題定位分析通常情況下，最優(yōu)先排查的是監(jiān)控服務(wù)器資源利用率，例如先用TOP 或者nmon等查看CPU、內(nèi)存使用情況，然后在排查IO問(wèn)題，例如網(wǎng)絡(luò)IO、磁盤(pán)IO的問(wèn)題。 如果是磁盤(pán)IO問(wèn)題，一般問(wèn)題是SQL語(yǔ)法問(wèn)題、MYSQL參數(shù)配置問(wèn)題、服務(wù)器自身硬件瓶頸導(dǎo)致IOPS吞吐率問(wèn)題。
今天主要是講解MYSQL 參數(shù)配置不合理導(dǎo)致在高并發(fā)下磁盤(pán)IO問(wèn)題。
Part 2
— 三種問(wèn)題 —
1、 打開(kāi)日志跟蹤引起的磁盤(pán)IO問(wèn)題
例如：MySQL的日志包括錯(cuò)誤日志(ErrorLog)，更新日志(UpdateLog)，二進(jìn)制日志(Binlog)，查詢(xún)?nèi)罩?QueryLog)，慢查詢(xún)?nèi)罩?SlowQueryLog)等，正常情況下，在生產(chǎn)系統(tǒng)或者壓力測(cè)試環(huán)境中很少有系統(tǒng)會(huì)時(shí)時(shí)打開(kāi)查詢(xún)?nèi)罩尽Ｒ驗(yàn)椴樵?xún)?nèi)罩敬蜷_(kāi)之后會(huì)將MySQL中執(zhí)行的每一條Query都記錄到日志中，會(huì)該系統(tǒng)帶來(lái)比較大的IO負(fù)擔(dān)，而帶來(lái)的實(shí)際效益卻并不是非常大。
2、 SQL寫(xiě)法問(wèn)題引起磁盤(pán)IO高
例如：曾經(jīng)在做某一個(gè)項(xiàng)目時(shí)，在看到數(shù)據(jù)庫(kù)磁盤(pán)IO使用率偏高，前端查詢(xún)業(yè)務(wù)交易loadrunner顯示事物響應(yīng)時(shí)間偏長(zhǎng)，通過(guò)監(jiān)控工具抓取對(duì)應(yīng)SQL，通過(guò)計(jì)劃分析，發(fā)現(xiàn)該SQL中使用distinct 又多表關(guān)聯(lián)且是大表、然后使用order by，最終顯示10筆數(shù)據(jù)，而在產(chǎn)生中間過(guò)程數(shù)據(jù)進(jìn)行篩選時(shí)，使用的是臨時(shí)表，并把數(shù)據(jù)放入臨時(shí)表中，內(nèi)存剛好設(shè)置不大，于是放到磁盤(pán)中導(dǎo)致IO偏高。
備注：MySQL在執(zhí)行SQL查詢(xún)時(shí)可能會(huì)用到臨時(shí)表，臨時(shí)表存儲(chǔ)，MySQL會(huì)先創(chuàng)建內(nèi)存臨時(shí)表，但內(nèi)存臨時(shí)表超過(guò)配置指定的值后，MySQL會(huì)將內(nèi)存臨時(shí)表導(dǎo)出到磁盤(pán)臨時(shí)表。
3、 MYSQL參數(shù)配置問(wèn)題
MYSQL默認(rèn)配置性能低下，只能通過(guò)并發(fā)下嘗試調(diào)整參數(shù)配置來(lái)逐步優(yōu)化數(shù)據(jù)庫(kù)性能，2017年底根據(jù)公司要求配合幫助某一家銀行業(yè)務(wù)系統(tǒng)做性能測(cè)試，因?yàn)闇y(cè)試環(huán)境硬件資源有限，我跟公司申請(qǐng)了幾臺(tái)過(guò)時(shí)的筆記本，然后根據(jù)生產(chǎn)環(huán)境軟件版本等配置要求，進(jìn)行模擬搭建性能測(cè)試環(huán)境，基礎(chǔ)軟件包含：MYSQL5.6、centos7.2、tomcat7、 JDK1.7、redis。使用的是聯(lián)想L421 筆記本當(dāng)MYSQL數(shù)據(jù)庫(kù)服務(wù)器、L440當(dāng)tomcat應(yīng)用服務(wù)器，壓力測(cè)試工具loadrunner、并發(fā)用戶(hù)100，壓力測(cè)試業(yè)務(wù)場(chǎng)景：用戶(hù)登錄退出、相關(guān)票據(jù)信息查詢(xún)、電子匯票交易流程等，在壓力測(cè)試過(guò)程中發(fā)現(xiàn)部分交易在50用戶(hù)并發(fā)時(shí)，數(shù)據(jù)庫(kù)磁盤(pán)I0使用率都偏高，特別是寫(xiě)操作一直很高，例如測(cè)試登錄退出交易，經(jīng)監(jiān)控?cái)?shù)據(jù)庫(kù)磁盤(pán)IO率一直偏高，下面我將以此為例作為講解。
Part 3
— 優(yōu)化前后 —
優(yōu)化前
壓力測(cè)試時(shí)，數(shù)據(jù)庫(kù)磁盤(pán)IO使用率大于75%，響應(yīng)時(shí)間1.6秒，通過(guò)NMON監(jiān)控到的數(shù)據(jù)庫(kù)資源使用情況，如下圖一與圖二：
圖一：
圖二：
優(yōu)化后
數(shù)據(jù)庫(kù)服務(wù)器資源使用率：
圖三：
圖四：
Part 4
— 優(yōu)化內(nèi)容 —
通過(guò)優(yōu)化innndb等影響IO、內(nèi)存的一些參數(shù)后，性能問(wèn)題明顯解決，優(yōu)化參數(shù)內(nèi)容，例如：innodb_write_io_threads、innodb_read_io_threads、innodb_flush_log_at_trx_commi等InnoDB 引擎優(yōu)化IO 子系統(tǒng)參數(shù)配置若干。
