Categories
程式開發

Intel PAUSE指令變化影響到MySQL的性能,該如何解決?


1. 背景

在2017年,Intel發布了新一代的服務器平台Purley,並將Intel Xeon Scalable Processor(至強可擴展處理器)重新劃分為:Platinum(鉑金)、Gold(金)、Silver(銀)、Broze(銅)等四個等級。產品定位和框架也變得更加清晰。

因美團線上海量數據交易和存儲等後端服務依賴大量高性能服務器的支撐。隨著線上部分Grantly平台E系列服務器生命週期的臨近,以及產品本身的發展和迭代。 2019年開始,RDS(關係型數據庫服務)後端存儲(MySQL)開始大量上線Purley平台的Skylake CPU服務器,其中包含Silver 4110等。

Silver 4110相比上一代E5-2620 V4,支持更高的內存頻率、更多的內存通道、更大的L2 Cache、更快的總線傳輸速率等。 Intel官方數據顯示Silver 4110的性能比上一代E5-2620 V4提升了10%。

然而,隨著線上Skylake服務器數量的增加,以及越來越多的業務接入。美團MySQL DBA團隊發現部分MySQL實例性能與預期並不相符,有時甚至出現較大程度的下降。經過持續的性能問題分析,我們定位到Skylake服務器存在性能瓶頸:

  • CPU負載相對較高。
  • TPS等吞吐量下降。

接下來,我們將從Intel CPU、ut_delay函數、PAUSE指令三方面入手,進行剖析定位,並探索相關優化方案。

2. 性能問題分析

2.1 Grantly與Purley CPU性能差異

首先,基於上述兩代平台的CPU(Grantly和Purley),通過基準測試,橫向對比在不同OS下的性能表現。

通過基準測試數據,總結如下:

  1. 在oltp_write_only(只寫)的場景下Purley 4110的性能下降較為明顯。
  2. 同為Purley 4110,CentOS 7比CentOS 6 oltp_write_only(只寫)性能有提升。

我們通過二維折線圖,來展示性能之間的差異:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 1

在上圖中,同為Purley 4110,CentOS 7比CentOS 6性能有提升。具體提升原因,因不涉及本文重點內容,所以不在這裡詳細展開了。

New MCS-based Locking Mechanism
Red Hat Enterprise Linux 7.1 introduces a new locking mechanism, MCS locks. This new locking mechanism significantly reduces spinlock overhead in large systems, which makes spinlocks generally more efficient in Red Hat Enterprise Linux 7.1.

紅帽官網Release Notes顯示,從內核3.10.0-229開始,引入了新的加鎖機制,MCS鎖。可以降低spinlock的開銷,從而更高效地運行。普通spinlock在多CPU Core下,同時只能有一個CPU獲取變量,並自旋,而緩存一致性協議為了保證數據的正確,會對所有CPU Cache Line狀態、數據,同步、失效等操作,導致性能下降。而MSC鎖實現每個CPU都有自己的“spinlock”本地變量,只在本地自旋。避免Cache Line同步等,從而提升了相關性能。不過,社區對於spinlock的優化爭議還是比較大的,後續又有大牛基於MSC實現了qspinlock,並在4.x的版本上patch了。具體實現可以參看:MCS locks and qspinlocks

在大致了解CentOS 7性能的迭代後,接下來我們深入分析一下Skylake CPU 4110導致性能下降的緣由。

3. CPU性能跟踪

3.1 定位熱點函數

具體定位4110性能瓶頸,分如下幾步:

  1. 首先,通過perf top來跟踪一下Linux CPU性能開銷。
  2. 然後,通過perf record記錄函數CPU週期的消耗佔比。
  3. 最後,通過火焰圖來驗證定位熱點函數。

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 2

可以看到,其中佔CPU消耗佔比較大為:ut_delay函數。

我們繼續深挖一下函數鏈調用關係:

# Children      Self  Command  Shared Object        Symbol                                                                                                                                                                            
# ........  ........  .......  ...................  ..................................................................................................................................................................................
#
    93.54%     0.00%  mysqld   libpthread-2.17.so   [.] start_thread
            |
            ---start_thread
               |          
               |--77.07%--pfs_spawn_thread
               |          |          
               |           --77.05%--handle_connection
               |                     |          
               |                      --76.97%--do_command
               |                                |          
               |                                |--74.30%--dispatch_command
               |                                |          |          
               |                                |          |--71.16%--mysqld_stmt_execute
               |                                |          |          |          
               |                                |          |           --70.74%--Prepared_statement::execute_loop
               |                                |          |                     |          
               |                                |          |                     |--69.53%--Prepared_statement::execute
               |                                |          |                     |          |          
               |                                |          |                     |          |--67.90%--mysql_execute_command
               |                                |          |                     |          |          |          
               |                                |          |                     |          |          |--23.43%--trans_commit_stmt
               |                                |          |                     |          |          |          |          
               |                                |          |                     |          |          |           --23.30%--ha_commit_trans
               |                                |          |                     |          |          |                     |          
               |                                |          |                     |          |          |                     |--18.86%--MYSQL_BIN_LOG::commit
               |                                |          |                     |          |          |                     |          |          
               |                                |          |                     |          |          |                     |           --18.18%--MYSQL_BIN_LOG::ordered_commit
               |                                |          |                     |          |          |                     |                     |          
               |                                |          |                     |          |          |                     |                     |--8.02%--MYSQL_BIN_LOG::change_stage
               |                                |          |                     |          |          |                     |                     |          |          
               |                                |          |                     |          |          |                     |                     |          |--2.35%--__lll_unlock_wake
               |                                |          |                     |          |          |                     |                     |          |          |          
               |                                |          |                     |          |          |                     |                     |          |           --2.24%--system_call_fastpath
               |                                |          |                     |          |          |                     |                     |          |                     |          
               |                                |          |                     |          |          |                     |                     |          |                      --2.24%--sys_futex
               |                                |          |                     |          |          |                     |                     |          |                                |          
               |                                |          |                     |          |          |                     |                     |          |                                 --2.23%--do_futex
               |                                |          |                     |          |          |                     |                     |          |                                           |          
               |                                |          |                     |          |          |                     |                     |          |                                            --2.14%--futex_wake
               |                                |          |                     |          |          |                     |                     |          |                                                      |          
               |                                |          |                     |          |          |                     |                     |          |                                                       --1.38%--wake_up_q
               |                                |          |                     |          |          |                     |                     |          |                                                                 |          
               |                                |          |                     |          |          |                     |                     |          |                                                                  --1.33%--try_to_wake_up
               ...

將上述調用通過火焰圖進行直觀展示:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 3

現在基本可以確定,所有的函數調用,最後大部分的消耗都在ut_delay上。

3.2 ut_delay和PAUSE之間的關聯與性能影響

3.2.1 MySQL ut_delay實現

接下來,我們繼續看一下MySQL源碼中ut_delay函數的功能:

/*************************************************************//**
Runs an idle loop on CPU. The argument gives the desired delay
in microseconds on 100 MHz Pentium + Visual C++.
@return dummy value */
ulint
ut_delay(
/*=====*/
  ulint delay)  /*!< in: delay in microseconds on 100 MHz Pentium */
{
  ulint i, j;

  UT_LOW_PRIORITY_CPU();

  j = 0;

  for (i = 0; i < delay * 50; i++) {
    j += i;
    UT_RELAX_CPU();
  }

  UT_RESUME_PRIORITY_CPU();

  return(j);
}
...

#   define UT_RELAX_CPU() asm ("pause" )
#   define UT_RELAX_CPU() __asm__ __volatile__ ("pause")

可以了解到,MySQL自旋會調用PAUSE指令,從而提升spin-wait loop的性能。

3.2.2 PAUSE指令周期的演變

我們可以看下Intel官網,也描述了在新平台架構PAUSE的改動:

Pause Latency in Skylake MicroarchitectureThe PAUSE instruction is typically used with software threads executing on two logical processors located in the same processor core, waiting for a lock to be released. Such short wait loops tend to last between tens and a few hundreds of cycles, so performance-wise it is better to wait while occupying the CPU than yielding to the OS. When the wait loop is expected to last for thousands of cycles or more, it is preferable to yield to the operating system by calling an OS synchronization API function, such as WaitForSingleObject on Windows* OS or futex on Linux.

The latency of the PAUSE instruction in prior generation microarchitectures is about 10 cycles, whereas in Skylake microarchitecture it has been extended to as many as 140 cycles.
The increased latency (allowing more effective utilization of competitively-shared microarchitectural resources to the logical processor ready to make forward progress) has a small positive performance impact of 1-2% on highly threaded applications. It is expected to have negligible impact on less threaded applications if forward progress is not blocked executing a fixed number of looped PAUSE instructions. There's also a small power benefit in 2-core and 4-core systems.
As the PAUSE latency has been increased significantly, workloads that are sensitive to PAUSE latency will suffer some performance loss.

  • 上一代架構中(Grantly平台E系列)PAUSE的周期時長為10 cycles,新一代的Skylake架構中則為140 cycles。
  • 如果程序中使用固定次數的PAUSE循環來實現一段時間的延遲,以此阻塞程序執行,可能引發非預期的延遲。
  • 由於PAUSE週期增加,對於PAUSE敏感的應用會有一定的性能損失。

衡量程序執行性能的簡化公式

ExecutionTime(T)=InstructionCount∗TimePerCycle∗CPI

即:程序執行時間 = 程序總指令數 x 每CPU時鐘週期時間 x 每指令執行所需平均時鐘週期數。

MySQL內部自旋,就是通過固定次數的PAUSE循環實現。可知,PAUSE指令周期的增加,那麼執行自旋的時間也會增加,即程序執行的時間也會相對增加,對系統整體的吞吐量就會有影響。

顯然,Intel文檔已說明不同平台、不同架構CPU PAUSE定義的周期是不一樣的。

下面,我們通過一個測試用例來大致驗證、對比一下新老架構CPU執行PAUSE的cycles:

#include 
#define TIMES 5

static inline unsigned long long rdtsc(void)
{
    unsigned long low, high;
    asm volatile("rdtsc" : "=a" (low), "=d" (high) );
    return ((low) | (high) << 32);
}

void pause_test()
{
    int i = 0;
    for (i = 0; i < TIMES; i++) {
        asm(
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                "pausen"
                ::
                :);
    }
}

unsigned long pause_cycle()
{
    unsigned long start, finish, elapsed;
    start = rdtsc();
    pause_test();
    finish = rdtsc();
    elapsed = finish - start;
    printf("Pause的cycles约为:%ldn", elapsed / 100);
    return 0;
}

int main()
{
    pause_cycle();
    return 0;
}

其運行結果統計如下:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 4

  • 4110和5118 PAUSE週期較大,均為100多,它們屬於Purley第一代架構:Skylake。
  • 4210和5218 PAUSE相比前一代有提升,是因為它們同屬Purley第二代架構:Cascadelake,該代CPU PAUSE指令有優化。

3.2.3 Intel 提升PAUSE猜想

Intel提高PAUSE指令周期的原因,推測可能是減少自旋鎖衝突的概率,以及降低功耗;但反而導致PAUSE執行時間變長,降低了整體的吞吐量。

The increased latency (allowing more effective utilization of competitively-shared microarchitectural resources to the logical processor read to make forward progress) has a small positive performance impact of 1-2% on highly threaded applications. It is expected to have negligible impact on less threaded applications if forward progress is not blocked executing a fixed number of looped PAUSE instructions.

3.3 PAUSE導致寫瓶頸分析

接下來,我們深入分析一下PAUSE指令導致MySQL寫瓶頸的原因。

首先,通過MySQL 內部統計信息,查看一下InnoDB信號量監控數據:

SEMAPHORES
----------
OS WAIT ARRAY INFO: reservation count 153720
--Thread 139868617205504 has waited at row0row.cc line 1075 for 0.00 seconds the semaphore:
X-lock on RW-latch at 0x7f4298084250 created in file buf0buf.cc line 1425
a writer (thread id 139869284108032) has reserved it in mode  SX
number of readers 0, waiters flag 1, lock_word: 10000000
Last time read locked in file not yet reserved line 0
Last time write locked in file /mnt/workspace/percona-server-5.7-redhat-binary-rocks-new/label_exp/min-centos-7-x64/test/rpmbuild/BUILD/percona-server-5.7.26-29/percona-server-5.7.26-29/storage/innobase/buf/buf0flu.cc line 1216
OS WAIT ARRAY INFO: signal count 441329
RW-shared spins 0, rounds 1498677, OS waits 111991
RW-excl spins 0, rounds 717200, OS waits 9012
RW-sx spins 47596, rounds 366136, OS waits 4100
Spin rounds per wait: 1498677.00 RW-shared, 717200.00 RW-excl, 7.69 RW-sx

可見寫操作並阻塞在:storage/innobase/buf/buf0flu.cc第1216行調用上。

跟踪一下發生等待的源碼:buf0flu.cc line 1216:

    if (flush_type == BUF_FLUSH_LIST
        && is_uncompressed
        && !rw_lock_sx_lock_nowait(rw_lock, BUF_IO_WRITE)) {    // 加锁前,判断锁冲突

        if (!fsp_is_system_temporary(bpage->id.space())) {
        /* avoiding deadlock possibility involves
        doublewrite buffer, should flush it, because
        it might hold the another block->lock. */
        buf_dblwr_flush_buffered_writes(
          buf_parallel_dblwr_partition(bpage,
                flush_type));
      } else {
        buf_dblwr_sync_datafiles();
      }
      rw_lock_sx_lock_gen(rw_lock, BUF_IO_WRITE);        //  加sx锁
    }
... 
 #define rw_lock_sx_lock_nowait(M, P)       
  rw_lock_sx_lock_low((M), (P), __FILE__, __LINE__)
...

rw_lock_sx_lock_func(                                       // 加sx锁函数            
/*=================*/
  rw_lock_t*  lock, /*!< in: pointer to rw-lock */
  ulint   pass, /*!< in: pass value; != 0, if the lock will
        be passed to another thread to unlock */
  const char* file_name,/*!< in: file name where lock requested */
  ulint   line) /*! 0) {
      lock->count_os_wait +=
        static_cast(count_os_wait);
      rw_lock_stats.rw_sx_os_wait_count.add(count_os_wait);
    }

    rw_lock_stats.rw_sx_spin_round_count.add(spin_count);
    rw_lock_stats.rw_sx_spin_wait_count.add(spin_wait_count);

    /* Locking succeeded */
    return;

  } else {

    ++spin_wait_count;

    /* Spin waiting for the lock_word to become free */
    os_rmb;
    while (i lock_word = srv_n_spin_wait_rounds) {

      os_thread_yield();

    } else {

      goto lock_loop;
    }
...
ulong srv_n_spin_wait_rounds  = 30;
ulong srv_spin_wait_delay = 6;

上述源碼可知,MySQL鎖等待是通過調用ut_delay做空循環實現的。

InnoDB層有三種鎖:S(共享鎖)、X(排他鎖)和SX(共享排他鎖)。 SX與SX、X是互斥鎖。加SX不會影響讀,只會阻塞寫。所以在大量寫入操作時,會造成大量的鎖等待,即大量的PAUSE指令。

分析到這裡,我們總結一下影響吞吐量的兩個因素:

  • 自旋的時長,在MySQL5.7以及之前版本的源碼定位為:spin_wait_delay * 50。
  • Intel CPU PAUSE的指令周期。

接下來,我們就從這兩方面入手,評估優化空間以及效果。

4. 針對PAUSE指令和spin參數優化與探索

4.1 MySQL spin參數優化

4.1.1 MySQL 5.7 spin參數優化

我們可以基於現有MySQL版本、硬件等方面,來尋找優化點。

MySQL針對spin控制這塊有個參數可以調整,根據參數特點進行相關優化。

innodb_spin_wait_delay

innodb_spin_wait_delay的單位,是100MHZ的奔騰處理器處理1毫秒的時間,默認innodb_spin_wait_delay配置成6,表示最多在100MHZ的奔騰處理器上自旋6毫秒。

innodb_sync_spin_loops

當innodb線程獲取mutex資源而得不到滿足時,會最多進行innodb_sync_spin_loops次嘗試獲取mutex資源。

其中innodb_spin_wait_delay參數對PAUSE運行時長是有影響的。針對此參數,我們進行調優測試。

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 5

同樣,針對上述參數優化,我們通過基準測試來對比性能和效果:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 6

可以總結為:

  • innodb_spin_wait_delay的調整對TPS、QPS 一定影響,其值趨於小,則MySQL性能有提升。反之,下降。
  • innodb_spin_wait_delay參數調整性能優化效果有限,性能提升的幅度還是無法滿足線上業務需求。

4.2 MySQL 8.0 spin新特性移植

4.2.1 spin_wait_pause_multiplier 移植

針對Skylake CPU,PAUSE造成的吞吐量下降,我們對MySQL 5.7 spin控制參數innodb_spin_wait_delay的調優並未取得明顯效果。

於是,我們將目光投向了MySQL 8.0的新特性:MySQL 8.0 針對PAUSE,源碼中新增了spin_wait_pause_multiplier參數,來替換之前寫死的循環次數。

4.2.2 spin_wait_pause_multiplier實現

MySQL 8.0源碼中,之前循環50次的邏輯修改成了可以調整循環次數的參數:spin_wait_pause_multiplier。

ulint ut_delay(ulint delay) {
  ulint i, j;
  /* We don't expect overflow here, as ut::spin_wait_pause_multiplier is limited
  to 100, and values of delay are not larger than @@innodb_spin_wait_delay
  which is limited by 1 000. Anyway, in case an overflow happened, the program
  would still work (as iterations is unsigned). */
  const ulint iterations = delay * ut::spin_wait_pause_multiplier;
  UT_LOW_PRIORITY_CPU();

  j = 0;

  for (i = 0; i < iterations; i++) {
    j += i;
    UT_RELAX_CPU();
  }

  UT_RESUME_PRIORITY_CPU();

  return (j);
}
...
namespace ut {
ulong spin_wait_pause_multiplier = 50;
}

4.2.3 移植spin_wait_pause_multiplier patch優化

既然MySQL 8.0參數spin_wait_pause_multiplier可以控制PAUSE執行的時長,那麼就可以減少該值,從而降低整體PAUSE影響。

了解MySQL 8.0相關代碼後,我們將該patch移植到線上的穩定版本:

MySQ >select version();
+------------------+
| version()        |
+------------------+
| 5.7.26-29-mt-log |
+------------------+
1 row in set (0.00 sec)

MySQL>show global variables like '%spin%';  
+-----------------------------------+-------+
| Variable_name                     | Value |
+-----------------------------------+-------+
| innodb_spin_wait_delay            | 6     |
| innodb_spin_wait_pause_multiplier | 5     |
| innodb_sync_spin_loops            | 30    |
+-----------------------------------+-------+
3 rows in set (0.00 sec)

由上述可知,Silver 4110的PAUSE cycles是E5-2620 v4的14倍左右。基於此,將innodb_spin_wait_pause_multiplier值調整為默認值的1/14,取稍大值:5。即將該參數由原默認的50調整為5。

最後,還是通過二維折線圖來對比該patch調優後的基準測試數據:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 7

  • Silver 4110移植spin_wait_pause_multiplier patch,並調整優化後,4110(patch)性能有了較大的提升。
  • Silver 4110(patch) 相對調優innodb_spin_wait_delay性能上更優。
  • Silver 4110(patch)並發線程大於64的只寫場景,性能略低於E5-2620 V4 ,其他均優。
  • 按照真實的線上讀寫比例,4110(patch)可以將吞吐量恢復到原先的性能水平。

4.3 PAUSE指令周期優化

上述章節中,我們測出Cascadelake CPU PAUSE週期下降了。在跟Intel技術專家確認後得知:從Purley的第二代產品Cascadelake開始,Intel將PAUSE的指令周期降低到了44。 (估計Intel也發現了第一代增加PAUSE週期後的性能瓶頸問題。)

我們針對第二代CPU產品繼續做基準測試,來看一下性能表現:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 8

接著用perf diff來對比一下4110和4210在ut_delay上的開銷:

Intel PAUSE指令變化影響到MySQL的性能,該如何解決? 9

可以看到4210比4110佔比下降了8%。

  • 由於PAUSE指令周期還是數倍於E5系列CPU,4210在高負載下,PAUSE的開銷對MySQL吞吐量還是有較大的影響。而在128並發線程以下,性能相比4110有了較大的提升。按理,可以滿足線上業務需求(該測試結果跟移植spin_wait_pause_multiplier patch性能測試數據曲線一致)。

5. 總結

最後針對本篇內容,我們可以做個簡單的總結:

Intel在新平台CPU產品調大了PAUSE指令周期,在高並發spinlock競爭激烈場景下,可能會造成程序性能較大損耗(特別是執行固定PAUSE次數的程序)。

  1. 針對Skylake架構CPU(比如:4110等)PAUSE指令周期較長引起性能問題的優化方法如下:

a. 將MySQL 8.0 innodb_spin_wait_pause_multiplier patch移植到線上穩定版本(或升級到MySQL 8.0),通過降低PAUSE執行時長,來提升吞吐量。

n. 如果是OS為CentOS 6,可以升級到CentOS 7,CentOS 7本身spinlock優化,對MySQL性能也有一定提升。

c. 最簡單、直接的方法可以替換為Cascadelake架構CPU。

  1. 針對Cascadelake架構CPU,由於Intel本身在PAUSE週期已經優化,性能上已經做了修復。當然也可以採用上述優化方案,讓性能提升一個台階。

作者介紹

春林,2017年加入美團,主要負責MySQL運維開發和優化工作。

本文轉載自公眾號美團技術團隊(ID:meituantech)。

原文鏈接

https://mp.weixin.qq.com/s/dlKC13i9Z8wjDDiU2tig6Q