Linux用のbpftraceの紹介

Bpftraceは、本番環境のパフォーマンスの問題を分析し、ソフトウェアのトラブルシューティングを行うためのLinux用の新しいオープンソーストレーサーです。そのユーザーと貢献者には、Netflix、Facebook、Red Hat、Shopifyなどが含まれ、さまざまなコーディングコンテストで優勝した才能のある英国を拠点とする開発者であるAlastairRobertsonによって作成されました。

Linuxにはすでに多くのパフォーマンスツールがありますが、それらは多くの場合カウンターベースであり、可視性が制限されています。たとえば、iostat（1）または監視エージェントは、平均ディスクレイテンシを通知しますが、このレイテンシの分布は通知しません。分布は、複数のモードまたは外れ値を明らかにする可能性があり、どちらもパフォーマンスの問題の本当の原因である可能性があります。 Bpftraceは、この種の分析に適しています。メトリックを分布またはイベントごとのログに分解し、死角を可視化するための新しいメトリックを作成します。

ワンライナーまたはスクリプトを介してbpftraceを使用でき、多くの事前に作成されたツールが付属しています。これは、PID 181の読み取りレイテンシーの分布をトレースし、それを2の累乗のヒストグラムとして表示する例です。

# bpftrace -e 'kprobe:vfs_read /pid == 30153/ { @start[tid] = nsecs; }

kretprobe:vfs_read /@start[tid]/ { @ns = hist(nsecs - @start[tid]); delete(@start[tid]); }'

Attaching 2 probes...

^C



@ns:

[256, 512)         10900 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@                      |

[512, 1k)          18291 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

[1k, 2k)            4998 |@@@@@@@@@@@@@@                                      |

[2k, 4k)              57 |                                                    |

[4k, 8k)             117 |                                                    |

[8k, 16k)             48 |                                                    |

[16k, 32k)           109 |                                                    |

[32k, 64k)             3 |                                                    |

この例では、利用可能な数千のうち1つのイベントを計測します。奇妙なパフォーマンスの問題がある場合は、おそらくそれに光を当てることができるいくつかのbpftraceワンライナーがあります。大規模な環境では、この機能により数百万ドルを節約できます。小規模な環境では、レイテンシの外れ値を排除するのに役立つ可能性があります。

Linuxターミナル

• Linux用の上位7つのターミナルエミュレータ
• Linuxでのデータ分析のための10個のコマンドラインツール
• 今すぐダウンロード：SSHチートシート
• 高度なLinuxコマンドのチートシート
• Linuxコマンドラインチュートリアル

以前、bpftraceとBCC（BPFコンパイラコレクション）を含む他のトレーサーについて書きました。 BCCは、複雑なツールやエージェントの缶詰に最適です。 Bpftraceは、短いスクリプトや臨時の調査に最適です。この記事では、bpftrace言語、変数タイプ、プローブ、およびツールを要約します。

Bpftraceは、仮想命令セットを処理するカーネル内実行エンジンであるBPF（Berkeley Packet Filter）を使用します。 BPFは、カーネル機能を拡張するための安全な方法を提供するために、近年拡張されました（別名eBPF）。また、前回のLinux Plumber's ConferenceでBPFについて少なくとも24回の講演があり、システムエンジニアリングでも話題になっています。 BPFはLinuxカーネルに含まれており、bpftraceは、可観測性のためにBPFの使用を開始するための最良の方法です。

インストール方法については、bpftrace INSTALLガイドを参照し、最新バージョンを入手してください。 0.9.2がリリースされました。 Kubernetesクラスタの場合、それを実行するためのkubectl-traceもあります。

probe[,probe,...] /filter/ { action }

# bpftrace -e 'BEGIN { printf("Hello eBPF!\n"); }'

# bpftrace -e 'kretprobe:sys_read /pid == 181/ { @bytes = hist(retval); }'

tools# ls *.bt

bashreadline.bt  dcsnoop.bt         oomkill.bt    syncsnoop.bt   vfscount.bt

biolatency.bt    execsnoop.bt       opensnoop.bt  syscount.bt    vfsstat.bt

biosnoop.bt      gethostlatency.bt  pidpersec.bt  tcpaccept.bt   writeback.bt

bitesize.bt      killsnoop.bt       runqlat.bt    tcpconnect.bt  xfsdist.bt

capable.bt       loads.bt           runqlen.bt    tcpdrop.bt

cpuwalk.bt       mdflush.bt         statsnoop.bt  tcpretrans.bt

tools# cat -n biolatency.bt

     1  /*

     2   * biolatency.bt    Block I/O latency as a histogram.

     3   *                  For Linux, uses bpftrace, eBPF.

     4   *

     5   * This is a bpftrace version of the bcc tool of the same name.

     6   *

     7   * Copyright 2018 Netflix, Inc.

     8   * Licensed under the Apache License, Version 2.0 (the "License")

     9   *

    10   * 13-Sep-2018  Brendan Gregg   Created this.

    11   */

    12

    13  BEGIN

    14  {

    15          printf("Tracing block device I/O... Hit Ctrl-C to end.\n");

    16  }

    17

    18  kprobe:blk_account_io_start

    19  {

    20          @start[arg0] = nsecs;

    21  }

    22

    23  kprobe:blk_account_io_done

    24  /@start[arg0]/

    25

    26  {

    27          @usecs = hist((nsecs - @start[arg0]) / 1000);

    28          delete(@start[arg0]);

    29  }

    30  

    31  END

    32  {

    33          clear(@start);

    34  }

tools# more biolatency_example.txt

Demonstrations of biolatency, the Linux BPF/bpftrace version.





This traces block I/O, and shows latency as a power-of-2 histogram. For example:



# biolatency.bt

Attaching 3 probes...

Tracing block device I/O... Hit Ctrl-C to end.

^C



@usecs:

[256, 512)             2 |                                                    |

[512, 1K)             10 |@                                                   |

[1K, 2K)             426 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|

[2K, 4K)             230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@                        |

[4K, 8K)               9 |@                                                   |

[8K, 16K)            128 |@@@@@@@@@@@@@@@                                     |

[16K, 32K)            68 |@@@@@@@@                                            |

[32K, 64K)             0 |                                                    |

[64K, 128K)            0 |                                                    |

[128K, 256K)          10 |@                                                   |



While tracing, this shows that 426 block I/O had a latency of between 1K and 2K

usecs (1024 and 2048 microseconds), which is between 1 and 2 milliseconds.

There are also two modes visible, one between 1 and 2 milliseconds, and another

between 8 and 16 milliseconds: this sounds like cache hits and cache misses.

There were also 10 I/O with latency 128 to 256 ms: outliers. Other tools and

instrumentation, like biosnoop.bt, can shed more light on those outliers.

[...]

# nroff -man man/man8/biolatency.8

biolatency(8)               System Manager's Manual              biolatency(8)







NAME

       biolatency.bt - Block I/O latency as a histogram. Uses bpftrace/eBPF.



SYNOPSIS

       biolatency.bt



DESCRIPTION

       This  tool  summarizes  time  (latency) spent in block device I/O (disk

       I/O) as a power-of-2 histogram. This  allows  the  distribution  to  be

       studied,  including  modes and outliers. There are often two modes, one

       for device cache hits and one for cache misses, which can be  shown  by

       this tool. Latency outliers will also be shown.

[...]