ElasticStackを使用したコンテナインスツルメンテーション

ファイル/etc/elasticsearch/jvm.options -Xmで始まる2つの値 コメントを外す必要があります。これらの設定は、特定の量のメモリを割り当てるようにJVMに指示します。これらの設定の推奨値は、使用可能なシステムRAMの50％です。たとえば、1GのRAMを搭載したシステムでは、次のように設定する必要があります。

ファイル：/ etc / elasticsearch / jvm.options

1 2	-Xms512m -Xmx512m

1. Elasticsearchを開始する前に、geoipおよびユーザーエージェントデータを処理するために必要なプラグインをいくつかインストールしてください。

   sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent
   sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip
   

2. これらの設定を行ったら、elasticsearchを開始します サービス。

   sudo systemctl start elasticsearch
   

3. Elasticsearchが開始するまでしばらく待ってから、ElasticsearchがRESTAPIを介して応答していることを確認します。

   curl http://localhost:9200
   

   次のような出力が表示されます。

   {
     "name" : "iQEk_-M",
     "cluster_name" : "elasticsearch",
     "cluster_uuid" : "tQeLgbKrTNOp2AoqdmTItw",
     "version" : {
           "number" : "6.5.4",
           "build_flavor" : "default",
           "build_type" : "deb",
           "build_hash" : "d2ef93d",
           "build_date" : "2018-12-17T21:17:40.758843Z",
           "build_snapshot" : false,
           "lucene_version" : "7.5.0",
           "minimum_wire_compatibility_version" : "5.6.0",
           "minimum_index_compatibility_version" : "5.0.0"
     },
     "tagline" : "You Know, for Search"
   }
   

   Elasticsearchはドキュメントのインデックスを作成する準備ができています。

キバナ

Kibanaのデフォルト設定のほとんどは、このガイドの目的に適しています。構成を変更する必要はありません。 kibanaを開始します サービス。

sudo systemctl start kibana

ファイルビート

dockerを使用する Filebeatが開始されたコンテナを動的にキャプチャできるようにするための入力。これにより、Dockerログファイルパスを指定する必要がなくなり、代わりにFilebeatがコンテナーの起動時にコンテナーを検出できるようになります。

1. Filebeat構成ファイルの先頭近くに以下を追加して、filebeatに指示します。 Dockerコンテナログをキャプチャするデーモン。これらの行は、構成キーfilebeat.inputsの下に入力する必要があります ：

   ファイル：/ etc / filebeat / filebeat.yml

   1 2 3 4 5 6

   filebeat.inputs: - type: docker containers.ids: - '*' processors: - add_docker_metadata: ~

2. 次の行のコメントを解除し、その値をtrueに変更します 、これにより、Filebeatはキャプチャされたコンテナログに関連付けられたKibanaダッシュボードを作成できます：

   ファイル：/ etc / filebeat / filebeat.yml

   1	setup.dashboards.enabled: true

3. 最後に、次のautodiscoverを追加します filebeat.ymlの最後までの構成 ファイル：

   ファイル：/ etc / filebeat / filebeat.yml

   1 2 3 4

   filebeat.autodiscover: providers: - type: docker hints.enabled: true

4. nginxを有効にします モジュール。このチュートリアルの後半で使用されます：

   sudo /usr/bin/filebeat modules enable nginx
   

5. 構成ファイルの残りの部分は、ローカルで実行されているElasticsearchインスタンスにログを送信するようにFilebeatに指示しますが、これは変更しないでおくことができます。 Filebeatを開始します：

   sudo systemctl start filebeat
   

メトリックビート

Filebeatと同様に、監視する実行中のコンテナーを動的に検出するようにMetricbeatを構成します。

1. Metricbeatは、モジュールを使用してコンテナメトリックを収集します。次のコマンドを発行して、dockerを有効にします およびnginx モジュール：

   sudo /usr/bin/metricbeat modules enable docker
   sudo /usr/bin/metricbeat modules enable nginx
   

2. 次の行のコメントを解除し、その値をtrueに変更します 、これにより、Metricbeatはキャプチャされたコンテナログに関連付けられたKibanaダッシュボードを作成できます：

   ファイル：/ etc /metricbeat/metricbeat.yml

   1	setup.dashboards.enabled: true

3. 構成ファイルの残りの部分は、ローカルで実行されているElasticsearchインスタンスにログを送信するようにMetricbeatに指示しますが、これは変更しないでおくことができます。 Metricbeatを開始できるようになりました：

   sudo systemctl start metricbeat
   

コンテナログとメトリックの視覚化

次の例は、FilebeatとMetricbeatがKibana内でアクセスできるコンテナデータを自動的にキャプチャする方法を示しています。

1. まず、Linodeで簡単なnginxDockerコンテナを実行します。

   sudo docker run --name nginx -P -d --label co.elastic.logs/module=nginx nginx
   

   • このコマンドは、Webサーバーをバックグラウンドで実行し、リスニングHTTPサービスをランダムなポート番号で公開します。
   • --label 引数は、Filebeatが特定のコンテナタイプ（この場合はnginx）のログ形式を自動的に解析できるようにするためのヒントです。

2. Kibanaへの安全な接続を開くには、Linodeのポート5601へのSSHトンネルを開きます。

   ssh -L 5601:localhost:5601 <[email protected]>
   

   • <[email protected]>を置き換えます Linodeのユーザー名とIPアドレスを使用します。
   • これにより、ポート5601がローカルでLinodeのポート5601に転送されます。
   • さまざまなプラットフォームでSSHトンネルを使用するための包括的なガイドは、MySQL用のSSHトンネルの作成ガイドにあります。

3. http://localhost:5601に移動します ブラウザで、Kibanaの次の最初のランディングページが表示されます。

4. 管理をクリックします 左下のサイドバーのリンク。次のページが表示されます。次に、インデックスパターンをクリックします インデックスパターン設定ページに入ります。

5. インデックスパターンは、KibanaがElasticsearchに存在するインデックスをどのように理解するかを示します。一部のビジュアライゼーションを正しく表示するには、最初にデフォルトのインデックスパターンを設定する必要があります。 filebeat-*を選択します ページの左側にあるfilebeat-*インデックスパターンを設定します。

6. スターアイコンをクリックします ページの右上隅にあるこのインデックスパターンをKibanaのデフォルトとして設定します。

   Kibanaは、デフォルトのインデックスパターンで適切に構成されるようになりました。

7. FilebeatとMetricbeatは、ElasticsearchとKibanaを自動的に構成するように設定されているため、ダッシュボードとインデックスパターンが読み込まれ、使用できるようになります。 ダッシュボードをクリックします 次のページを表示する左側のサイドバーにあります。

8. 検索バーに「container」と入力して、システムコンテナ用に事前入力されたダッシュボードを表示します。 [MetricbeatDocker]の概要をクリックします リンク。

9. [MetricbeatDocker]の概要 ダッシュボードが読み込まれ、現在実行中のコンテナメトリックのいくつかの側面が表示されます。ダッシュボードには、実行中のコンテナーのリスト、実行中、一時停止中、および停止中のコンテナーの総数、およびコンテナーリソース消費に関するメトリックが表示されます。

   さらに下にスクロールすると、CPU、メモリ、ネットワークアクティビティなど、時間の経過に伴うコンテナリソースの使用状況を示すグラフも表示されます。

10. 他のKibanaビジュアライゼーションに進む前に、HTTPリクエストをリスニングコンテナに送信して、nginxからログアクティビティを生成します。まず、dockerを使用して、コンテナがリクエストをリッスンしているポートを見つけます コマンド：

    docker ps
    

    次のような出力が表示されます。

    CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                   NAMES
    3f0c6d284f1f        nginx               "nginx -g 'daemon of…"   23 minutes ago      Up 23 minutes       0.0.0.0:32769->80/tcp   nginx
    

    この出力から、コンテナのポート80に転送されているポート32769にリクエストを発行することで、HTTPサーバーに到達できることがわかります。システムのポートは異なる場合があります。

11. curlを使用して、このポートにいくつかのリクエストを送信します コマンド、<port>を置き換えます 前のステップで見つかった番号を使用して：

    for i in $(seq 1 10) ; do curl localhost:<port> ; done
    

12. 現在、このコンテナのKibanaには多数のログがあります。 検出をクリックします Kibanaの左側のサイドバーにあります。次の画面が表示されます。

    • ページ上部のヒストグラムは、時間の経過に伴うコンテナログの総数を示しています。
    • グラフの下の表には、個々のログの内容が含まれています。
    • 各ログのタイムスタンプの左側にある矢印をクリックすると、キャプチャされた各ログの情報が表示されます。

13. 以前のfor ...を再発行してみてください さらに10個のcurlを送信するコマンド コンテナにリクエストし、新しいログを反映するためにログヒストグラムがどのように変化するかを観察します。

14. ダッシュボードをクリックします 左側のサイドバーでもう一度クリックして、ダッシュボードの選択画面に入ります。検索バーで「nginx」を検索します。

15. [FilebeatNginx]アクセスとエラーログをクリックします リンク。nginxアクティビティに関する多数の視覚化を含むダッシュボードが表示されます。

追加モジュール

このチュートリアルでは、ログファイルのパスや構成を明示的に構成しなくても、FilebeatとMetricbeatがコンテナのメトリックとログを自動的にキャプチャする方法を示しました。ここに示されているnginxの例に加えて、以下に提供される追加のリンクは、他のサービスのためにFilebeatおよびMetricbeatにロードできる他のモジュールを列挙しています。

詳細情報

このトピックの詳細については、次のリソースを参照してください。これらは有用であることを期待して提供されていますが、外部でホストされている資料の正確性や適時性を保証することはできません。

• ファイルビートモジュール
• Metricbeatモジュール
• 弾性コンテナの監視
• Dockerコマンドラインリファレンス