CentOS7にElasticStackをインストールする方法

このステップでは、Logsatashをインストールし、filebeatを使用してクライアントからのサーバーログを一元化するように構成し、Syslogデータをフィルタリングして変換し、スタッシュに移動します（Elasticsearch）。

Logstashをダウンロードし、rpmでインストールします。

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.rpm
rpm -ivh logstash-5.1.1.rpm

クライアントがエラスティックサーバーを識別できるように、新しいSSL証明書ファイルを生成します。

tlsディレクトリに移動し、openssl.cnfファイルを編集します。

cd /etc/pki/tls
vim openssl.cnf

サーバーIDの「[v3_ca]」セクションに新しい行を追加します。

[ v3_ca ]
 
# Server IP Address
subjectAltName = IP: 10.0.15.10

保存して終了します。

opensslコマンドを使用して証明書ファイルを生成します。

openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout /etc/pki/tls/private/logstash-forwarder.key -out /etc/pki/tls/certs/logstash-forwarder.crt

証明書ファイルは、「/ etc / pki / tls /certs/」および「/etc/ pki / tls /private/」ディレクトリにあります。

次に、Logstashの新しい構成ファイルを作成します。新しい「filebeat-input.conf」ファイルを作成してfilebeatのログソースを構成し、次に「syslog-filter.conf」ファイルを作成してsyslog処理を行い、「output-elasticsearch.conf」ファイルを作成してElasticsearchの出力を定義します。

logstash構成ディレクトリに移動し、「conf.d」サブディレクトリに新しい構成ファイルを作成します。

cd /etc/logstash/
vim conf.d/filebeat-input.conf

入力構成：以下の構成を貼り付けます。

input {
  beats {
    port => 5443
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

保存して終了します。

syslog-filter.confファイルを作成します。

vim conf.d/syslog-filter.conf

以下の設定を貼り付けてください。

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

' grokという名前のフィルタープラグインを使用します 'syslogファイルを解析します。

保存して終了します。

出力構成ファイル'output-elasticsearch.conf'を作成します。

vim conf.d/output-elasticsearch.conf

以下の設定を貼り付けてください。

output {
  elasticsearch { hosts => ["localhost:9200"]
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

保存して終了します。

最後に、logstashを追加して起動時に開始し、サービスを開始します。

sudo systemctl enable logstash
sudo systemctl start logstash

ssh [email protected]

scp [email protected]:~/logstash-forwarder.crt .
TYPE elk-server password

sudo mkdir -p /etc/pki/tls/certs/
mv ~/logstash-forwarder.crt /etc/pki/tls/certs/

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-x86_64.rpm
rpm -ivh filebeat-5.1.1-x86_64.rpm

cd /etc/filebeat/
vim filebeat.yml

  paths:
    - /var/log/secure
    - /var/log/messages

  document-type: syslog

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
#  hosts: ["localhost:9200"]

output.logstash:
  # The Logstash hosts
  hosts: ["10.0.15.10:5443"]
  bulk_max_size: 1024
  ssl.certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
  template.name: "filebeat"
  template.path: "filebeat.template.json"
  template.overwrite: false

sudo systemctl enable filebeat
sudo systemctl start filebeat

ssh [email protected]

scp [email protected]:~/logstash-forwarder.crt .

sudo mkdir -p /etc/pki/tls/certs/
mv ~/logstash-forwarder.crt /etc/pki/tls/certs/

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-amd64.deb
dpkg -i filebeat-5.1.1-amd64.deb

cd /etc/filebeat/
vim filebeat.yml

  paths:
    - /var/log/auth.log
    - /var/log/syslog

  document-type: syslog

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
#  hosts: ["localhost:9200"]

output.logstash:
  # The Logstash hosts
  hosts: ["10.0.15.10:5443"]
  bulk_max_size: 1024
  ssl.certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
  template.name: "filebeat"
  template.path: "filebeat.template.json"
  template.overwrite: false

sudo systemctl enable filebeat
sudo systemctl start filebeat

systemctl status filebeat