GNU/Linux >> Linux の 問題 >  >> Linux

ログを使用してS3バケット内を検索しますか?

Amazon S3バケットサブフォルダー内の多くの.gzファイル内の文字列を検索するにはどうすればよいですか? s3fsとzgrepを介してマウントしようとしましたが、非常に遅いです。他の方法を使用していますか?

たぶん、それらをすばやくzgrepするために使用できるAmazonサービスはありますか?

承認された回答:

最も簡単な方法は、最初にローカルにコピーしてから、ローカルのzgrepを実行することです。

aws s3 cp s3://bucket/containing/the/logs . --recursive

これにより、コピーされます(cp )現在のディレクトリ(.)へのすべてのログ )そしてすべてのサブフォルダも含めます(--recursive

次に、ローカルのzgrep

zgrep "search words" *.gz

または、サブディレクトリも再帰的に検索するには:

find -name \*.gz -print0 | xargs -0 zgrep "STRING"

(unix.stackexchange.comから取得)


Linux
  1. Ssh Inside Sshは「stdin:Is Not A Tty」で失敗しますか?

  2. GUIでファイルを検索しますか?

  3. CSFを使用してシステムログファイルを検索する

  1. Linuxlogrotateコマンドを使用してログをローテーションおよびアーカイブします

  2. Locateコマンドを使用してLinuxでファイルをすばやく検索する

  3. 方法:Journalctlを使用してシステムログを管理する

  1. ack で複数のパターン (単語) を検索しますか?

  2. X よりも古いすべてのファイルを含むディレクトリを検索しますか?

  3. 時々ローテーションされる末尾のログを継続的に監視します