Amazon S3バケットサブフォルダー内の多くの.gzファイル内の文字列を検索するにはどうすればよいですか? s3fsとzgrepを介してマウントしようとしましたが、非常に遅いです。他の方法を使用していますか?
たぶん、それらをすばやくzgrepするために使用できるAmazonサービスはありますか?
承認された回答:
最も簡単な方法は、最初にローカルにコピーしてから、ローカルのzgrepを実行することです。
aws s3 cp s3://bucket/containing/the/logs . --recursive
これにより、コピーされます(cp
)現在のディレクトリ(.
)へのすべてのログ )そしてすべてのサブフォルダも含めます(--recursive
。
次に、ローカルのzgrep
:
zgrep "search words" *.gz
または、サブディレクトリも再帰的に検索するには:
find -name \*.gz -print0 | xargs -0 zgrep "STRING"
(unix.stackexchange.comから取得)