GNU/Linux >> Linux の 問題 >  >> Linux

百万のXMLファイルを含むディレクトリから複数のZipを作成するにはどうすればよいですか?

100万個のxmlファイルを含むディレクトリがあります。
n個のxmlファイルを含む複数のzipファイルを作成したいと思います。例:n =10000の場合、100個のzipファイルを作成します。つまり、各zipファイルには10000個のxmlファイルしかありません。

これらのzipファイルを作成する最も効率的な方法は何ですか?数百万のxmlファイルを含む複数のフォルダに対してこの操作を繰り返す必要があるため、このプロセスにこれ以上時間がかからないようにします。

承認された回答:

これは役に立つかもしれません:

$ zip all.zip *.xml  ## create a big archive.

アーカイブの合計サイズを確認します:

$ ls -lh all.zip

次に、必要に応じて、大きなアーカイブを小さなアーカイブに分割します。

$ split -b 5M all.zip ## creates 5 MB zips

注:アーカイブを再度結合しない限り、アーカイブの抽出は機能しません:

cat x* > oldbigzip.

Linux
  1. ディレクトリへのリンクを作成する方法

  2. Linux / Unixで複数のファイルの名前をある拡張子から別の拡張子に変更する方法は?

  3. すべてのファイルを現在のディレクトリから上位ディレクトリに移動する方法は?

  1. 複数のファイルを Linux サーバーから FTP にアップロードするには?

  2. 正規表現を使用して TAR アーカイブからファイルを除外する方法は?

  3. Ansible を使用してリモート マシンからローカルに複数のファイルをフェッチする方法

  1. Ventoy:複数のISOファイルを使用してマルチブートUSBドライブを作成する方法

  2. Wgetを使用してWebディレクトリからファイルを再帰的にダウンロードするにはどうすればよいですか?

  3. Mac 上のディレクトリの Linux 互換 zip アーカイブを作成する方法