大きなファイルに対して大きなリストをgrepする

試す

grep -f the_ids.txt huge.csv

さらに、パターンは固定文字列のように見えるため、 -F を提供します オプションは grep を高速化する可能性があります .

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)

grep -f を使用 このため:

grep -f the_ids.txt huge.csv > output_file

man grep から :

<ブロック引用>

-f ファイル、--file=ファイル

FILE からパターンを 1 行に 1 つずつ取得します。空のファイルにはパターンが含まれていないため、何にも一致しません。 (-f は POSIX で指定されています。)

サンプル入力を提供していただければ、grep を改善できるかもしれません もう少しコンディションを整えてください。

テスト

$ cat ids
11
23
55
$ cat huge.csv 
hello this is 11 but
nothing else here
and here 23
bye

$ grep -f ids huge.csv 
hello this is 11 but
and here 23