列ごとに「ユニーク」にする方法はありますか?

sort -u -t, -k1,1 file

• -u ユニークな
• -t, コンマが区切り文字です
• -k1,1 キー フィールド 1 の場合

テスト結果:

[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F フィールド区切りを設定します。
• $1 は最初のフィールドです。
• _[val] val を調べる ハッシュ _ で (通常の変数)
• ++ インクリメントし、古い値を返します。
• ! 論理否定を返します。
• 最後に暗黙のプリントがあります。

複数の列を考慮する。

列 1 と列 3 に基づいて並べ替えて一意のリストを与える:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : コロンはセパレーターです
• -k 1,1 -k 3,3 列 1 と列 3 に基づく