spark-submit の出力全体をファイルにリダイレクトする方法

spark-submit 出力の大部分を STDERR に出力します

出力全体を 1 つのファイルにリダイレクトするには、次を使用できます。

spark-submit something.py > results.txt 2>&1

または

spark-submit something.py &> results.txt

クラスターで spark-submit を実行している場合、ログはアプリケーション ID と共に保存されます。アプリケーションが終了すると、ログが表示されます。

yarn logs --applicationId <your applicationId> > myfile.txt

ジョブのログを取得する必要があります

Spark ジョブを送信すると、ジョブの applicationId が与えられます。これは、送信しているコンソールまたは Hadoop UI から確認できます。