このチュートリアルでは、Debian10にApacheSparkをインストールする方法を示します。知らない人のために、ApacheSparkは高速で汎用のクラスターコンピューティングシステムです。 Java、Scala、Pythonで高レベルのAPIを提供し、実行チャート全体をサポートする最適化されたエンジンも提供します。また、SQL用のSpark SQLや構造化情報処理、機械学習用のMLlibなどの高レベルのツールの豊富なセットもサポートします。 、グラフ処理用のGraphX、およびSparkStreaming。
この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、サイトを独自のVPSでホストしていることを前提としています。インストールは非常に簡単で、ルートアカウントで実行されていますが、そうでない場合は、'sudoを追加する必要があります。 ルート権限を取得するコマンドに‘。 Debian 10（Buster）にApacheSparkを段階的にインストールする方法を紹介します。
前提条件
- 次のオペレーティングシステムのいずれかを実行しているサーバー：Debian 10（バスター）。
- 潜在的な問題を防ぐために、OSの新規インストールを使用することをお勧めします。
non-root sudo userまたはroot userへのアクセス 。non-root sudo userとして行動することをお勧めします ただし、ルートとして機能するときに注意しないと、システムに害を及ぼす可能性があるためです。
Debian10バスターにApacheSparkをインストールする
ステップ1.以下のチュートリアルを実行する前に、次のaptを実行して、システムが最新であることを確認することが重要です。 ターミナルのコマンド：
sudo apt update
ステップ2.Javaをインストールします。
Apache Sparkを実行するにはJavaが必要です。DebianシステムにJavaがインストールされていることを確認しましょう：
sudo apt install default-jdk
次のコマンドを使用してJavaのバージョンを確認します：
java -version
ステップ3.Scalaをインストールします。
これで、DebianシステムにScalaパッケージをインストールします：
sudo apt install scala
Scalaのバージョンを確認してください：
scala -version
ステップ4.DebianにApacheSparkをインストールします。
これで、Apache Sparkバイナリをダウンロードできます：
wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz
次に、Spark tarballを抽出します：
tar xvf spark-3.1.1-bin-hadoop2.7.tgz sudo mv spark-3.1.1-bin-hadoop2.7/ /opt/spark
完了したら、Spark環境を設定します：
nano ~/.bashrc
ファイルの最後に、次の行を追加します。
export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
変更を保存してエディタを閉じます。変更を適用するには、次のコマンドを実行します：
source ~/.bashrc
次に、これらのコマンドを使用してApache Sparkを起動します。そのうちの1つは、クラスターのマスターです：
start-master.sh
Spark Webユーザーインターフェイスを次のように表示するには、Webブラウザーを開き、ポート8080にローカルホストIPアドレスを入力します。
http://127.0.0.1:8080/
この単一サーバーのスタンドアロンセットアップでは、マスターサーバーとともに1つのスレーブサーバーを起動します。start-slave.sh コマンドを使用してSparkワーカープロセスを開始します：
start-slave.sh spark://ubuntu1:7077
これでワーカーが稼働しているので、SparkMasterのWebUIをリロードすると、リストに表示されます。
構成が完了したら、マスターサーバーとスレーブサーバーを起動し、Sparkシェルが機能するかどうかをテストします。
spark-shell
おめでとうございます！Sparkが正常にインストールされました。Debianシステムに最新バージョンのApache Sparkをインストールするためにこのチュートリアルを使用していただきありがとうございます。追加のヘルプや役立つ情報については、公式のApacheを確認することをお勧めします。 SparkのWebサイト。