CentOS7にApacheSparkをインストールする方法

このチュートリアルでは、CentOS7サーバーにApacheSparkをインストールする方法を示します。知らない人のために、ApacheSparkは高速で汎用のクラスターコンピューティングシステムです。。Java、Scala、Pythonで高レベルのAPIを提供し、実行チャート全体をサポートする最適化されたエンジンも提供します。また、Spark SQL for SQLや構造化情報処理、MLlibformachineなどの高レベルツールの豊富なセットもサポートします。学習、グラフ処理用のGraphX、およびSparkStreaming。

この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、サイトを独自のVPSでホストしていることを前提としています。インストールは非常に簡単で、ルートアカウントで実行されていますが、そうでない場合は、' sudoを追加する必要があります。ルート権限を取得するコマンドに‘。 CentOS7サーバーにApacheSparkを段階的にインストールする方法を説明します。

CentOS7にApacheSparkをインストールする

ステップ1.まず、システムが最新であることを確認することから始めましょう。

yum clean all
yum -y install epel-release
yum -y update

ステップ2.Javaをインストールします。

要件のインストールapache-sparkのJavaのインストール：

yum install java -y

インストールしたら、Javaのバージョンを確認してください：

java -version

ステップ3.Scalaをインストールします。

Sparkはインストールプロセス中にScalaをインストールするため、JavaとPythonが存在することを確認する必要があります：

wget http://www.scala-lang.org/files/archive/scala-2.10.1.tgz
tar xvf scala-2.10.1.tgz
sudo mv scala-2.10.1 /usr/lib
sudo ln -s /usr/lib/scala-2.10.1 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin

インストールしたら、scalaのバージョンを確認してください：

scala -version

ステップ4.ApacheSparkをインストールします。

次のコマンドを使用してApache Sparkをインストールします：

wget http://www-eu.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
tar -xzf spark-2.2.1-bin-hadoop2.7.tgz
export SPARK_HOME=$HOME/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

Sparkを開始する前にいくつかの環境変数を設定します：

echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile
echo 'export SPARK_HOME=$HOME/spark-2.2.1-bin-hadoop2.6' >> .bash_profile
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile

スタンドアロンのSparkクラスターは手動で開始できます。つまり、各ノードで開始スクリプトを実行するか、使用可能な起動スクリプトを使用するだけです。テストでは、マスターデーモンとスレーブデーモンを実行できます。同じマシン上で：

./sbin/start-master.sh

ステップ5.ApacheSparkのファイアウォールを構成します。

firewall-cmd --permanent --zone=public --add-port=6066/tcp
firewall-cmd --permanent --zone=public --add-port=7077/tcp
firewall-cmd --permanent --zone=public --add-port=8080-8081/tcp
firewall-cmd --reload

ステップ6.ApacheSparkへのアクセス。

Apache SparkはデフォルトでHTTPポート7077で使用できます。お気に入りのブラウザーを開き、 http://yourdomain.com:7077> またはhttp：// your-server-ip：7077 インストールを完了するために必要な手順を完了します。

   
 おめでとうございます！CentOS7にApacheSparkを正常にインストールしました。CentOS7システムにApacheSparkをインストールするためにこのチュートリアルを使用していただきありがとうございます。追加のヘルプや役立つ情報については、公式のApacheを確認することをお勧めします。 SparkのWebサイト。