このチュートリアルでは、CentOS8にApacheHadoopをインストールする方法を示します。知らなかった方のために、ApacheHadoopは分散ストレージに使用されるオープンソースフレームワークです。また、汎用ハードウェアで実行されるコンピューターのクラスターでのビッグデータの分散処理。ライブラリ自体は、ハードウェアに依存して高可用性を提供するのではなく、アプリケーションレイヤーで障害を検出して処理するように設計されているため、コンピュータのクラスタの最上位にあり、それぞれが障害を起こしやすい可能性があります。
この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、サイトを独自のVPSでホストしていることを前提としています。インストールは非常に簡単で、ルートアカウントで実行されていますが、そうでない場合は、'sudoを追加する必要があります。 ルート権限を取得するコマンドに‘。 CentOS8サーバーへのApacheHadoopのインストールを段階的に説明します。
前提条件
- 次のオペレーティングシステムのいずれかを実行しているサーバー：CentOS8。
- 潜在的な問題を防ぐために、OSの新規インストールを使用することをお勧めします。
- サーバーへのSSHアクセス（またはデスクトップを使用している場合はターミナルを開く）。
non-root sudo userまたはroot userへのアクセス 。non-root sudo userとして行動することをお勧めします ただし、ルートとして機能するときに注意しないと、システムに害を及ぼす可能性があるためです。
CentOS8にApacheHadoopをインストールする
ステップ1.まず、システムが最新であることを確認することから始めましょう。
sudo dnf update
ステップ2.Javaをインストールします。
Apache HadoopはJavaで記述されており、Javaバージョン8のみをサポートします。次のコマンドを使用してOpenJDK8をインストールできます。
sudo dnf install java-1.8.0-openjdk ant
Javaバージョンを確認してください：
java -version
ステップ3.ApacheHadoopCentOS8をインストールします。
Apache Hadoopを構成する通常のユーザーを作成し、次のコマンドを使用してユーザーを作成することをお勧めします。
useradd hadoop passwd hadoop
次に、ローカルシステムのパスワードなしのSSH認証を構成する必要があります：
su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 640 ~/.ssh/authorized_keys
次のコマンドを使用して、パスワードなしのssh構成を確認します。
ssh localhost
次のステップでは、Apache Hadoopの最新の安定バージョンをダウンロードします。この記事を書いている時点では、バージョン3.2.1です：
wget http://apachemirror.wuchna.com/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz tar -xvzf hadoop-3.2.1.tar.gz mv hadoop-3.2.1 hadoop
次に、システムでHadoopおよびJava環境変数を構成する必要があります：
nano ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/ export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
次に、次のコマンドを使用して環境変数をアクティブにします。
source ~/.bashrc
次に、Hadoop環境変数ファイルを開きます：
nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/
Hadoopには多くの構成ファイルがあり、Hadoopインフラストラクチャの要件に従って構成する必要があります。基本的なHadoopシングルノードクラスターのセットアップから構成を始めましょう：
cd $HADOOP_HOME/etc/hadoop
core-site.xmlを編集：
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hadoopユーザーのホーム/home/hadoopの下にnamenodeおよびdatanodeディレクトリを作成します ディレクトリ：
mkdir -p ~/hadoopdata/hdfs/{namenode,datanode} hdfs-site.xmlを編集します ：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value> </property> </configuration>
mapred-site.xmlを編集します ：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xmlを編集：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
次のコマンドを使用してnamenodeをフォーマットします。ストレージディレクトリを確認することを忘れないでください：
hdfs namenode -format
Hadoopが提供するスクリプトを使用して、NameNodeデーモンとDataNodeデーモンの両方を起動します：
start-dfs.sh
手順4.ファイアウォールを構成します。
次のコマンドを実行して、ファイアウォールを介したApacheHadoop接続を許可します。
firewall-cmd --permanent --add-port=9870/tcp firewall-cmd --permanent --add-port=8088/tcp firewall-cmd --reload
ステップ5.ApacheHadoopへのアクセス。
Apache Hadoopは、デフォルトでHTTPポート9870およびポート50070で使用できます。お気に入りのブラウザーを開き、http://your-domain.com:9870 またはhttp://your-server-ip:9870 。
おめでとうございます。ApacheHadoopが正常にインストールされました。CentOS8システムにHadoopをインストールするためにこのチュートリアルを使用していただき、ありがとうございます。追加のヘルプや役立つ情報については、ApacheHadoopの公式Webサイトを確認することをお勧めします。