Hadoop HDFSである2つのコアコンポーネントがあります およびYARN 。 HDFS データを保存するためのものです 、 YARN データを処理するためのものです 。 HDFS Hadoop分散ファイルシステムです 、 Namenode があります マスターサービスとして およびデータノード スレーブサービスとして 。
Namenode Hadoopの重要なコンポーネントです HDFSに保存されているデータのメタデータを保存しています 。 名前ノードの場合 ダウンすると、クラスター全体にアクセスできなくなり、単一障害点になります（ SPOF ）。したがって、本番環境ではNamenodeの高可用性が使用されます。 1つのNamenodeの場合、本番環境の停止を回避するため マシンのクラッシュ、計画されたメンテナンス活動などのさまざまな理由でダウンします。
Hadoop 2.x 2つのNamenodesを持つことができる実現可能性を提供します 、1つはアクティブな名前ノードになります もう1つはスタンバイネームノードになります 。
- アクティブなネームノード –すべてのクライアント操作を管理します。
- スタンバイNamenode – Active Namenodeの冗長です 。 アクティブNNの場合 ダウンしてから、スタンバイNN アクティブNNのすべての責任を負います 。
Namenode高可用性の有効化 ズーキーパーが必要です これは自動フェイルオーバーに必須です。 ZKFC （Zookeeperフェイルオーバーコントローラー ）はズーキーパーです Namenodeの状態を維持するために使用されるクライアント 。
要件
- CentOS / RHEL 7にHadoopサーバーをデプロイするためのベストプラクティス–パート1
- Hadoopの前提条件の設定とセキュリティ強化–パート2
- CentOS / RHEL7にClouderaManagerをインストールして設定する方法–パート3
- CentOS / RHEL 7にCDHをインストールしてサービスプレースメントを構成する方法–パート4
この記事では、 Namenode High Availabilityを有効にします。 Cloudera Manager 。
ステップ1：Zookeeperのインストール
1。 Cloudera Managerにログインします 。
http://Your-IP:7180/cmf/home
2。 クラスター内 （テクミント ）アクションプロンプトで、[サービスの追加]を選択します 」。
3。 サービス「Zookeeper」を選択します 」。
4。 Zookeeperを配置するサーバーを選択します インストールされています。
5。 3人の飼育係がいます 動物飼育員定足数を形成する 。以下のようにサーバーを選択します。
6。 ズームキーパーを構成します プロパティ、ここではデフォルトのものがあります。リアルタイムでは、 Zookeeperを保存するための個別のディレクトリ/マウントポイントが必要です。 データ。 パート1 、各サービスのストレージ構成について説明しました。 [続行]をクリックします ’続行します。
7。 Zookeeper をインストールすると、インストールが開始されます 開始されます。ここでバックグラウンド操作を表示できます。
8。 上記の手順が正常に完了すると、ステータスは「終了」になります ’。
9。 さて、ズーキーパー 正常にインストールおよび構成されています。 [完了]をクリックします ’。
10。 ズーキーパーを表示できます Cloudera Managerのサービス ダッシュボード。
ステップ2：Namenodeの高可用性を有効にする
11。 Cloudera Managerに移動します –> HDFS –>アクション –>高可用性を有効にする 。
12。 ネームサービス名を入力します 「nameservice1 」–これはアクティブとスタンバイの両方の名前空間に共通の名前空間です。
13。 2番目の名前ノードを選択します スタンバイする場所Namenode 。
14。 ここでは、 master2.tecmint.comを選択しています。 スタンバイ用Namenode 。
15。 ジャーナルを選択します ノード、これらはアクティブを同期するための必須サービスです およびスタンバイNamenode 。
16。 クォーラムジャーナルを作成しています ジャーナルを配置する 以下に説明するように、3台のサーバーのノード。 3台のサーバーを選択し、[OK]をクリックします。
17。 [続行]をクリックします ’続行します。
18。 ジャーナルノードを入力します ディレクトリパス。このディレクトリをインストールするときにパスを指定する必要があるだけで、サービス自体によって自動的に作成されます。 ‘/jn’として言及しています 。 [続行]をクリックします ’続行します。
19。 高可用性の有効化が開始されます 。
20。 すべてのバックグラウンドプロセスが完了すると、「完了」になります ’ステータス。
21。 最後に、「高可用性が正常に有効化されました」という通知が届きます ’。 [完了]をクリックします ’。
22。 アクティブを確認します およびスタンバイNamenode Cloudera Managerに移動します –> HDFS –>インスタンス 。
23。 ここでは、2つの名前ノードを使用できます。 、1つは「アクティブ」になります 」状態と別の状態は「スタンバイ」になります ’状態。
結論
この記事では、Namenode高可用性を有効にするための段階的なプロセスを実行しました。 。 Namenodeの高可用性を使用することを強くお勧めします リアルタイム環境のすべてのクラスターで。このプロセスの実行中にエラーが発生した場合は、疑問を投稿してください。 リソースマネージャーの高可用性が表示されます 次の記事で。