以前の記事では、Cloudera Managerのインストールについて説明しましたが、この記事では、 CDHをインストールして構成する方法を学習します。 （ Cloudera Distribution Hadoop ） RHEL / CentOS 7 。
CDHパーセルをインストールするときは、 Cloudera Managerを確認する必要があります およびCDH 互換性。 Clouderaバージョンには3つの部分があります–<メジャー>。<マイナー>。<メンテナンス> 。 Cloudera Managerのメジャーバージョンとマイナーバージョンは、CDHメジャーバージョンとマイナーバージョンと同じである必要があります。
たとえば、 Cloudera Manager 6.3.1を使用しています およびCDH6.3.2 。ここで6 メジャーで3 マイナーバージョンです。互換性の問題を回避するには、メジャーとマイナーを同じにする必要があります。
要件
- CentOS / RHEL 7にHadoopサーバーをデプロイするためのベストプラクティス–パート1
- Hadoopの前提条件の設定とセキュリティ強化–パート2
- CentOS / RHEL7にClouderaManagerをインストールして設定する方法–パート3
CDHをインストールするために以下の2つのノードを使用します。すでにmaster1にClouderaManagerをインストールしています 、また、 master1を使用しています リポジトリサーバーとして。
master1.tecmint.com worker1.tecmint.com
ステップ1：マスターサーバーにCDHパーセルをダウンロードする
1。 まず、 master1に接続します サーバーとダウンロードCDHパーセル / var / www / html / cloudera-repos / cdh内のファイル ディレクトリ。 RHEL / CentOS 7と互換性のある以下の3つのファイルをダウンロードする必要があります 。
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2。 これらのファイルをダウンロードする前に、必ず cdhを作成してください。 / var / www / html / cloudera-repos /の下のディレクトリ 場所。
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3。 次に、次のwgetコマンドを使用して上記の3つのファイルをダウンロードします。
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
ステップ2：ワーカークライアントでClouderaManagerリポジトリを設定する
4。 次に、ワーカーに接続します サーバーを作成し、リポジトリファイル（ cloudera-manager.repo ）をコピーします ）リポジトリサーバー（ master1 ）残りのすべてのワーカーサーバーに。このレポジトリファイルは、インストール中に必要なすべてのパーセルとRPMがレポジトリサーバーからダウンロードされることをサーバーに保証します。
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5。 リポジトリを追加したら、有効なリポジトリを一覧表示して、 cloudera-managerを確認します。 リポジトリが有効になっています。
$ yum repolist
ステップ3：ClouderaManagerデーモンとエージェントをワーカーサーバーにインストールする
6。 次に、 cloudera-manager-daemonsをインストールする必要があります およびcloudera-manager-agent 残りのすべてのサーバーで。
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7。 次に、 Cloudera Managerを構成する必要があります Cloudera Managerを報告するエージェント サーバー。
$ sudo vi /etc/cloudera-scm-agent/config.ini
localhostを置き換えます Cloudera Manager サーバーのIPアドレス。
8。 Cloudera Managerを起動します エージェントとステータスを確認します。
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
ステップ4：CDHのインストールとセットアップ
CDH master1の区画 –リポジトリサーバー。すべてのサーバーが/etc/yum.repos.d/にClouderaManagerリポジトリファイルを持っていることを確認します Cloudera Managerを使用して自動インストールに従う場合 。
9。 ポート7180で以下のURLを使用してClouderaManagerにログインします Cloudera Managerのデフォルトのユーザー名とパスワードを使用します 。
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10。 ログインすると、ウェルカムページが表示されます。ここでは、リリースノート、ClouderaManagerの新機能を見つけることができます。
11。 ライセンスに同意して続行します。
12。 エディションを選択します。試用版がデフォルトで選択されています。続行できます。
13。 次に、クラスターのインストール手順に従います。ウェルカムページに進みます。
14。 クラスターに名前を付けて続行します。「tecmint」という名前を付けました。 」。定義できるクラスターには2つのタイプがあります。通常のクラスターを進めています。
- 通常のクラスター ：ストレージノード、計算ノード、およびその他の必要なサービスで構成されます。
- 計算クラスター ：計算ノードのみで構成されます。データの保存には外部ストレージを使用できます。
15。 すでにClouderaManagerエージェントをインストールしています すべてのサーバーで。これらのサーバーは、「現在管理されているホスト」にあります。 」。自動インストールの場合は、「新しいホスト」にサーバーのFQDNまたはIPを入力する必要があります 」オプションと検索。 Cloudera Managerは、CDHをインストールする必要があるホストを自動的に検出します。
ここで、[現在管理されているホスト]をクリックします 」、「ホスト名」を選択して、すべてのホストを選択します ’と続行します。
16。 リポジトリを選択–区画を使用 推奨される方法です。 [その他のオプション]をクリックします ’を使用してリポジトリを構成します。
17。 以下のようにローカルリポジトリのURLを入力します。 Webを指す残りのすべてのパブリックリポジトリを削除します（Clouderaリポジトリ 。
これはCDHです master1にあるローカルリポジトリのURL 。
http://104.211.95.96/cloudera-repos/cdh/
18。 リポジトリのURLを入力すると、このページには利用可能な区画のみが表示されます。この手順を続けます。
19。 これで、利用可能なすべてのサーバーで小包がダウンロード、配布、解凍、アクティブ化されます。
20。 かつてCDH小包 がアクティブ化されている場合は、クラスターを調べます 。このステップでは、クラスターのヘルスチェックを実行します。ここではスキップして続行します。
ステップ5：クラスター構成
21。 ここで、サービスを選択する必要があります クラスターにインストールする 。一部のパックされた組み合わせはデフォルトで利用可能になります。カスタムサービスを使用します 。
22。 カスタムサービス 、コアコンポーネントのみをインストールしています （ HDFS およびYARN ）このデモの目的で。
23。 サーバーに役割を割り当てます。要件に応じてカスタマイズできます。推奨される役割の分布を説明する以下のグラフを見つけてください 高可用性を備えた5〜20ノードの基本的な小規模クラスターの場合。
24。 データベースタイプ、ホスト名、DB名、ユーザー名、およびパスワードを選択します。 Embedded PostgreSQLを使用しているため、デフォルトで選択されます。接続をテストします。成功するはずです。
25。 このページには、 HDFSのデフォルトの構成パラメーターが表示されます。 および毛糸 、データディレクトリを含みます。すべての構成の詳細を確認し、必要に応じて変更を加えることができます。次に、これを続行します。
26。 このページには、「初回実行」の詳細が表示されます ' 指図。これを展開すると、実行中のコマンドの詳細が表示されます。クラスタにネットワークまたは権限の問題がある場合、この手順は失敗します。通常、この手順により、クラスター構築のスムーズなインストールが決定されます。
27。 上記の手順が完了したら、[完了]をクリックします ’を使用してインストールを完了します。これは、CDHをインストールした後のClouderaManagerのダッシュボードです。
http://104.211.95.96:7180/cmf/home
結論
Cloudera Managerが完成しました およびCDH インストールに成功しました。 ClouderaManagerダッシュボード 、クラスターCPU、ディスクIOなどを監視できる事前定義された一連のグラフを見つけることができます。この Cloudera Managerを使用してクラスター全体を管理できます。 。今後の記事ですべての管理操作を確認します。