この記事では、 Cloudera Managerをインストールするためのステップバイステップのプロセスについて説明しました。 産業慣行に従って。パート2では、Clouderaの前提条件をすでに確認しました。すべてのサーバーが完全に準備されていることを確認してください。
ここでは、2つのマスターと3つのワーカーがある5つのノードクラスターを作成します。 5 AWS EC2を使用しました インストール手順を示すインスタンス。これらの5台のサーバーに以下の名前を付けました。
master1.tecmint.com master2.tecmint.com worker1.tecmint.com worker2.tecmint.com worker3.tecmint.com
Cloudera Manager CDH全体の管理および監視ツールです 。管理者は通常、これを Cloudera Hadoopの管理ツールと呼んでいます。 。このツールを使用して、展開、監視、制御、および構成の変更を行うことができます。これは、クラスター全体を管理するために非常に重要です。
以下は、ClouderaManagerの重要な使用法です。
- 自動化された方法でHadoopクラスターをデプロイおよび構成します。
- クラスターの状態を監視する
- アラートを構成する
- トラブルシューティング
- レポート
- クラスター使用率レポートの作成
- リソースを動的に構成する
ステップ1：CentOSにApacheWebサーバーをインストールする
master1を使用します Clouderaリポジトリのウェブサーバーとして。また、Cloudera ManagerはWebUIであるため、 Apacheが必要です。 インストールされています。以下の手順に従って、ApacheWebサーバーをインストールします。
# yum -y install httpd
httpdをインストールしたら、起動して有効にし、起動時に開始されるようにします。
# systemctl start httpd # systemctl enable httpd
httpdを開始した後、ステータスを確認します。
# systemctl status httpd
httpdを起動した後、ローカルシステムでブラウザを開き、master1のIPアドレスを貼り付けます 検索バーで、このテストページを取得して、httpdが正常に実行されていることを確認する必要があります。
ステップ2：IPとホスト名を解決するようにローカルDNSを構成する
DNSサーバーを用意するか、 / etc / hostsを構成する必要があります IPとホスト名を解決します。ここでは、 / etc / hostsを構成しています 、ただしリアルタイムでは、本番環境専用のDNSサーバーがあります。
以下の手順に従って、 / etc / hosts内のすべてのサーバーのエントリを作成します 。
# vi /etc/hosts
これは、すべてのサーバーで構成する必要があります。
13.235.27.144 master1.tecmint.com master1 13.235.135.170 master2.tecmint.com master2 15.206.167.94 worker1.tecmint.com worker1 13.232.173.158 worker2.tecmint.com worker2 65.0.182.222 worker3.tecmint.com worker3
ステップ3：SSHパスワードレスログインを構成する
Cloudera Manager master1にインストールされています このデモンストレーションでは。 master1からパスワードなしのsshを設定する必要があります 他のすべてのノードに。 Cloudera Manager sshを使用して、他のすべてのノードと通信してパッケージをインストールします。
以下の手順に従って、master1からパスワードなしのsshを設定します。 残りのすべてのサーバーに。ユーザー「tecmint」を作成します 「さらに先に進みます。
ユーザー「tecmint」を作成します ‘示されているようにuseraddコマンドを使用している4台のサーバーすべて。
# useradd -m tecmint
ユーザー「tecmint」にroot権限を付与する ‘、以下の行を / etc / sudoersに追加します ファイル。スクリーンショットのように、ルートの下にこの行を追加できます。
tecmint ALL=(ALL) ALL
ユーザー「tecmint」に切り替えます ‘およびmaster1でsshキーを作成します 以下のコマンドを使用します。
# sudo su tecmint $ ssh-keygen
次に、 ssh-copy-id を使用して、作成したキーを4つのサーバーすべてにコピーします。 示されているコマンド。
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
これで、master1からsshを実行できるようになります。 示されているように、パスワードなしですべてのサーバーを残します。
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
ステップ4：ClouderaManagerのインストールと構成
ベンダーを使用できます （ Cloudera ）RHEL/CentOSのパッケージ管理ツールを使用してすべてのパッケージをインストールするためのリポジトリ。実稼働サーバーでインターネットにアクセスできない可能性があるため、リアルタイムで独自のリポジトリを作成することがベストプラクティスです。
ここでは、 Cloudera Manager 6.3.1をインストールします リリース。 master1を使用するので リポジトリサーバーとして、以下のパスでパッケージをダウンロードしています。
master1に以下のディレクトリを作成します サーバー。
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
wgetツールを使用してhttp経由でパッケージをダウンロードできます。したがって、 wgetをインストールします 以下のコマンドを使用します。
$ sudo yum -y install wget
次に、次のwgetコマンドを使用してClouderaManagertarファイルをダウンロードします。
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
tarファイルを/var / www / html / cloudera-repos / cm6に抽出します 、すでにmaster1を作成しました httpをインストールしてウェブサーバーとして ブラウザでテストしました。
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
ここで、すべてのClouderarpmファイルが/ var / www / html / cloudera-repos / cm6 / RPMS / x86_64にあることを確認します。 ディレクトリ。
$ cd /var/www/html/cloudera-repos/cm6 $ ll
/etc/yum.repos.d/cloudera-manager.repoを作成します 次のコンテンツを含むクラスターホスト内のすべてのサーバー上のファイル、ここではmaster1 （65.0.101.148）はWebサーバーです。
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
これでリポジトリが追加されました。以下のコマンドを実行して、有効なリポジトリを表示します。
$ yum repolist
以下のコマンドを実行して、リポジトリ内で利用可能なすべてのCloudera関連パッケージを表示します。
$ yum list available | grep cloudera*
cloudera-manager-server、cloudera-manager-agent、cloudera-manager-daemonscloudera-manager-server-db-2をインストールします。
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
以下のコマンドを実行して、インストールされているすべてのClouderaパッケージを表示します。
$ yum list installed | grep cloudera*
以下のコマンドを実行して、 cloudera-scm-server-dbを起動します これは、 Cloudera Managerを格納するための基盤となるデータベースです。 およびその他のサービスのメタデータ。
デフォルトでは、 Cloudera postgre-sqlを考えています Cloudera Managerに組み込まれています 。埋め込まれたものを、使用可能なリアルタイムの外部データベースにインストールしています。 Oracleの場合もあります 、 MySQL、 またはPostgreSQL 。
$ sudo systemctl start cloudera-scm-server-db
以下のコマンドを実行して、データベースのステータスを確認します。
$ sudo systemctl status cloudera-scm-server-db
db.propertiesを構成します Cloudera Managerの場合 サーバー。
$ vi /etc/cloudera-scm-server/db.properties
以下の値をEMBEDDEDに設定します Cloudera Managerを作成するには 組み込みデータベースを使用する 。
com.cloudera.cmf.db.setupType=EMBEDDED
以下のコマンドを実行して、ClouderaManagerサーバーを起動します。
$ sudo systemctl start cloudera-scm-server
以下のコマンドを実行して、 Cloudera Managerのステータスを確認します サーバー。
$ sudo systemctl status cloudera-scm-server
以下のコマンドを実行して、 Cloudera Managerのステータスを開始および確認します エージェント。
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
かつてのClouderaManagerサーバー 正常に起動して正常に実行されると、IPアドレスとポート番号 7180 を使用してブラウザでWebUI（ログインページ）を表示できます。 これはClouderaManagerのポート番号です 。
https://65.0.101.148:7180
概要
この記事では、 Cloudera Managerをインストールするためのステップバイステップのプロセスを見てきました。 CentOS 7 。 CDHおよびその他のサービスのインストールについては、次の記事で説明します。