このシリーズの記事では、ClouderaHadoopクラスター構築全体を取り上げます。 ベンダーを使用した構築 および産業用 推奨されるベストプラクティス。
パート1 ：CentOS / RHEL7パート2にHadoopサーバーをデプロイするためのベストプラクティス ：Hadoopの前提条件の設定とセキュリティ強化パート3 ：CentOS / RHEL7パート4にClouderaManagerをインストールして設定する方法 ：CentOS / RHEL7パート5でCDHをインストールしてサービスプレースメントを構成する方法 ：Namenodeの高可用性を設定する方法パート6 ：ResourceManagerの高可用性を設定する方法パート7 ：高可用性を備えたHiveをインストールおよび構成する方法パート8 ：Sentryのインストールと構成方法（認証ツール）パート9 ：Hadoop認証用にKerberos（クラスターのKerberos化）をインストールする方法パート10 ：CentOS / RHEL 7でクラスターを調整する方法（糸の調整）OS インストールとOSの実行 レベルの前提条件は、Hadoopクラスターを構築するための最初のステップです。 。 Hadoop Linuxプラットフォームのさまざまなフレーバーで実行できます： CentOS 、 RedHat 、 Ubuntu 、 Debian 、 SUSE など、リアルタイムの本番環境では、ほとんどのHadoopクラスター RHEL / CentOSの上に構築されています 、 CentOS 7を使用します この一連のチュートリアルのデモンストレーション用。
組織では、OSのインストールはキックスタートを使用して実行できます 。 3〜4ノードのクラスタの場合は手動でインストールできますが、10ノードを超える大きなクラスタを構築する場合は、OSを1つずつインストールするのは面倒です。このシナリオでは、キックスタート方式が登場します。キックスタートを使用して一括インストールを進めることができます。
Hadoop環境から優れたパフォーマンスを実現する 正しいハードウェアとソフトウェアのプロビジョニングに依存します。したがって、本番環境のHadoopクラスターを構築する ハードウェアとソフトウェアに関して多くの考慮事項が含まれます。
この記事では、OSのインストールに関するさまざまなベンチマークと、ClouderaHadoopクラスターサーバーをデプロイするためのいくつかのベストプラクティスについて説明します。 CentOS / RHEL 7 。
Hadoopサーバーをデプロイするための重要な考慮事項とベストプラクティス
以下は、ClouderaHadoopクラスターサーバーのデプロイを設定するためのベストプラクティスです。 CentOS / RHEL 7 。
- Hadoopサーバーでは、クラスターを構築するためにエンタープライズ標準サーバーは必要ありません。コモディティハードウェアが必要です。
- 実稼働クラスターでは、8〜12個のデータディスクを使用することをお勧めします。ワークロードの性質に応じて、これを決定する必要があります。クラスタが計算集約型のアプリケーション用である場合、I / Oの問題を回避するには、4〜6台のドライブを用意することがベストプラクティスです。
- データドライブは個別にパーティション化する必要があります。たとえば、 / data01から開始します。 / data10へ 。
- RAID構成はワーカーノードには推奨されません。Hadoop自体がデフォルトでブロックを3に複製することにより、データのフォールトトレランスを提供するためです。つまり、 JBOD ワーカーノードに最適です。
- マスターサーバーの場合、 RAID 1 ベストプラクティスです。
- CentOS / RHEL 7.xのデフォルトのファイルシステム XFS 。 Hadoopは、XFS、ext3、およびext4をサポートします。優れたパフォーマンスがテストされているため、推奨されるファイルシステムはext3です。
- すべてのサーバーのOSバージョンは同じで、少なくとも同じマイナーリリースである必要があります。
- 同種のハードウェアを使用することをお勧めします（すべてのワーカーノードは同じハードウェア特性（RAM、ディスクスペース、コアなど）を備えている必要があります）。
- クラスターワークロード（バランスの取れたワークロード、コンピューティングインテンシブ、I / Oインテンシブ）とサイズに応じて、サーバーごとのリソース（RAM、CPU）の計画は異なります。
以下の24TBストレージのサーバーのディスクパーティションの例をご覧ください。
Hadoopサーバー展開用のCentOS7のインストール
CentOS 7をインストールする前に知っておくべきこと Hadoopサーバー用のサーバー 。
- Hadoopサーバーには最小限のインストールで十分です （ワーカーノード ）場合によっては、GUIは、管理ツールのWebUIにブラウザを使用できるマスターサーバーまたは管理サーバーにのみインストールできます。
- ネットワーク、ホスト名、およびその他のOS関連の設定は、OSのインストール後に実行できます。
- リアルタイムで、サーバーベンダーは、サーバーと対話して管理するための独自のコンソールを使用します。たとえば、デルのサーバーには、サーバーが組み込まれたデバイスであるiDRACがあります。そのiDRACインターフェイスを使用して、ローカルシステムにOSイメージを持つOSをインストールできます。
この記事では、OS（ CentOS 7 ）をインストールしました ）VMware仮想マシン。ここでは、パーティションを実行するための複数のディスクはありません。 CentOSはRHELに似ています （同じ機能）ので、 CentOSをインストールする手順が表示されます 。
1。 まず、ローカルWindowsシステムにCentOS 7.x ISOイメージをダウンロードし、仮想マシンの起動時に選択します。 [CentOS7のインストール]を選択します ‘示されているように。
2。 言語を選択します 、デフォルトは英語になります 続行をクリックします 。
3。 ソフトウェアの選択 –「最小インストール」を選択します ‘をクリックし、‘完了をクリックします ‘。
4。 ルートパスワードを設定します 設定するように求められます。
5。 インストール先 –これは注意が必要な重要なステップです。 OSをインストールする必要のあるディスクを選択する必要があります。OS専用のディスクを選択する必要があります。 [インストール先]をクリックします ‘とディスクを選択します。リアルタイムで複数のディスクが存在するため、望ましい‘ sdaを選択する必要があります。 ‘。
6。 その他のストレージオプション – 2番目のオプション（パーティショニングを構成します）を選択して、 / varのようなOS関連のパーティショニングを構成します 、 / var / log 、/ホーム 、 / tmp 、 / opt 、 / swap 。
7。 完了したら、インストールを開始します。
8。 インストールが完了したら、サーバーを再起動します。
9。 サーバーにログインして、ホスト名を設定します。
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
概要
この記事では、OSのインストール手順とファイルシステムのパーティション分割のベストプラクティスについて説明しました。これらはすべて一般的なガイドラインであり、ワークロードの性質に応じて、クラスターの最高のパフォーマンスを達成するために、より多くのニュアンスに集中する必要がある場合があります。クラスター計画はHadoopの芸術です 管理者。次の記事では、OSレベルの前提条件とセキュリティ強化について詳しく説明します。