Apache Kafka は強力なメッセージングエンジンであり、ビッグデータで広く使用されています。 プロジェクトとデータ分析 ライフサイクル。これは、リアルタイムのデータストリーミングパイプラインを構築するためのオープンソースプラットフォームです。これは、信頼性、スケーラビリティ、および耐久性を備えた分散パブリッシュ/サブスクライブプラットフォームです。
カフカを持てます スタンドアロンまたはクラスターとして。 カフカ ストリーミングデータを保存し、トピックとして分類できます 。 トピック 任意の量のデータを処理できるように、いくつかのパーティションがあります。また、 HDFS の場合と同様に、フォールトトレラントのレプリカを複数持つことができます。 。 Kafkaクラスターでは、ブローカーは公開されたデータを保存するコンポーネントです。
Zookeeperは、 Kafkaを実行するための必須サービスです。 Kafkaブローカーの調整を管理するために使用されるクラスター。 Zookeeperは、プロデューサーとコンシューマーの間で重要な役割を果たし、すべてのブローカーの状態を維持する責任があります。
この記事では、 Apache Kafkaのインストール方法について説明します。 単一ノードでCentOS7 またはRHEL7 。
CentOS7へのApacheKafkaのインストール
1。 まず、 Javaをインストールする必要があります システムでApacheKafkaを実行します エラーなし。したがって、デフォルトで使用可能なバージョンの Javaをインストールします。 次のyumコマンドを使用して、 Javaを確認します 示されているバージョン。
# yum -y install java-1.8.0-openjdk # java -version
2。 次に、 Apache Kafkaの最新の安定バージョンをダウンロードします 公式ウェブサイトから、または次のwgetコマンドを使用して直接ダウンロードし、解凍します。
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz
3。 kafkaのシンボリックリンクを作成します パッケージを作成し、Kafka環境パスを.bash_profileに追加します ファイルを作成し、図のように初期化します。
# ln -s kafka_2.13-2.7.0 kafka # echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile # source ~/.bash_profile
4。 次に、ズームキーパーを起動します 、 Kafkaが組み込まれています パッケージ。シングルノードクラスターであるため、デフォルトのプロパティでzookeeperを起動できます。
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5。 単にtelnetで、飼育係がアクセス可能かどうかを検証します ズーキーパーへ ポート2181 。
# telnet localhost 9092
6。 次に、サンプルトピックを作成します。
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
7。 作成したトピックをリストアップします。
# kafka-topics.sh --zookeeper localhost:2181 --list
結論
この記事では、 CentOS 7にシングルノードのKafkaクラスターをインストールする方法を説明しました。 。次の記事で、マルチノードKafkaクラスターをインストールする方法を説明します。