このチュートリアルでは、Ubuntu 18.04LTSにApacheKafkaをインストールする方法を示します。知らなかった方のために、ApacheKafkaは巨大な処理を行うように設計された分散メッセージエージェントです。 ActiveMQやRabbitMQなどの従来のエージェントとは異なり、Kafkaは1つ以上のサーバーの集まりとして機能し、拡張性が高く、分散型であるため、フォールトトレランスが組み込まれていると同時に、その対応物。
この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、サイトを独自のVPSでホストしていることを前提としています。インストールは非常に簡単で、ルートアカウントで実行されていますが、そうでない場合は、'sudo
を追加する必要があります。 ‘ルート権限を取得するコマンドに。 Ubuntu 18.04 LTS(Bionic Beaver)サーバーにApacheKafkaを段階的にインストールする方法を紹介します。
前提条件
- 次のオペレーティングシステムのいずれかを実行しているサーバー:Ubuntu 18.04 LTS(Bionic Beaver)。
- 潜在的な問題を防ぐために、OSの新規インストールを使用することをお勧めします。
- サーバーへのSSHアクセス(またはデスクトップを使用している場合はターミナルを開く)
non-root sudo user
またはroot user
へのアクセス 。non-root sudo user
として行動することをお勧めします ただし、ルートとして機能するときに注意しないと、システムに害を及ぼす可能性があるためです。
Ubuntu 18.04 LTSBionicBeaverにApacheKafkaをインストールします
手順1.まず、次のapt-get
を実行して、すべてのシステムパッケージが最新であることを確認します。 ターミナルのコマンド。
sudo apt-get update sudo apt-get upgrade
ステップ2.Javaをインストールします。
Apache Kafkaでは、サーバーにJavaがインストールされている必要があります。デフォルトでは、JavaはUbuntuのリポジトリで使用できません。次のコマンドを使用してOracleJavaPPAをAptに追加します。
add-apt-repository ppa:webupd8team/java apt-get update -y apt-get install oracle-java8-installer
次のコマンドを実行して、Javaのバージョンを確認します。
java -version
ステップ3.Zookeeperをインストールします。
Apache Kafkaはクラスター管理をZookeeperに依存しているため、Kafkaを開始する前に、Zookeeperを開始する必要があります。
apt-get install zookeeperd
インストールが完了すると、ZooKeeperはデーモンとして自動的に起動されます。デフォルトでは、ポート2181でリッスンします:
netstat -ant | grep :2181
次のコマンドを実行して、zookeeperが実行されているかどうかを確認できます。
systemctl status zookeeper
ステップ4.Ubuntu18.04LTSにApacheKafkaをダウンロードしてインストールします。
まず、ApacheWebサイトからKafkaをダウンロードして抽出します。wget
を使用できます。 Kafkaをダウンロードするには:
wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz
次に、アーカイブファイルを抽出します:
tar xzf kafka_2.12-1.1.0.tgz mv kafka_2.12-1.1.0 /usr/local/kafka
Kafkaサーバーを起動します:
cd /usr/local/kafka bin/zookeeper-server-start.sh config/zookeeper.properties
次に、Kafkaサーバーを起動します:
bin/kafka-server-start.sh config/server.properties ... [2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser) [2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser) [2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
ステップ5.Kafkaでトピックを作成します。
単一のパーティションと1つのレプリカのみを使用して「NewTopic」という名前のトピックを作成しましょう:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic Created topic "NewTopic".
これで、list topicコマンドを実行して、Kafkaで作成されたトピックを表示できます。
bin/kafka-topics.sh --list --zookeeper localhost:2181 NewTopic
ステップ6.Kafkaにメッセージを送信します。
「プロデューサー」は、Kafkaにデータを入力するプロセスです。Kafkaには、ファイルまたは標準から入力を受け取るコマンドラインクライアントが付属しています。入力して、メッセージとしてKafkaクラスターに送信します:
プロデューサーを実行してから、コンソールにいくつかのメッセージを入力してサーバーに送信しましょう:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic >Welcome to kafka >This is my new topic >
ステップ7.KafkaConsumerを使用します。
Kafkaには、Kafkaクラスターからデータを読み取り、メッセージを標準出力に表示するコマンドラインコンシューマーもあります。
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning Welcome to kafka This is my new topic
おめでとうございます!ApacheKafkaが正常にインストールされました。Ubuntu18.04LTS(Bionic Beaver)システムにApache Kafkaをインストールするためにこのチュートリアルを使用していただき、ありがとうございます。追加のヘルプや役立つ情報については、以下を確認することをお勧めします。 ApacheKafkaの公式ウェブサイト。