Apache Kafka to potężny mechanizm przesyłania wiadomości, który jest szeroko stosowany w BigData projekty i Analityka danych koło życia. Jest to platforma Open Source do budowania potoków strumieniowych danych w czasie rzeczywistym. Jest to rozproszona platforma publikuj-subskrybuj z niezawodnością, skalowalnością i trwałością.
Możemy mieć Kafka jako samodzielny lub jako klaster. Kafka przechowuje dane strumieniowe i można je sklasyfikować jako Tematy. ten Temat będzie miał wiele partycji, dzięki czemu będzie mógł obsłużyć dowolną ilość danych. Ponadto możemy mieć wiele replik odpornych na uszkodzenia, ponieważ mamy w HDFS. W klastrze Kafka broker jest komponentem, który przechowuje opublikowane dane.
Zookeeper jest obowiązkową usługą do prowadzenia Kafka klaster, ponieważ służy do zarządzania koordynacją brokerów Kafki. Zookeeper odgrywa kluczową rolę między producentem a konsumentem, gdzie odpowiada za utrzymanie stanu wszystkich brokerów.
W tym artykule wyjaśnimy, jak zainstalować Apache Kafka w jednym węźle CentOS 7 lub RHEL 7.
1. Najpierw musisz zainstalować Jawa w twoim systemie do uruchomienia Apache Kafka bez błędów. Zainstaluj więc domyślną dostępną wersję Jawa za pomocą następujących mniam polecenie! i zweryfikuj Jawa wersja, jak pokazano.
# mniam -y zainstaluj java-1.8.0-openjdk. # java -wersja.
2. Następnie pobierz najnowszą stabilną wersję Apache Kafka z oficjalnej strony internetowej lub skorzystaj z poniższych polecenie wget aby pobrać go bezpośrednio i wyodrębnić.
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz
3. Utwórz dowiązanie symboliczne dla Kafka pakiet, a następnie dodaj ścieżkę środowiska Kafka do .bash_profil
plik, a następnie zainicjuj go, jak pokazano.
# ln -s kafka_2.13-2.7.0 kafka. # echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile. # źródło ~/.bash_profile.
4. Następnie uruchom dozorca zoo, który jest wbudowany w Kafka pakiet. Ponieważ jest to klaster z jednym węzłem, możesz uruchomić opiekuna zwierząt z domyślnymi właściwościami.
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties.
5. Sprawdź, czy opiekun zoo jest dostępny, czy nie, po prostu telnet do dozorca zoo Port 2181.
# telnet localhost 2181.
6. Zacząć Kafka z jego domyślnymi właściwościami.
# kafka-server-start.sh -daemon /root/kafka/config/server.properties.
7. Sprawdź, czy Kafka jest dostępny lub nie przez telnet do portu Kafka 9092
# telnet localhost 9092.
8. Następnie utwórz przykładowy temat.
# kafka-topics.sh --create --zookeeper host lokalny: 2181 --współczynnik replikacji 1 --partitions 1 --topic tecmint.
9. Wymień utworzony temat.
# kafka-topics.sh --zookeeper Lokalny Gospodarz: 2181 --list.
W tym artykule zobaczyliśmy, jak zainstalować jednowęzłowy klaster Kafka w CentOS 7. Jak zainstalować wielowęzłowy klaster Kafka, zobaczymy w następnym artykule.