![MacOS Catalina 10.15 is er: wat is er nieuw?](/f/6d088d4a16d4dab25a31266e11ff94be.jpg?width=100&height=100)
In dit artikel hebben we het stapsgewijze installatieproces beschreven Cloudera-manager volgens industriële praktijken. In deel 2 hebben we de Vereisten voor Cloudera, zorg ervoor dat alle servers perfect zijn voorbereid.
Hier hebben we een cluster met 5 knooppunten waar 2 meesters en 3 werkers zijn. ik heb gebruikt 5 AWS EC2 instances om de installatieprocedure te demonstreren. Ik heb die 5 servers genoemd zoals hieronder.
master1.tecmint.com. master2.tecmint.com. worker1.tecmint.com. worker2.tecmint.com. worker3.tecmint.com.
Cloudera-manager is een administratieve en monitoring tool voor het hele CDH. We admin noemen het meestal een managementtool voor: Cloudera Hadoop. Met behulp van deze tool kunnen we implementeren, bewaken, controleren en configuratiewijzigingen doorvoeren. Dit is zeer essentieel om het hele cluster te beheren.
Hieronder staan de belangrijke toepassingen van Cloudera Manager.
We gaan de gebruiken meester1
als webserver voor Cloudera-repositories. Cloudera Manager is ook WebUI, dus we moeten hebben: Apache geïnstalleerd. Volg de onderstaande stappen om de apache-webserver te installeren.
# yum -y installeer httpd.
Nadat u httpd hebt geïnstalleerd, start u het en schakelt u het in zodat het bij het opstarten wordt gestart.
# systemctl start httpd. # systemctl schakel httpd in.
Controleer na het starten van httpd de status.
# systemctl-status httpd.
Na het starten van httpd, open je een browser in je lokale systeem en plak je het IP-adres van meester1
in de zoekbalk, zou je deze testpagina moeten krijgen om te controleren of httpd goed werkt.
We moeten een DNS-server hebben of configureren /etc/hosts om IP en hostnaam op te lossen. Hier zijn we aan het configureren: /etc/hosts, maar in realtime zal er een speciale DNS-server zijn voor de productieomgeving.
Volg de onderstaande stappen om een vermelding te maken voor al uw servers in /etc/hosts.
#vi /etc/hosts.
Dit moet op alle servers worden geconfigureerd.
13.235.27.144 master1.tecmint.com master1. 13.235.135.170 master2.tecmint.com master2. 15.206.167.94 werknemer1.tecmint.com werknemer1. 13.232.173.158 werknemer2.tecmint.com werknemer2. 65.0.182.222 worker3.tecmint.com worker3.
Cloudera-manager wordt geïnstalleerd op meester1
bij deze demonstratie. We moeten wachtwoordloze ssh configureren van meester1
naar alle andere knooppunten. Omdat de Cloudera-manager zal ssh gebruiken om alle andere nodes te communiceren om pakketten te installeren.
Volg de onderstaande stappen om wachtwoordloze ssh te configureren vanuit: meester1
naar alle resterende servers. We krijgen een gebruiker ‘tecmin’ om verder te gaan.
Maak een gebruiker aan 'tecmin' alle 4 servers gebruiken useradd commando zoals getoond.
# useradd -m tecmint.
Om het root-privilege aan de gebruiker te geven 'tecmin', voeg de onderstaande regel toe aan /etc/sudoers het dossier. Je kunt deze regel onder root toevoegen zoals gegeven in de screenshot.
tecmint ALL=(ALL) ALL.
Overschakelen naar gebruiker 'tecmin' en maak een ssh-sleutel in de meester1
met behulp van de onderstaande opdracht.
# sudo su tecmint. $ ssh-keygen.
Kopieer nu de gemaakte sleutel naar alle 4 servers met behulp van de ssh-kopie-id commando zoals getoond.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail beveiligd] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail beveiligd] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail beveiligd] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail beveiligd]
Nu zou je in staat moeten zijn om te ssh van meester1
om alle servers zonder wachtwoord te behouden, zoals weergegeven.
$ ssh-master2. $ ssh worker1. $ ssh-werker2. $ ssh worker3.
We kunnen de leverancier (Cloudera) repository om alle pakketten te installeren met behulp van de pakketbeheertools in RHEL/CentOS. In realtime is het de beste methode om onze eigen repository te maken, omdat we mogelijk geen internettoegang hebben op de productieservers.
Hier gaan we installeren Cloudera Manager 6.3.1 uitgave. Aangezien we gaan gebruiken meester1
als de repo-server downloaden we de pakketten in het onderstaande pad.
Maak de onderstaande mappen aan op meester1
server.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6.
We kunnen de wget-tool om pakketten te downloaden via http. Dus, installeer wget met behulp van de onderstaande opdracht.
$ sudo yum -y installeer wget.
Download vervolgens de Cloudera-manager tar-bestand met behulp van de volgende wget-opdracht.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz.
Pak het tar-bestand uit in /var/www/html/cloudera-repos/cm6, hebben we al gemaakt meester1
als webserver door te installeren http en we hebben getest in de browser.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1.
Controleer nu of alle Cloudera rpm-bestanden aanwezig zijn /var/www/html/cloudera-repos/cm6/RPMS/x86_64 map.
$ cd /var/www/html/cloudera-repos/cm6. $ ll.
Creëren /etc/yum.repos.d/cloudera-manager.repo bestanden op alle servers in de clusterhosts met de volgende inhoud, hier: meester1
(65.0.101.148) is de webserver.
[cloudera-repo] naam=cloudera-manager. baseurl= http:///cloudera-repos/cm6/ ingeschakeld=1. gpgcheck=0.
Nu de repository is toegevoegd, voert u de onderstaande opdracht uit om de ingeschakelde repository's te bekijken.
$ jammie repolist.
Voer de onderstaande opdracht uit om alle beschikbare Cloudera-gerelateerde pakketten in de repository te bekijken.
$ jammie lijst beschikbaar | grep cloudera*
Installeer cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum installeer cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2.
Voer de onderstaande opdracht uit om alle geïnstalleerde Cloudera-pakketten te bekijken.
$ yum lijst geïnstalleerd | grep cloudera*
Voer de onderstaande opdracht uit om de. te starten cloudera-scm-server-db wat een onderliggende database is om op te slaan Cloudera-manager en andere metadata van services.
Standaard, Cloudera komt met postgre-sql die is ingebed in de Cloudera-manager. We installeren de ingebedde versie in een realtime externe database die kan worden gebruikt. Het kan zijn Orakel, MijnSQL, of PostgreSQL.
$ sudo systemctl start cloudera-scm-server-db.
Voer de onderstaande opdracht uit om de status van de database te controleren.
$ sudo systemctl status cloudera-scm-server-db.
Configureer de db.eigenschappen voor de Cloudera-manager server.
$ vi /etc/cloudera-scm-server/db.properties.
Configureer de onderstaande waarde is INGEBED maken Cloudera-manager gebruik de Ingesloten database.
com.cloudera.cmf.db.setupType=EMBEDDED.
Voer de onderstaande opdracht uit om de Cloudera Manager-server te starten.
$ sudo systemctl start cloudera-scm-server.
Voer de onderstaande opdracht uit om de status van de Cloudera-manager server.
$ sudo systemctl status cloudera-scm-server.
Voer de onderstaande opdracht uit om de status van de te starten en te controleren Cloudera-manager tussenpersoon.
$ sudo systemctl start cloudera-scm-agent. $ sudo systemctl status cloudera-scm-agent.
Zodra de Cloudera Manager-server succesvol in gebruik prima, u kunt de WebUI (Inlogpagina) in de browser bekijken met behulp van IP-adres en poortnummer 7180 wat is het poortnummer van Cloudera-manager.
https://65.0.101.148:7180.
In dit artikel hebben we stap voor stap het installatieproces gezien: Cloudera-manager Aan CentOS 7. We zullen de CDH en andere service-installaties in het volgende artikel zien.