Jak nainstalovat CDH a konfigurovat umístění služeb na CentOS/RHEL 7
V dřívějším článku jsme vysvětlili instalace Cloudera Manager, v tomto článku se dozvíte, jak nainstalovat a konfigurovat CDH (Cloudera Distribution Hadoop) v RHEL/CentOS 7.
Při instalaci balíku CDH musíme zajistit Cloudera Manager a CDH kompatibilita. Verze Cloudera má 3 části - ... Cloudera Manager hlavní a vedlejší verze musí být stejná jako hlavní a vedlejší verze CDH.
Například používáme Cloudera Manager 6.3.1 a CDH 6.3.2. Tady 6 je hlavní a 3 je vedlejší verze. Major a Minor musí být stejné, aby se předešlo problémům s kompatibilitou.
Požadavky
Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 - část 1
Nastavení požadavků Hadoop a zabezpečení zabezpečení-část 2
Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7 - část 3
Pro instalaci CDH vezmeme níže uvedené 2 uzly. Cloudera Manager jsme již nainstalovali mistr 1, také používáme mistr 1 jako repo server.
master1.tecmint.com. worker1.tecmint.com.
Krok 1: Stáhněte si CDH Parcels na Master Server
1. Nejprve se připojte k
mistr 1 server a stáhnout Balíčky CDH soubory v souboru /var/www/html/cloudera-repos/cdh adresář. Musíme stáhnout níže uvedené 3 soubory, se kterými by mělo být kompatibilní RHEL/CentOS 7.
Krok 2: Nastavení služby Cloudera Manager Repo na pracovních klientech
4. Nyní se připojte k pracovník servery a zkopírujte repo soubor (cloudera-manager.repo) z repo serveru (mistr 1) na zbývající pracovní server. Tento repo soubor zajišťuje serverům, že během instalace budou z repo serveru staženy všechny požadované balíky a RPM.
kočka> /etc/yum.repos.d/cloudera-manager.repo <
5. Jakmile je repo přidáno, vytvořte seznam povolených úložišť, abyste se ujistili, že správce cloudera repo je povoleno.
$ yum repolista.
Zaškrtněte Povolená repo
Krok 3: Nainstalujte Cloudera Manager Daemons a Agent na servery Worker
6. Nyní musíme nainstalovat cloudera-manager-démoni a cloudera-manager-agent na všech zbývajících serverech.
Nahradit localhost s Cloudera Manager IP adresa serveru.
Konfigurujte Cloudera Manager
8. Start Cloudera Manager Agent a ověřte stav.
$ sudo systemctl start cloudera-scm-agent. $ sudo systemctl status cloudera-scm-agent.
Zkontrolujte stav Cloudera Manager
Krok 4: Nainstalujte a nastavte CDH
My máme CDH balíky v mistr 1 - repo server. Ujistěte se, že všechny servery obsahují repo soubor Cloudera Manager /etc/yum.repos.d/ pokud sledujete automatickou instalaci pomocí Cloudera Manager.
9. Přihlaste se do služby Cloudera Manager pomocí níže uvedené adresy URL na portu 7180 a použijte výchozí uživatelské jméno a heslo Cloudera Manager.
10. Jakmile se přihlásíte, uvítá vás uvítací stránka. Zde najdete poznámky k verzi, Nové funkce Cloudera Manager.
Cloudera Manager Vítejte
11. Přijměte licenci a pokračujte.
Licence Cloudera Manager
12. Vyberte edici. Ve výchozím nastavení je vybrána zkušební verze, můžeme s tím pokračovat.
Cloudera Manager Edition
13. Nyní postupujte podle kroků instalace klastru. Pokračujte na uvítací stránce.
Instalace clusteru Cloudera Manager
14. Pojmenujte Cluster a pokračujte, pojmenovali jsme jako „tecmint”. Můžete definovat 2 typy klastrů. Pokračujeme pravidelným klastrem.
Pravidelný klastr: Bude se skládat z uzlů úložiště, výpočetních uzlů a dalších nezbytných služeb.
Compute Cluster: Bude se skládat pouze z výpočetních uzlů. K ukládání dat lze použít externí úložiště.
Název clusteru Cloudera Manager
15. Už jsme nainstalovali Agenti manažera Cloudera na všech serverech. Tyto servery najdete v „Aktuálně spravovaní hostitelé”. Pro automatickou instalaci musíte zadat FQDN nebo IP serverů do pole „Noví hostitelé”Možnost a hledat. Cloudera Manager automaticky detekuje hostitele, na které potřebujeme nainstalovat CDH.
Zde klikněte na „Aktuálně spravovaní hostitelé“, Vyberte všechny hostitele výběrem„Název hostitele“A pokračovat.
Aktuálně spravovaní hostitelé
16. Vyberte Úložiště - pomocí Balíček je doporučený způsob. Klikněte na ‘Více možností‘Pro konfiguraci úložiště.
Vyberte Úložiště
17. Zadejte adresu URL místního úložiště, jak je uvedeno níže. Odstraňte všechna zbývající veřejná úložiště, která ukazují na Web (Úložiště Cloudera).
Nastavení úložiště balíků
To je CDH URL lokálního úložiště, ve kterém máme mistr 1.
http://104.211.95.96/cloudera-repos/cdh/
Cloudera Repo
18. Po zadání adresy URL úložiště se na této stránce zobrazí pouze dostupné balíky. Pokračujte tímto krokem.
Vyberte Nastavení úložiště
19. Nyní se balíčky stahují, distribuují, rozbalují a aktivují na všech dostupných serverech.
Nainstalujte si balíky
20. Jednou Balíčky CDH jsou aktivovány, zkontrolujte Shluk. Tento krok provede kontrolu stavu clusteru. Zde přeskakujeme a pokračujeme.
Zkontrolujte klastr
Krok 5: Konfigurace klastru
21. Zde musíme vybrat Služby k instalaci do Shluk. Ve výchozím nastavení budou k dispozici některé zabalené kombinace, jdeme s Vlastní služby.
Konfigurace klastru
22. v Vlastní služby, pouze instalujeme Základní komponenty (HDFS a PŘÍZE) za tímto účelem demo.
Instalovat služby
23. Přiřaďte role serveru. Můžeme přizpůsobit podle našich požadavků. Najděte níže uvedenou tabulku, která popisuje doporučené Distribuce rolí pro základní malý klastr s 5 až 20 uzly s vysokou dostupností.
Přiřadit roleDistribuce doporučených rolí
24. Vyberte typ databáze, název hostitele, název databáze, uživatelské jméno a heslo. Protože používáme Embedded PostgreSQL, bude ve výchozím nastavení vybráno. Otestujte připojení, mělo by být úspěšné.
Nastavení databáze
25. Tato stránka zobrazí výchozí konfigurační parametry HDFS a Příze, včetně datových adresářů. Zkontrolujte všechny podrobnosti konfigurace a v případě potřeby můžete provést změny. Pak pokračujte v tomto.
Zkontrolujte konfigurační parametry
26. Tato stránka zobrazí podrobnosti oPrvní běh‘Příkaz. Můžete jej rozbalit a zobrazit podrobnosti o spuštěných příkazech. Pokud jsou v clusteru nějaké problémy se sítí nebo oprávněními, tento krok selže. Tento krok obvykle rozhodne o bezproblémové instalaci budovy klastru.
Příkazy prvního spuštěníSpouštěcí příkazy
27. Po dokončení výše uvedeného kroku klikněte na „Dokončit“K dokončení instalace. Toto je řídicí panel aplikace Cloudera Manager po instalaci CDH.
http://104.211.95.96:7180/cmf/home.
Řídicí panel Cloudera Manager
Závěr
Dokončili jsme Cloudera Manager a CDH instalace úspěšně. V Řídicí panel Cloudera Manager, můžete najít předdefinovanou sadu grafů, kde můžete sledovat Cluster CPU, Disk IO atd. Pomocí toho můžeme spravovat celý klastr Cloudera Manager. V následujících článcích uvidíme všechny administrativní operace.