Oozie is een open source planner voor Hadoop, het vereenvoudigt de workflow en coördinatie tussen taken. We kunnen afhankelijkheid tussen taken definiëren voor invoergegevens en daarom kunnen we taakafhankelijkheid automatiseren met behulp van ooze-planner.
In deze tutorial heb ik geïnstalleerd Oozie op mijn hoofdknooppunt (d.w.z. meester als hostnaam en waar namenode/JT zijn geïnstalleerd), maar in het productiesysteem moet oozie op een afzonderlijk Hadoop-knooppunt worden geïnstalleerd.
De installatie-instructies zijn verdeeld in twee delen, we noemen het EEN en B.
Laten we eerst de hostnaam van het systeem verifiëren met behulp van het volgende 'hostnaam' opdracht.
[[e-mail beveiligd]]# hostnaam meester
We gebruiken de officiële CDH-repository van de cloudera-site om CDH4 te installeren. Ga naar officieel CDH-download sectie en download CDH4 (d.w.z. 4.6) versie of u kunt ook het volgende gebruiken: wget commando om de repository te downloaden en te installeren.
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
Zodra u de CDH-repository onder uw systeem hebt toegevoegd, kunt u de volgende opdracht gebruiken om Oozie op het systeem te installeren.
[[e-mail beveiligd] ~]# yum install oozie
Installeer nu de oozie-client (het bovenstaande commando zou het installatiegedeelte van de client moeten dekken, maar als dat niet het geval is, probeer dan het onderstaande commando).
[[e-mail beveiligd] ~]# yum install oozie-client
Opmerking: De bovenstaande installatie configureert ook de oozie-service om te draaien bij het opstarten van het systeem. Goed gedaan! We zijn klaar met het eerste deel van de installatie, laten we nu naar het tweede deel gaan om oozie te configureren.
Omdat oozie geen directe interactie heeft met Hadoop, hebben we hier geen toegewezen configuratie nodig.
Voorzichtigheid: Configureer alle instellingen terwijl oozie niet actief is, dat betekent dat u onderstaande stappen moet volgen terwijl de oozie-service niet actief is.
Oozie heeft ‘Derby' als standaard ingebouwd in DB, zou ik u echter aanraden om Mysql DB te gebruiken. Laten we dus de MySQL-database installeren met behulp van het volgende artikel.
Als je klaar bent met het installatiegedeelte, ga dan verder om oozie DB te maken en privileges te verlenen zoals hieronder getoond.
[[e-mail beveiligd] ~]# mysql -uroot -p. Voer wachtwoord in: Welkom bij de MySQL-monitor. Commando's eindigen met; of \g. Uw MySQL-verbindings-ID is 3. Serverversie: 5.5.38 MySQL Community Server (GPL) van Remi Copyright (c) 2000, 2014, Oracle en/of zijn gelieerde ondernemingen. Alle rechten voorbehouden. Oracle is een gedeponeerd handelsmerk van Oracle Corporation en/of zijn. geassocieerden. Andere namen kunnen handelsmerken zijn van hun respectievelijke namen. eigenaren. Typ 'help;' of '\h' voor hulp. Typ '\c' om de huidige invoeropdracht te wissen. mysql> database maken oozie;
Query OK, 1 rij aangetast (0.00 sec) mysql> verleen alle rechten op oozie.* aan 'oozie'@'localhost' geïdentificeerd door 'oozie';
Query OK, 0 rijen beïnvloed (0.00 sec) mysql> verleen alle rechten op oozie.* aan 'oozie'@'%' geïdentificeerd door 'oozie';
Query OK, 0 rijen beïnvloed (0.00 sec) mysql> Uitgang
Doei
Configureer vervolgens Oozie-eigenschappen voor MySQL. Open 'oozie-site.xml' bestand en bewerk de volgende eigenschappen zoals weergegeven.
[[e-mail beveiligd] ~]# cd /etc/oozie/conf. [[e-mail beveiligd] conf]# vi oozie-site.xml
Voer de volgende eigenschappen in (vervang gewoon master [my hostnaam] met uw hostnaam).
oozie.service. JPAService.jdbc.stuurprogramma com.mysql.jdbc. Bestuurder oozie.service. JPAService.jdbc.url jdbc: mysql://meester:3306/oozie oozie.service. JPAService.jdbc.gebruikersnaam oozie oozie.service. JPAService.jdbc.wachtwoord oozie
Download en voeg de. toe MySQL JDBC connectiviteitsstuurprogramma JAR naar Oozie lib-map. Voer hiervoor de volgende opdracht uit op de terminal.
[[e-mail beveiligd]oozie]# cd /tmp/ [[e-mail beveiligd] tmp]# wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz. [[e-mail beveiligd] tmp]# tar -zxf mysql-connector-java-5.1.31.tar.gz [[e-mail beveiligd] tmp]# cd mysql-connector-java-5.1.31. [[e-mail beveiligd] mysql-connector-java-5.1.31]# cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/
Maak een oozie-databaseschema door onderstaande opdrachten uit te voeren en houd er rekening mee dat dit als oozie-gebruiker moet worden uitgevoerd.
[[e-mail beveiligd] ~]# sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
instelling OOZIE_CONFIG=/etc/oozie/conf. instelling OOZIE_DATA=/var/lib/oozie. instelling OOZIE_LOG=/var/log/oozie. instelling OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat. instelling CATALINA_TMPDIR=/var/lib/oozie. instelling CATALINA_PID=/var/run/oozie/oozie.pid. instelling CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20. instelling CATALINA_OPTS=-Xmx1024m. instelling OOZIE_HTTPS_PORT=11443... KLAAR. Oozie DB is gemaakt voor Oozie-versie '3.3.2-cdh4.7.0' De SQL-opdrachten zijn geschreven naar:/tmp/ooziedb-8250405588513665350.sql
Je moet downloaden ExtJS lib van internet om oozie webconsole in te schakelen. Ga naar officieel CDH ExtJS pagina, en download ExtJS versie 2.2 bibliotheken of u kunt het pakket downloaden met de volgende opdracht.
[[e-mail beveiligd]~]# cd /tmp/ [[e-mail beveiligd] tmp]# wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip. [[e-mail beveiligd] tmp]# unzip ext-2.2.zip. [[e-mail beveiligd] tmp]# mv ext-2.2 /var/lib/oozie/
Start ten slotte de oozie-server door de volgende opdrachten uit te voeren.
[[e-mail beveiligd] tmp]# service oozie-status. niet rennen. [[e-mail beveiligd] tmp]# dienst oozie start [[e-mail beveiligd] tmp]# service oozie-status. rennen [[e-mail beveiligd] tmp]# oozie admin -oozie http://localhost: 11000/oozie-status. Systeemmodus: NORMAAL
Open oozie UI met uw favoriete browser en wijs naar uw IP-adres. In dit geval is mijn IP: 192.168.1.129.
http://192.168.1.129:11000
Als u nu deze gebruikersinterface ziet. Gefeliciteerd!! Je hebt oozie succesvol geconfigureerd.
Deze procedure is met succes getest op: RHEL/CentOS 6/5. In mijn komende artikelen ga ik delen hoe je hadoop-taken kunt configureren en plannen via oozie. Blijf op de hoogte voor meer informatie en vergeet niet om uw feedback te becommentariëren.