Hadoop egy nyílt forráskódú programozási keretrendszer, amelyet az apache fejlesztett ki a nagy adatok feldolgozására. Használja HDFS (Hadoop elosztott fájlrendszer), hogy az adatokat elosztó módon tárolja a fürt összes adatcsomópontjában, és az adatok feldolgozásához térképreduce modellt alkalmazzon.
Namenode (NN) egy mesterdémon, amely vezérli HDFS és Álláskereső (JT) a mapreduce motor fődémonja.
Ebben az oktatóanyagban kettőt használok CentOS 6.3 Virtuális gépekfő-'És'csomópont’Azaz. (a mester és a csomópont az én hostnevek). A „mester” IP az 172.21.17.175 és az IP csomópont "172.21.17.188‘. A következő utasítások is működnek RHEL/CentOS 6.x változatok.
[[e -mail védett] ~]# gazdagépnév fő-
[[e -mail védett] ~]# ifconfig | grep 'inet addr' | head -1 inet addr:172.21.17.175 Bcast: 172.21.19.255 Maszk: 255.255.252.0
[[e -mail védett] ~]# gazdagépnév csomópont
[[e -mail védett] ~]# ifconfig | grep 'inet addr' | head -1 inet addr:172.21.17.188 Bcast: 172.21.19.255 Maszk: 255.255.252.0
Először győződjön meg arról, hogy az összes fürt gazdagép benne van ‘/Etc/hosts'Fájl (minden csomóponton), ha nincs beállítva DNS.
[[e -mail védett] ~]# cat /etc /hosts 172.21.17.175 mester. 172.21.17.188 csomópont
[[e -mail védett] ~]# cat /etc /hosts 172.21.17.197 qabox. 172.21.17.176 ansible-ground
Hivatalosat használunk CDH tároló telepítése CDH4 a fürt összes gazdagépén (Master és Node).
Irány a hivatalos CDH letöltés oldalt, és ragadja meg a CDH4 (azaz 4.6) verzióját, vagy használhatja az alábbiakat wget parancsot a lerakat letöltéséhez és telepítéséhez.
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
A Hadoop Multinode Cluster telepítése előtt adja hozzá a nyilvános Cloudera GPG -kulcsot a lerakatához az alábbi parancsok egyikének futtatásával, a rendszer architektúrájának megfelelően.
## 32 bites rendszeren ## # ford / perc -import http://archive.cloudera.com/cdh4/redhat/6/i386/cdh/RPM-GPG-KEY-cloudera
## 64 bites rendszeren ## # ford / perc -import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
Ezután futtassa a következő parancsot a JobTracker és a NameNode telepítéséhez és beállításához a főszerveren.
[[e -mail védett] ~]# yum tiszta minden [[e -mail védett] ~]# yum install hadoop-0.20-mapreduce-jobtracker
[[e -mail védett] ~]# yum tiszta minden. [[e -mail védett] ~]# yum install hadoop-hdfs-namenode
Ismét futtassa a következő parancsokat a főszerveren a másodlagos névcsomópont beállításához.
[[e -mail védett] ~]# yum tiszta minden [[e -mail védett] ~]# yum install hadoop-hdfs-Secondnam
Ezután állítsa be a Tasktracker -t és az adatcsatornát az összes fürtállomáson (csomópont), kivéve a JobTracker, a NameNode és a Secondary (vagy készenléti) NameNode állomásokat (ebben az esetben a csomóponton).
[[e -mail védett] ~]# yum tiszta minden. [[e -mail védett] ~]# yum install hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode
A Hadoop klienst külön gépre is telepítheti (ebben az esetben a datanódra telepítettem, és bármilyen gépre telepítheti).
[[e -mail védett] ~]# yum install hadoop-client
Most, ha végeztünk a fenti lépésekkel, lépjünk előre a hdf -ek telepítéséhez (ezt minden csomóponton meg kell tenni).
Másolja az alapértelmezett konfigurációt ide /etc/hadoop könyvtár (a fürt minden csomópontján).
[[e -mail védett] ~]# cp -r /etc/hadoop/conf.dist /etc/hadoop/conf.my_cluster
[[e -mail védett] ~]# cp -r /etc/hadoop/conf.dist /etc/hadoop/conf.my_cluster
Használat alternatívák parancs az egyéni könyvtár beállításához, az alábbiak szerint (a fürt minden csomópontján).
[[e -mail védett] ~]# alternatíva-verbose --install/etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50. reading/var/lib/alternatives/hadoop-conf [[e -mail védett] ~]# alternatíva --set hadoop-conf /etc/hadoop/conf.my_cluster
[[e -mail védett] ~]# alternatíva-verbose --install/etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50. reading/var/lib/alternatives/hadoop-conf [[e -mail védett] ~]# alternatíva --set hadoop-conf /etc/hadoop/conf.my_cluster
Most nyitva 'core-site.xml"Fájl és frissítés"fs.defaultFS”A fürt minden csomópontján.
[[e -mail védett] conf]# cat /etc/hadoop/conf/core-site.xml
1.0 text/xslkonfiguráció.xsl fs.defaultFS hdfs: // mester/
[[e -mail védett] conf]# cat /etc/hadoop/conf/core-site.xml
1.0 text/xslkonfiguráció.xsl fs.defaultFS hdfs: // mester/
Következő frissítés "dfs.permissions.superusergroup" ban ben hdfs-site.xml a fürt minden csomópontján.
[[e -mail védett] conf]# cat /etc/hadoop/conf/hdfs-site.xml
1.0 text/xslkonfiguráció.xsl dfs.név.dir /var/lib/hadoop-hdfs/cache/hdfs/dfs/name dfs.permissions.superusergroup hadoop
[[e -mail védett] conf]# cat /etc/hadoop/conf/hdfs-site.xml
1.0 text/xslkonfiguráció.xsl dfs.név.dir /var/lib/hadoop-hdfs/cache/hdfs/dfs/name dfs.permissions.superusergroup hadoop
jegyzet: Győződjön meg arról, hogy a fenti konfiguráció minden csomóponton megtalálható (tegye az egyik csomóponton, és futtassa scp másolni a többi csomóponton).
Frissítse a „dfs.name.dir vagy dfs.namenode.name.dir” fájlt a „hdfs-site.xml” mappában a NameNode-on (a Master és a Node). Kérjük, módosítsa a kiemelt értéket.
[[e -mail védett] conf]# cat /etc/hadoop/conf/hdfs-site.xml
dfs.namenode.name.dir fájl: /// data/1/dfs/nn,/nfsmount/dfs/nn
[[e -mail védett] conf]# cat /etc/hadoop/conf/hdfs-site.xml
dfs.datanode.data.dir fájl: /// data/1/dfs/dn,/data/2/dfs/dn,/data/3/dfs/dn
Futtassa az alábbi parancsokat a könyvtárszerkezet létrehozásához és a felhasználói jogosultságok kezeléséhez Namenode (Master) és Datanode (Node) gépeken.
[[e -mail védett]]# mkdir -p/data/1/dfs/nn/nfsmount/dfs/nn. [[e -mail védett]]# chmod 700/data/1/dfs/nn/nfsmount/dfs/nn
[[e -mail védett]]# mkdir -p/data/1/dfs/dn/data/2/dfs/dn/data/3/dfs/dn/data/4/dfs/dn. [[e -mail védett]]# chown -R hdfs: hdfs/data/1/dfs/nn/nfsmount/dfs/nn/data/1/dfs/dn/data/2/dfs/dn/data/3/dfs/dn/data/4 /dfs/dn
Formázza a Namenode -t (a Master -en) a következő parancs kiadásával.
[[e -mail védett] conf]# sudo -u hdfs hdfs namenode -format
Adja hozzá a következő tulajdonságot a hdfs-site.xml fájlt, és cserélje ki az értéket a Master -en látható módon.
dfs.namenode.http-cím 172.21.17.175:50070 Az a cím és port, amelyen a NameNode felhasználói felület hallgatni fog.
jegyzet: Esetünkben az értéknek a fő virtuális gép ip -címének kell lennie.
Most telepítsük az MRv1-et (Map-Reduce 1 verzió). Nyisd ki 'mapred-site.xml„Fájlozza az alábbi értékeket az ábrán látható módon.
[[e -mail védett] conf]# cp hdfs-site.xml mapred-site.xml. [[e -mail védett] conf]# vi mapred-site.xml. [[e -mail védett] conf]# cat mapred-site.xml
1.0 text/xslkonfiguráció.xsl térképes.munka.követő mester: 8021
Ezután másolja a "mapred-site.xml'Fájl a csomópontgépre a következő scp paranccsal.
[[e -mail védett]conf]# scp /etc/hadoop/conf/mapred-site.xml node:/etc/hadoop/conf/ mapred-site.xml 100% 200 0.2KB/s 00:00
Most állítsa be a helyi tárolási könyvtárakat az MRv1 démonok által használt használatra. Újra nyitva "mapred-site.xml'Fájlt, és végezze el a módosításokat az alábbiak szerint minden egyes TaskTracker esetében.
 mapred.local.dir Â/data/1/mapred/local,/data/2/mapred/local,/data/3/mapred/local
Miután megadta ezeket a könyvtárakat a "mapred-site.xml'Fájlt, létre kell hoznia a könyvtárakat, és hozzá kell rendelnie a megfelelő fájljogosultságokat a fürt minden csomópontjához.
mkdir -p/data/1/mapred/local/data/2/mapred/local/data/3/mapred/local/data/4/mapred/local. chown -R mapred: hadoop/data/1/mapred/local/data/2/mapred/local/data/3/mapred/local/data/4/mapred/local
Most futtassa a következő parancsot a HDFS indításához a fürt minden csomópontján.
[[e -mail védett] conf]# x -re a `cd /etc/init.d; ls hadoop-hdfs-*`; csináld a sudo szolgáltatást $ x start; Kész
[[e -mail védett] conf]# x -re a `cd /etc/init.d; ls hadoop-hdfs-*`; csináld a sudo szolgáltatást $ x start; Kész
Létrehozása kötelező /tmp megfelelő engedélyekkel, pontosan az alábbiakban említettek szerint.
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -mkdir /tmp. [[e -mail védett] conf]# sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -mkdir -p/var/lib/hadoop -hdfs/cache/mapred/mapred/staging. [[e -mail védett] conf]# sudo -u hdfs hadoop fs -chmod 1777/var/lib/hadoop -hdfs/cache/mapred/mapred/staging. [[e -mail védett] conf]# sudo -u hdfs hadoop fs -chown -R mapred/var/lib/hadoop -hdfs/cache/mapred
Most ellenőrizze a HDFS fájlstruktúrát.
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -ls -R / drwxrwxrwt -hdfs hadoop 0 2014-05-29 09:58 / tmp. drwxr-xr-x-hdfs hadoop 0 2014-05-29 09:59 /var. drwxr-xr-x-hdfs hadoop 0 2014-05-29 09:59 /var /lib. drwxr-xr-x-hdfs hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs. drwxr-xr-x-hdfs hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs/cache. drwxr-xr-x-mapred hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs/cache/mapred. drwxr-xr-x-mapred hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs/cache/mapred/mapred. drwxrwxrwt-mapred hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs/cache/mapred/mapred/staging
A HDFS elindítása és létrehozása után/tmp", De mielőtt elkezdené a JobTracker programot, hozza létre a" mapred.system.dir "paraméter által megadott HDFS könyvtárat (alapértelmezés szerint $ {hadoop.tmp.dir}/mapred/system, és cserélje ki a tulajdonost térképre.
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -mkdir/tmp/mapred/system. [[e -mail védett] conf]# sudo -u hdfs hadoop fs -leírt térkép: hadoop/tmp/mapred/system
A MapReduce elindítása: indítsa el a TT és JT szolgáltatásokat.
[[e -mail védett]conf]# service hadoop-0.20-mapreduce-tasktracker start Tasktracker indítása: [OK] a Tasktracker elindítása, bejelentkezés a /var/log/hadoop-0.20-mapreduce/hadoop-hadoop-tasktracker-node.out oldalra
[[e -mail védett] conf]# service hadoop-0.20-mapreduce-jobtracker start Jobtracker indítása: [OK] a jobtracker elindítása, naplózás a /var/log/hadoop-0.20-mapreduce/hadoop-hadoop-jobtracker-master.out
Ezután hozzon létre saját könyvtárat minden hadoop felhasználó számára. ezt javasoljuk a NameNode -on; például.
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -mkdir /user /[[e -mail védett] conf]# sudo -u hdfs hadoop fs -chown /user/
jegyzet: hol van az egyes felhasználók Linux felhasználóneve.
Alternatív megoldásként a következő módon hozhatja létre a saját könyvtárat.
[[e -mail védett] conf]# sudo -u hdfs hadoop fs -mkdir /user /$ USER. [[e -mail védett] conf]# sudo -u hdfs hadoop fs -$ USER /user /$ USER
Nyissa meg a böngészőt, és írja be az URL -címet http://ip_address_of_namenode: 50070 Namenode eléréséhez.
Nyisson meg egy másik lapot a böngészőjében, és írja be az URL -címethttp://ip_address_of_jobtracker: 50030 a JobTracker eléréséhez.
Ezt az eljárást sikeresen tesztelték RHEL/CentOS 5.X/6.X. Kérjük, írjon megjegyzést alább, ha bármilyen probléma merül fel a telepítés során, segítek a megoldásban.