אפאצ'י Hadoop היא בניית מסגרת קוד פתוח לאחסון ועיבוד נתונים מבוזרים של Big Data ברחבי אשכולות מחשבים. הפרויקט מבוסס על המרכיבים הבאים:
מאמר זה ינחה אותך כיצד תוכל להתקין את Apache Hadoop באשכול צומת יחיד CentOS 7 (עובד גם עבור RHEL 7 ו פדורה 23+ גרסאות). סוג זה של תצורה נקרא גם כ מצב מופץ פסאודו של Hadoop.
1. לפני שתמשיך בהתקנת Java, התחבר תחילה עם משתמש שורש או משתמש בעל הרשאות שורש הגדר את שם המארח של המכונה שלך באמצעות הפקודה הבאה.
# hostnamectl set-host master.
כמו כן, הוסף רשומה חדשה בקובץ המארחים עם מחשב ה- FQDN שלך כדי להצביע על כתובת ה- IP של המערכת שלך.
# vi /etc /hosts.
הוסף את השורה הבאה:
192.168.1.41 master.hadoop.lan.
החלף את שם המארח לעיל ואת רשומות FQDN בהגדרות משלך.
2. לאחר מכן, עבור אל הורדה של אורקל ג'אווה עמוד ותפס את הגירסה העדכנית ביותר של ערכת פיתוח Java SE 8 במערכת שלך בעזרת סִלְסוּל פקודה:
# curl -LO -H "Cookie: oraclelicense = accept -securebackup -cookie" " http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
3. לאחר שההורדה הבינארית של Java מסתיימת, התקן את החבילה על ידי הפקת הפקודה הבאה:
# rpm -Uvh jdk-8u92-linux-x64.rpm.
4. לאחר מכן, צור חשבון משתמש חדש במערכת שלך ללא סמכויות שורש שבה נשתמש בו לנתיב התקנה של Hadoop וסביבת העבודה. ספריית הבית החדשה של החשבון תתגורר ב /opt/hadoop
מַדרִיך.
# useradd -d /opt /hadoop hadoop. # passwd hadoop.
5. בביקור בשלב הבא אפאצ'י Hadoop עמוד על מנת לקבל את הקישור לגרסה היציבה העדכנית ביותר ולהוריד את הארכיון במערכת שלך.
# סלסול -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
6. חלץ את הארכיון העתק את תוכן הספרייה לנתיב הבית של חשבון hadoop. כמו כן, הקפד לשנות את הרשאות הקבצים שהועתקו בהתאם.
# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop -2.7.2/*/opt/hadoop/ # chown -R hadoop: hadoop/opt/hadoop/
7. לאחר מכן, התחבר עם hadoop משתמש ולהגדיר Hadoop ו משתני סביבת Java במערכת שלך על ידי עריכת .bash_profile
קוֹבֶץ.
# su - hadoop. $ vi .bash_profile.
הוסף את השורות הבאות בסוף הקובץ:
## משתני env של JAVA ייצא JAVA_HOME =/usr/java/default. ייצוא PATH = $ PATH: $ JAVA_HOME/bin. ייצא CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar ## משתני env HADOOPייצא HADOOP_HOME =/opt/hadoop. ייצא HADOOP_COMMON_HOME = $ HADOOP_HOME. ייצא HADOOP_HDFS_HOME = $ HADOOP_HOME. ייצא HADOOP_MAPRED_HOME = $ HADOOP_HOME. ייצא HADOOP_YARN_HOME = $ HADOOP_HOME. ייצא HADOOP_OPTS = "-Djava.library.path = $ HADOOP_HOME/lib/native" ייצא HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME/lib/native. ייצוא PATH = $ PATH: $ HADOOP_HOME/sbin: $ HADOOP_HOME/bin.
8. כעת, אתחל את משתני הסביבה ובדוק את מצבם על ידי הנפקת הפקודות הבאות:
$ מקור .bash_profile. $ echo $ HADOOP_HOME. $ echo $ JAVA_HOME.
9. לבסוף, הגדר אימות מבוסס מפתח ssh עבור hadoop חשבון על ידי הפעלת הפקודות להלן (החלף את שם מארח אוֹ FQDN נגד ה ssh-copy-id
פקודה בהתאם).
כמו כן, השאר את משפט סיסמה הוגש ריק כדי להיכנס אוטומטית באמצעות ssh.
$ ssh -keygen -t rsa. $ ssh-copy-id master.hadoop.lan.