اباتشي هادوب هو إطار عمل مفتوح المصدر من أجل تخزين البيانات الضخمة الموزعة ومعالجة البيانات عبر مجموعات الكمبيوتر. يقوم المشروع على المكونات التالية:
ستوجهك هذه المقالة إلى كيفية تثبيت Apache Hadoop على مجموعة عقدة واحدة بتنسيق CentOS 7 (يعمل أيضًا مع RHEL 7 و فيدورا 23+ الإصدارات). يشار أيضًا إلى هذا النوع من التكوين باسم وضع Hadoop الزائف الموزع.
1. قبل متابعة تثبيت Java ، قم أولاً بتسجيل الدخول باستخدام مستخدم جذر أو مستخدم لديه امتيازات جذر لإعداد اسم مضيف الجهاز باستخدام الأمر التالي.
# hostnamectl set-hostname master.
أضف أيضًا سجلًا جديدًا في ملف المضيفين باستخدام FQDN للجهاز الخاص بك للإشارة إلى عنوان IP للنظام الخاص بك.
# vi / etc / hosts.
أضف السطر أدناه:
192.168.1.41 master.hadoop.lan.
استبدل اسم المضيف أعلاه وسجلات FQDN بالإعدادات الخاصة بك.
2. بعد ذلك ، انتقل إلى تنزيل Oracle Java الصفحة والحصول على أحدث إصدار من مجموعة تطوير Java SE 8 على نظامك بمساعدة لفة قيادة:
# curl -LO -H "ملف تعريف الارتباط: oraclelicense = Accept-securebackup-cookie" “ http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
3. بعد انتهاء تنزيل Java الثنائي ، قم بتثبيت الحزمة بإصدار الأمر التالي:
# rpm -Uvh jdk-8u92-linux-x64.rpm.
4. بعد ذلك ، قم بإنشاء حساب مستخدم جديد على نظامك بدون صلاحيات الجذر التي سنستخدمها لمسار تثبيت Hadoop وبيئة العمل. سيقيم الدليل الرئيسي للحساب الجديد في /opt/hadoop
الدليل.
# useradd -d / opt / hadoop. # باسود هادوب.
5. في الزيارة الخطوة التالية اباتشي هادوب للحصول على رابط أحدث إصدار ثابت وتنزيل الأرشيف على نظامك.
# حليقة -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
6. استخرج الأرشيف نسخة محتوى الدليل إلى مسار حساب hadoop الرئيسي. تأكد أيضًا من تغيير أذونات الملفات المنسوخة وفقًا لذلك.
# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop-2.7.2 / * / opt / hadoop / # chown -R hadoop: hadoop / opt / hadoop /
7. بعد ذلك ، قم بتسجيل الدخول باستخدام هادوب المستخدم والتكوين هادوب و متغيرات بيئة جافا على نظامك عن طريق تحرير ملف .bash_profile
ملف.
# سو - هادوب. $ vi .bash_profile.
قم بإلحاق الأسطر التالية في نهاية الملف:
## متغيرات JAVA env تصدير JAVA_HOME = / usr / java / default. تصدير PATH = $ PATH: $ JAVA_HOME / bin. تصدير CLASSPATH =.: $ JAVA_HOME / jre / lib: $ JAVA_HOME / lib: $ JAVA_HOME / lib / tools.jar ## متغيرات HADOOP envتصدير HADOOP_HOME = / opt / hadoop. تصدير HADOOP_COMMON_HOME = $ HADOOP_HOME. تصدير HADOOP_HDFS_HOME = $ HADOOP_HOME. تصدير HADOOP_MAPRED_HOME = $ HADOOP_HOME. تصدير HADOOP_YARN_HOME = $ HADOOP_HOME. تصدير HADOOP_OPTS = "- Djava.library.path = $ HADOOP_HOME / lib / native" تصدير HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME / lib / أصلي. تصدير PATH = $ PATH: $ HADOOP_HOME / sbin: $ HADOOP_HOME / bin.
8. الآن ، قم بتهيئة متغيرات البيئة وتحقق من حالتها عن طريق إصدار الأوامر التالية:
المصدر $ .bash_profile. صدى $ HADOOP_HOME. صدى $ JAVA_HOME.
9. أخيرًا ، قم بتكوين المصادقة القائمة على مفتاح ssh لـ هادوب الحساب عن طريق تشغيل الأوامر أدناه (استبدل ملف اسم المضيف أو FQDN ضد ال ssh- نسخة- معرف
الأمر وفقًا لذلك).
أيضًا ، اترك ملف عبارة المرور قدم فارغًا من أجل تسجيل الدخول تلقائيًا عبر ssh.
$ ssh-keygen -t rsa. $ ssh-copy-id master.hadoop.lan.