Apache Hadoop adalah kerangka kerja Open Source yang dibangun untuk penyimpanan Big Data terdistribusi dan pemrosesan data di seluruh cluster komputer. Proyek ini didasarkan pada komponen berikut:
Artikel ini akan memandu Anda tentang bagaimana Anda dapat menginstal Apache Hadoop pada cluster node tunggal di CentOS 7 (juga berfungsi untuk RHEL 7 dan Fedora 23+ versi). Jenis konfigurasi ini juga dirujuk sebagai Mode Terdistribusi Semu Hadoop.
1. Sebelum melanjutkan dengan instalasi Java, login terlebih dahulu dengan pengguna root atau pengguna dengan hak akses root, atur nama host mesin Anda dengan perintah berikut.
# hostnamectl set-hostname master.
Juga, tambahkan catatan baru dalam file host dengan FQDN mesin Anda sendiri untuk menunjuk ke Alamat IP sistem Anda.
# vi /etc/hosts.
Tambahkan baris di bawah ini:
192.168.1.41 master.hadoop.lan.
Ganti nama host dan catatan FQDN di atas dengan pengaturan Anda sendiri.
2. Selanjutnya, pergi ke Unduh Oracle Java halaman dan ambil versi terbaru dari Kit Pengembangan Java SE 8 di sistem Anda dengan bantuan keriting memerintah:
# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “ http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
3. Setelah unduhan biner Java selesai, instal paket dengan mengeluarkan perintah di bawah ini:
# rpm -Uvh jdk-8u92-linux-x64.rpm.
4. Selanjutnya, buat akun pengguna baru di sistem Anda tanpa kekuatan root yang akan kami gunakan untuk jalur instalasi Hadoop dan lingkungan kerja. Direktori beranda akun baru akan berada di /opt/hadoop
direktori.
# useradd -d /opt/hadoop hadoop. #passwd hadoop.
5. Pada langkah berikutnya kunjungi Apache Hadoop halaman untuk mendapatkan tautan untuk versi stabil terbaru dan mengunduh arsip di sistem Anda.
# ikal -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
6. Ekstrak arsip, salin konten direktori ke jalur beranda akun hadoop. Juga, pastikan Anda mengubah izin file yang disalin.
# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop-2.7.2/* /opt/hadoop/ # chown -R hadoop: hadoop /opt/hadoop/
7. Selanjutnya, login dengan hadoop pengguna dan konfigurasikan hadoop dan Variabel Lingkungan Java di sistem Anda dengan mengedit .bash_profile
mengajukan.
# su - hadoop. $ vi .bash_profile.
Tambahkan baris berikut di akhir file:
## variabel env JAVA ekspor Java_HOME=/usr/Java/default. ekspor PATH=$PATH:$JAVA_HOME/bin. ekspor CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar ## HADOOP variabel envekspor HADOOP_HOME=/opt/hadoop. ekspor HADOOP_COMMON_HOME=$HADOOP_HOME. ekspor HADOOP_HDFS_HOME=$HADOOP_HOME. ekspor HADOOP_MAPRED_HOME=$HADOOP_HOME. ekspor HADOOP_YARN_HOME=$HADOOP_HOME. ekspor HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" ekspor HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native. ekspor PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin.
8. Sekarang, inisialisasi variabel lingkungan dan periksa statusnya dengan mengeluarkan perintah di bawah ini:
$ sumber .bash_profile. $ echo $HADOOP_HOME. $ echo $JAVA_HOME.
9. Terakhir, konfigurasikan otentikasi berbasis kunci ssh untuk hadoop akun dengan menjalankan perintah di bawah ini (ganti nama host atau FQDN melawan ssh-copy-id
perintah sesuai).
Juga, tinggalkan kata sandi diajukan kosong untuk masuk secara otomatis melalui ssh.
$ ssh-keygen -t rsa. $ssh-copy-id master.hadoop.lan.