Cómo instalar CDH y configurar ubicaciones de servicio en CentOS / RHEL 7
En un artículo anterior, hemos explicado la instalación de Cloudera Manager, en este artículo, aprenderá a instalar y configurar CDH (Distribución de Cloudera Hadoop) en RHEL / CentOS 7.
Al instalar el paquete CDH, tenemos que asegurarnos de que Gerente de Cloudera y CDH compatibilidad. La versión de Cloudera tiene 3 partes: ... La versión principal y secundaria de Cloudera Manager debe ser la misma que la versión principal y secundaria de CDH.
Por ejemplo, estamos usando Administrador de Cloudera 6.3.1 y CDH 6.3.2. Aquí 6 es mayor y 3 es la versión menor. Mayor y menor deben ser iguales para evitar problemas de compatibilidad.
Requisitos
Mejores prácticas para implementar Hadoop Server en CentOS / RHEL 7 - Parte 1
Configuración de requisitos previos de Hadoop y refuerzo de la seguridad - Parte 2
Cómo instalar y configurar Cloudera Manager en CentOS / RHEL 7 - Parte 3
Tomaremos los 2 nodos siguientes para instalar CDH. Ya hemos instalado Cloudera Manager en master1, también estamos usando master1 como servidor de repositorios.
master1.tecmint.com. worker1.tecmint.com.
Paso 1: descargue las parcelas CDH en el servidor maestro
1. Primero, conéctese a master1 servidor y descarga Paquetes CDH archivos en el /var/www/html/cloudera-repos/cdh directorio. Tenemos que descargar los 3 archivos mencionados a continuación que deberían ser compatibles con RHEL / CentOS 7.
Paso 2: Configurar Cloudera Manager Repo en clientes trabajadores
4. Ahora, conéctese a obrero servidores y copie el archivo de repositorio (cloudera-manager.repo) desde el servidor de repositorios (master1) a todo el servidor trabajador restante. Este archivo de repositorio garantiza a los servidores que todos los paquetes y RPM necesarios se descargarán del servidor de repositorio durante la instalación.
gato> /etc/yum.repos.d/cloudera-manager.repo <
5. Una vez agregado el repositorio, enumere los repositorios habilitados para asegurarse de que administrador de cloudera repositorio está habilitado.
$ yum repolista.
Comprobar reposiciones habilitadas
Paso 3: Instale los demonios y el agente de Cloudera Manager en los servidores de trabajo
6. Ahora, necesitamos instalar cloudera-manager-daemons y agente-administrador-cloudera en todos los servidores restantes.
Instalar los demonios y el agente de Cloudera Manager
7. A continuación, debe configurar el Gerente de Cloudera agente para informar el Gerente de Cloudera servidor.
$ sudo vi /etc/cloudera-scm-agent/config.ini.
Reemplace la localhost con Gerente de Cloudera dirección IP del servidor.
Configurar Cloudera Manager
8. Comienzo Gerente de Cloudera Agente y verificar el estado.
$ sudo systemctl inicia cloudera-scm-agent. $ sudo systemctl status cloudera-scm-agent.
Verificar el estado de Cloudera Manager
Paso 4: instalar y configurar CDH
Tenemos CDH paquetes en master1 - servidor de repositorio. Asegúrese de que todos los servidores tengan un archivo de repositorio de Cloudera Manager en /etc/yum.repos.d/ si sigue la instalación automática usando Gerente de Cloudera.
9. Inicie sesión en Cloudera Manager utilizando la siguiente URL en el puerto 7180 y use el nombre de usuario y la contraseña predeterminados de Gerente de Cloudera.
http://104.211.95.96:7180/cmf/login. Nombre de usuario: admin. Contraseña: admin.
Iniciar sesión en Cloudera Manager
10. Una vez que inicie sesión, será recibido con la página de bienvenida. Aquí puede encontrar Notas de la versión, Nuevas funciones de Cloudera Manager.
Bienvenido a Cloudera Manager
11. Acepte la licencia y continúe.
Licencia de administrador de Cloudera
12. Seleccione la edición. La versión de prueba está seleccionada de forma predeterminada, podemos continuar con eso.
Edición Cloudera Manager
13. Ahora, siga los pasos de instalación del clúster. Continúe con la página de bienvenida.
Instalación del clúster de Cloudera Manager
14. Nombra el clúster y continúa, lo hemos nombrado como "tecmint”. Hay 2 tipos de clúster que puede definir. Continuamos con el Clúster Regular.
Clúster regular: Constará de nodos de almacenamiento, nodos de cómputo y otros servicios necesarios.
Clúster de cálculo: Consistirá solo en nodos de cálculo. El almacenamiento externo se puede utilizar para almacenar datos.
Nombre del clúster de Cloudera Manager
15. Ya hemos instalado Agentes de Cloudera Manager en todos los servidores. Puede encontrar esos servidores en "Hosts administrados actualmente”. Para la instalación automática, debe ingresar el FQDN o IP de los servidores en el campo “Nuevos anfitriones”Opción y búsqueda. Cloudera Manager detectará automáticamente los hosts en los que necesitamos instalar CDH.
Aquí, haga clic en "Hosts administrados actualmente", Seleccione todos los hosts seleccionando"Nombre de host"Y continuar.
Hosts administrados actualmente
16. Seleccionar repositorio - usando Terreno es la forma recomendada. Haga clic en "Mas opciones’Para configurar el repositorio.
Seleccionar repositorio
17. Ingrese la URL del repositorio local como se menciona a continuación. Elimine todos los repositorios públicos restantes que apuntan a Web (Repositorios de Cloudera).
Configuración del repositorio de parcelas
Este es el CDH URL del repositorio local que tenemos en master1.
http://104.211.95.96/cloudera-repos/cdh/
Cloudera Repo
18. Una vez ingresada la URL del repositorio, esta página mostrará solo las parcelas disponibles. Continúe con este paso.
Seleccione la configuración del repositorio
19. Ahora los paquetes se están descargando, distribuyendo, desempaquetando y activando en todos los servidores disponibles.
Instalar parcelas
20. Una vez el Paquetes CDH están activados, inspeccione el Grupo. Este paso hará un chequeo de salud del clúster. Aquí estamos saltando y continuando.
Inspeccionar racimo
Paso 5: Configuración del clúster
21. Aquí tenemos que seleccionar el Servicios para ser instalado en Grupo. Algunas combinaciones empaquetadas estarán disponibles por defecto, vamos con Servicios personalizados.
Configuración de clúster
22. En Servicios personalizados, solo estamos instalando Componentes principales (HDFS y HILO) para este propósito de demostración.
Servicios de instalación
23. Asignar los roles al servidor. Podemos personalizar según nuestros requisitos. Encuentre la siguiente tabla que describe las recomendaciones Distribución de roles para un clúster pequeño básico con 5 a 20 nodos con alta disponibilidad.
Asignar rolesDistribuciones de roles recomendadas
24. Seleccione el tipo de base de datos, el nombre de host, el nombre de la base de datos, el nombre de usuario y la contraseña. Como usamos PostgreSQL incrustado, se seleccionará de forma predeterminada. Pruebe la conexión, debería ser exitosa.
Configuración de la base de datos
25. Esta página mostrará los parámetros de configuración predeterminados de HDFS y Hilo, incluidos los directorios de datos. Revise todos los detalles de la configuración y podrá realizar cambios si es necesario. Luego continúe con esto.
Revisar los parámetros de configuración
26. Esta página mostrará los detalles de la "Primer intento'Comando. Puede expandirlo para ver los detalles de los comandos en ejecución. Si hay algún problema de red o de permisos en el clúster, este paso fallará. Por lo general, este paso decide la instalación sin problemas del Cluster Building.
Comandos de primera ejecuciónEjecución de comandos
27. Una vez completado el paso anterior, haga clic en "Terminar’Para completar la instalación. Este es el panel de Cloudera Manager después de instalar CDH.
http://104.211.95.96:7180/cmf/home.
Panel de control de Cloudera Manager
Conclusión
Hemos completado el Gerente de Cloudera y CDH instalación con éxito. En el Panel de control de Cloudera Manager, puede encontrar un conjunto predefinido de gráficos donde puede monitorear la CPU del clúster, E / S de disco, etc. Podemos gestionar todo el Cluster usando este Gerente de Cloudera. Veremos todas las operaciones administrativas en los próximos artículos.