Hadoop tem dois componentes principais que são HDFS e FIO. HDFS é para armazenar o Dados, FIO é para processar o Dados. HDFS é Sistema de arquivos distribuídos Hadoop, tem Namenode Como Master Service e Datanode Como Serviço Escravo.
Namenode é o componente crítico de Hadoop que está armazenando os metadados de dados armazenados em HDFS. Se o Namenode cair, todo o cluster não ficará acessível, é o único ponto de falha (SPOF). Portanto, o ambiente de produção terá Alta disponibilidade de Namenode para evitar a interrupção da produção se um Namenode cai por causa de vários motivos, como falha da máquina, atividade de manutenção planejada, etc.
Hadoop 2.x fornece a viabilidade onde podemos ter dois Namenodes, um será Namenode ativo e outro será Namenode em espera.
Possibilitando Alta disponibilidade de Namenode
requer Funcionário do zoológico que é obrigatório para failover automático. ZKFC (Controlador de failover Zookeeper) é um Funcionário do zoológico cliente que é usado para manter o estado de Namenode.Neste artigo, vamos habilitar Alta disponibilidade de Namenode em Cloudera Manager.
1. Logar em Cloudera Manager.
http://Your-IP: 7180 / cmf / home.
2. No Agrupar (tecmint) prompt de ação, selecione “Adicionar serviço”.
3. Selecione o serviço “Funcionário do zoológico”.
4. Selecione os servidores onde vamos ter Funcionário do zoológico instalado.
5. Nós vamos ter 3 zookeepers formar Quorum do Zookeeper. Selecione os servidores conforme mencionado abaixo.
6. Configure o Funcionário do zoológico propriedades, aqui estamos tendo os padrões. Em tempo real, você deve ter diretório / pontos de montagem separados para armazenar Funcionário do zoológico dados. Em Parte 1, nós explicamos sobre configuração de armazenamento para cada serviço. Clique em ‘Prosseguir'Para prosseguir.
7. A instalação começará, uma vez instalada Funcionário do zoológico será iniciado. Você pode ver as operações em segundo plano aqui.
8. Após a conclusão bem-sucedida da etapa acima, o Status será ‘Finalizado’.
9. Agora, Funcionário do zoológico foi instalado e configurado com sucesso. Clique no 'Terminar’.
10. Você pode ver o Funcionário do zoológico serviço no Cloudera Manager Painel.
11. Vamos para Cloudera Manager –> HDFS –> Ações –> Habilitar alta disponibilidade.
12. Introduzir o Nome do serviço de nomes Como "nameservice1”- Este é um namespace comum para Namenode ativo e em espera.
13. Selecione os Segundo Namenode onde vamos ter espera Namenode.
14. Aqui estamos selecionando master2.tecmint.com para espera Namenode.
15. Selecione os Diário nós, estes são serviços obrigatórios para sincronização Ativo e espera Namenode.
16. Nós estamos fazendo Diário do Quorum colocando o Diário nó em 3 servidores, conforme mencionado abaixo. Selecione 3 servidores e clique em ‘OK’.
17. Clique em ‘Continuar'Para prosseguir.
18. Introduzir o Nó de diário caminho de diretório. Só precisamos mencionar o caminho ao instalar este diretório será criado automaticamente pelo próprio serviço. Estamos mencionando como '/JN'
. Clique em ‘Continuar'Para prosseguir.
19. Vai começar a habilitar o Alta disponibilidade.
20. Depois de concluídos todos os processos em segundo plano, obteremos ‘Finalizado' Status.
21. Por fim, receberemos uma notificação "Alta disponibilidade habilitada com sucesso’. Clique em ‘Terminar’.
22. Verifique o Ativo e Namenode em espera indo para Cloudera Manager –> HDFS –> Instâncias.
23. Aqui, você pode fazer xixi dois Namenodes, um estará no ‘Ativo'Estado e outro estará em'Espera' Estado.
Neste artigo, passamos pelo processo passo a passo para habilitar Alta disponibilidade de Namenode. É altamente recomendado ter Alta disponibilidade de Namenode em todos os clusters em um ambiente de tempo real. Poste suas dúvidas caso encontre algum erro ao fazer este processo. Vamos ver Alta disponibilidade do Resource Manager no próximo artigo.