이전 기사에서 우리는 설명했습니다 Cloudera Manager 설치, 이 문서에서는 설치 및 구성 방법을 배웁니다. CDH (Cloudera 배포 Hadoop) 입력 RHEL/CentOS 7.
CDH 소포를 설치하는 동안 우리는 다음을 확인해야 합니다. 클라우데라 매니저 그리고 CDH 호환성. Cloudera 버전에는 3가지 부분이 있습니다.
예를 들어, 우리는 클라우데라 매니저 6.3.1 그리고 CDH 6.3.2. 여기 6 전공이고 3 마이너 버전입니다. 호환성 문제를 피하기 위해 Major와 Minor는 동일해야 합니다.
CDH 설치를 위해 아래 2개의 노드를 사용합니다. 이미 Cloudera Manager를 설치했습니다. 마스터1, 또한 우리가 사용하고 있습니다 마스터1 repo 서버로.
master1.tecmint.com. worker1.tecmint.com.
1. 먼저 연결 마스터1 서버 및 다운로드 CDH 소포 파일 /var/www/html/cloudera-repos/cdh 예배 규칙서. 호환되어야 하는 아래 언급된 3개의 파일을 다운로드해야 합니다. RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel. CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1. 매니페스트.json.
2. 이 파일을 다운로드하기 전에 CDH 아래의 디렉토리 /var/www/html/cloudera-repos/ 위치.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh. $ cd cdh.
3. 그런 다음 다음을 사용하여 위에서 언급한 3개의 파일을 다운로드합니다. wget 명령.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
4. 이제 연결 노동자 서버에 저장하고 repo 파일(cloudera-manager.repo) 저장소 서버(마스터1) 나머지 모든 작업자 서버에. 이 repo 파일은 설치하는 동안 필요한 모든 소포와 RPM이 repo 서버에서 다운로드되도록 서버를 보장합니다.
고양이 >/etc/yum.repos.d/cloudera-manager.repo <5. 리포지토리가 추가되면 활성화된 리포지토리를 나열하여 클라우데라 매니저 레포가 활성화되었습니다.
$ yum 리포스트.3단계: 작업자 서버에 Cloudera Manager 데몬 및 에이전트 설치
6. 이제 설치해야 합니다. cloudera 관리자 데몬 그리고 cloudera 관리자 에이전트 나머지 모든 서버에서.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent.7. 다음으로 구성해야 합니다. 클라우데라 매니저 보고하는 대리인 클라우데라 매니저 섬기는 사람.
$ sudo vi /etc/cloudera-scm-agent/config.ini.교체 로컬 호스트 ~와 함께 클라우데라 매니저 서버 IP 주소.
8. 시작 클라우데라 매니저 에이전트 및 상태를 확인합니다.
$ sudo systemctl cloudera-scm-agent를 시작합니다. $ sudo systemctl 상태 cloudera-scm-agent.4단계: CDH 설치 및 설정
우리는 CDH 소포 마스터1 – 리포지토리 서버. 모든 서버에 Cloudera Manager repo 파일이 있는지 확인하십시오. /etc/yum.repos.d/ 다음을 사용하여 자동 설치를 수행하는 경우 클라우데라 매니저.
9. 포트에서 아래 URL을 사용하여 Cloudera Manager에 로그인합니다. 7180 의 기본 사용자 이름과 비밀번호를 사용합니다. 클라우데라 매니저.
http://104.211.95.96:7180/cmf/login. 사용자 이름: 관리자 비밀번호: 관리자10. 로그인을 하시면 Welcome 페이지가 나옵니다. 여기에서 Cloudera Manager의 새로운 기능인 릴리스 정보를 찾을 수 있습니다.
11. 라이센스에 동의하고 계속하십시오.
12. 에디션을 선택합니다. 평가판은 기본적으로 선택되어 있으므로 계속 진행할 수 있습니다.
13. 이제 클러스터 설치 단계를 따르십시오. 시작 페이지를 계속 진행합니다.
14. 클러스터 이름을 지정하고 계속 진행하면 "텍민트”. 정의할 수 있는 클러스터에는 2가지 유형이 있습니다. 레귤러 클러스터를 진행하고 있습니다.
15. 우리는 이미 설치했습니다 Cloudera 관리자 에이전트 모든 서버에서. "에서 해당 서버를 찾을 수 있습니다.현재 관리되는 호스트”. 자동 설치를 위해서는 “FQDN 또는 서버의 IP를 “새 호스트" 옵션을 선택하고 검색합니다. Cloudera Manager는 CDH를 설치해야 하는 호스트를 자동으로 감지합니다.
여기에서 "현재 관리되는 호스트", '를 선택하여 모든 호스트를 선택하십시오.호스트 이름'하고 계속합니다.
16. 저장소 선택 – 사용 소포 권장되는 방법입니다. 클릭 '추가 옵션'를 클릭하여 저장소를 구성합니다.
17. 아래와 같이 로컬 리포지토리 URL을 입력합니다. 웹(Cloudera 저장소).
이것이 CDH 우리가 가지고있는 로컬 저장소 URL 마스터1.
http://104.211.95.96/cloudera-repos/cdh/
18. 저장소 URL을 입력하면 이 페이지에는 사용 가능한 소포만 표시됩니다. 이 단계를 계속하십시오.
19. 이제 소포는 사용 가능한 모든 서버에서 다운로드, 배포, 압축 풀기 및 활성화되고 있습니다.
20. 일단 CDH 소포 활성화되어 있는지 확인하십시오. 무리. 이 단계에서는 클러스터의 상태 점검을 수행합니다. 여기서는 건너뛰고 계속합니다.
21. 여기서 우리는 선택해야합니다 서비스 에 설치 무리. 일부 포장된 조합은 기본적으로 사용할 수 있습니다. 맞춤 서비스.
22. 입력 맞춤 서비스, 우리는 만 설치합니다 핵심 구성 요소 (HDFS 그리고 실) 이 데모용입니다.
23. 서버에 역할을 할당합니다. 우리는 우리의 요구 사항에 따라 사용자 정의할 수 있습니다. 권장 사항을 설명하는 아래 차트를 찾으십시오. 역할 분배 고가용성 노드가 5~20개인 기본 소규모 클러스터의 경우.
24. 데이터베이스 유형, 호스트 이름, DB 이름, 사용자 이름 및 암호를 선택합니다. Embedded PostgreSQL을 사용하므로 기본적으로 선택됩니다. 연결을 테스트하면 성공해야 합니다.
25. 이 페이지에는 의 기본 구성 매개변수가 표시됩니다. HDFS 그리고 실, 데이터 디렉토리를 포함합니다. 모든 구성 세부 정보를 검토하고 필요한 경우 변경할 수 있습니다. 그런 다음 계속하십시오.
26. 이 페이지는 '첫 실행' 명령. 확장하여 실행 중인 명령의 세부 정보를 볼 수 있습니다. 클러스터에 네트워크 또는 권한 문제가 있는 경우 이 단계는 실패합니다. 일반적으로 이 단계는 클러스터 빌딩의 원활한 설치를 결정합니다.
27. 위의 단계가 완료되면 '마치다'를 눌러 설치를 완료합니다. CDH 설치 후 Cloudera Manager의 대시보드입니다.
http://104.211.95.96:7180/cmf/home.
우리는 완료했습니다 클라우데라 매니저 그리고 CDH 설치에 성공했습니다. 에서 Cloudera 관리자 대시보드, 클러스터 CPU, 디스크 IO 등을 모니터링할 수 있는 미리 정의된 차트 세트를 찾을 수 있습니다. 이것을 사용하여 전체 클러스터를 관리할 수 있습니다. 클라우데라 매니저. 다음 기사에서 모든 관리 작업을 볼 것입니다.