როგორ დააინსტალიროთ CDH და დააკონფიგურიროთ სერვისის განთავსება CentOS/RHEL 7 -ზე
წინა სტატიაში ჩვენ განვმარტეთ Cloudera მენეჯერის დაყენებაამ სტატიაში თქვენ შეისწავლით როგორ დააინსტალიროთ და დააკონფიგურიროთ CDH (Cloudera Distribution Hadoop) შიგნით RHEL/CentOS 7.
CDH ამანათის დაყენებისას ჩვენ უნდა უზრუნველვყოთ Cloudera მენეჯერი და CDH თავსებადობა. Cloudera– ს ვერსიას აქვს 3 ნაწილი - ... Cloudera Manager ძირითადი და უმნიშვნელო ვერსია უნდა იყოს იგივე, რაც CDH ძირითადი და უმნიშვნელო ვერსია.
მაგალითად, ჩვენ ვიყენებთ Cloudera მენეჯერი 6.3.1 და CDH 6.3.2. Აქ 6 არის ძირითადი და 3 არის უმნიშვნელო ვერსია. ძირითადი და უმცირესი ერთნაირი უნდა იყოს თავსებადობის საკითხების თავიდან ასაცილებლად.
მოთხოვნები
საუკეთესო პრაქტიკა Cento/RHEL 7 – ზე Hadoop სერვერის განთავსებისთვის - ნაწილი 1
Hadoop წინასწარი რეკვიზიტების დაყენება და უსაფრთხოების გამკაცრება-ნაწილი 2
როგორ დააინსტალიროთ და დააკონფიგურიროთ Cloudera Manager CentOS/RHEL 7 - ნაწილი 3
ჩვენ ვიღებთ ქვემოთ მოცემულ 2 კვანძს CDH– ის ინსტალაციისთვის. ჩვენ უკვე დავაინსტალირეთ Cloudera Manager ოსტატი 1, ასევე ჩვენ ვიყენებთ ოსტატი 1 როგორც რეპო სერვერი.
master1.tecmint.com. მუშაკ 1.tecmint.com.
ნაბიჯი 1: ჩამოტვირთეთ CDH ამანათები სამაგისტრო სერვერზე
1. პირველი, დაკავშირება ოსტატი 1 სერვერი და გადმოწერა CDH ამანათები ფაილები /var/www/html/cloudera-repos/cdh დირექტორია ჩვენ უნდა გადმოვწეროთ ქვემოთ ნახსენები 3 ფაილი, რომელიც უნდა იყოს თავსებადი RHEL/CentOS 7.
ნაბიჯი 2: Cloudera Manager Repo- ს დაყენება მუშა კლიენტებზე
4. ახლა, დაკავშირება მუშა სერვერები და დააკოპირეთ repo ფაილი (cloudera-manager.repo) რეპო სერვერიდან (ოსტატი 1) ყველა დარჩენილი მუშა სერვერზე. ეს რეპო ფაილი უზრუნველყოფს სერვერებს, რომ ინსტალაციისას ყველა საჭირო ამანათი და RPM გადმოწერილი იქნება რეპო სერვერიდან.
კატა>/და ა.შ. yum.repos.d/cloudera-manager.repo <
5. მას შემდეგ, რაც რეპო დაემატება, ჩამოთვალეთ ჩართული საცავები, რომ დარწმუნდეთ კლუდერა-მენეჯერი repo ჩართულია.
$ yum რეპოლიტი.
შეამოწმეთ ჩართული რეპები
ნაბიჯი 3: დააინსტალირეთ Cloudera Manager Daemons და Agent სამუშაო სერვერებზე
6. ახლა ჩვენ გვჭირდება ინსტალაცია cloudera-manager-daemons და კლუდერა-მენეჯერი-აგენტი ყველა დანარჩენ სერვერზე.
7. შემდეგი, თქვენ უნდა დააკონფიგურიროთ Cloudera მენეჯერი აგენტი შეატყობინოს Cloudera მენეჯერი სერვერი.
$ sudo vi/და ა.შ./cloudera-scm-agent/config.ini.
შეცვალეთ localhost თან Cloudera მენეჯერი სერვერის IP მისამართი.
Cloudera მენეჯერის კონფიგურაცია
8. დაწყება Cloudera მენეჯერი აგენტი და სტატუსის შემოწმება.
$ sudo systemctl დაწყება cloudera-scm-agent. $ sudo systemctl სტატუსი cloudera-scm-agent.
შეამოწმეთ Cloudera მენეჯერის სტატუსი
ნაბიჯი 4: დააინსტალირეთ და დააყენეთ CDH
Ჩვენ გვაქვს CDH ამანათები ოსტატი 1 - რეპო სერვერი. დარწმუნდით, რომ ყველა სერვერს აქვს Cloudera Manager– ის რეპო ფაილი /etc/yum.repos.d/ თუ დაიცავთ ავტომატურ ინსტალაციას Cloudera მენეჯერი.
9. შედით Cloudera Manager– ში პორტის ქვემოთ მითითებული URL– ის გამოყენებით 7180 და გამოიყენეთ ნაგულისხმევი მომხმარებლის სახელი და პაროლი Cloudera მენეჯერი.
10. სისტემაში შესვლისთანავე მიესალმები მისასალმებელი გვერდი. აქ შეგიძლიათ იხილოთ გამოშვების ჩანაწერები, Cloudera Manager– ის ახალი მახასიათებლები.
Cloudera მენეჯერი მოგესალმებით
11. მიიღეთ ლიცენზია და გააგრძელეთ.
Cloudera მენეჯერის ლიცენზია
12. აირჩიეთ გამოცემა. საცდელი ვერსია შეირჩევა ნაგულისხმევად, ჩვენ შეგვიძლია გავაგრძელოთ ეს.
Cloudera მენეჯერის გამოცემა
13. ახლა მიჰყევით კლასტერის ინსტალაციის ნაბიჯებს. განაგრძეთ მისასალმებელი გვერდი.
Cloudera მენეჯერის კლასტერის დაყენება
14. დაასახელეთ მტევანი და განაგრძეთ, ჩვენ დავასახელეთ როგორც "ექსპედიცია”. არსებობს 2 ტიპის კლასტერი, რომლის განსაზღვრაც შეგიძლიათ. ჩვენ ვაგრძელებთ რეგულარულ კლასტერს.
რეგულარული კლასტერი: შედგება შენახვის კვანძებისგან, გამოთვლითი კვანძებისა და სხვა საჭირო სერვისებისგან.
გამოთვლა კლასტერი: შედგება მხოლოდ გამოთვლითი კვანძებისგან. გარე საცავი შეიძლება გამოყენებულ იქნას მონაცემების შესანახად.
Cloudera მენეჯერის კლასტერის სახელი
15. ჩვენ უკვე დავაყენეთ Cloudera მენეჯერის აგენტები ყველა სერვერზე. თქვენ შეგიძლიათ იპოვოთ ეს სერვერები "ამჟამად მართული მასპინძლები”. ავტომატური ინსტალაციისთვის, თქვენ უნდა შეიყვანოთ სერვერების FQDN ან IP "ახალი მასპინძლები”ვარიანტი და ძებნა. Cloudera მენეჯერი ავტომატურად აღმოაჩენს მასპინძლებს, რომლებზეც ჩვენ გვჭირდება CDH– ის დაყენება.
აქ დააწკაპუნეთ "ამჟამად მართული მასპინძლები”, შეარჩიეთ ყველა მასპინძელი ამორჩევით‘Მასპინძლის სახელი“და გააგრძელე.
ამჟამად მართული მასპინძლები
16. აირჩიეთ საცავი - გამოყენებით ამანათი არის რეკომენდებული გზა. დააწკაპუნეთ 'Მეტი არჩევანისაცავის კონფიგურაციისთვის.
აირჩიეთ საცავი
17. შეიყვანეთ ადგილობრივი საცავის URL როგორც ქვემოთ არის ნახსენები. წაშალეთ ყველა დარჩენილი საჯარო საცავი, რომელიც მიუთითებს ვებზე (Cloudera საცავები).
ამანათის საცავის პარამეტრები
Ეს არის CDH ადგილობრივი საცავის URL, რომელშიც ჩვენ გვაქვს ოსტატი 1.
http://104.211.95.96/cloudera-repos/cdh/
კლუდერა რეპო
18. საცავის URL შეყვანის შემდეგ, ეს გვერდი აჩვენებს მხოლოდ ხელმისაწვდომ ამანათებს. განაგრძეთ ეს ნაბიჯი.
აირჩიეთ საცავის პარამეტრები
19. ახლა ამანათების გადმოწერა, განაწილება, შეფუთვა და გააქტიურება ხდება ყველა არსებულ სერვერზე.
დააინსტალირეთ ამანათები
20. Ერთხელ CDH ამანათები გააქტიურებულია, შეამოწმეთ მტევანი. ეს ნაბიჯი გააკეთებს კლასტერის ჯანმრთელობის შემოწმებას. აქ ჩვენ გამოვტოვებთ და ვაგრძელებთ.
შეამოწმეთ კლასტერი
ნაბიჯი 5: კლასტერის კონფიგურაცია
21. აქ ჩვენ უნდა შევარჩიოთ მომსახურება უნდა იყოს დაინსტალირებული მტევანი. ზოგიერთი შეფუთული კომბინაცია ხელმისაწვდომი იქნება ნაგულისხმევად, ჩვენ ვაპირებთ საბაჟო მომსახურება.
კლასტერის კონფიგურაცია
22. ში საბაჟო მომსახურება, ჩვენ მხოლოდ ვამონტაჟებთ ძირითადი კომპონენტები (HDFS და ნართი) ამ დემო მიზნით.
დააინსტალირეთ სერვისები
23. მიანიჭეთ როლები სერვერს. ჩვენ შეგვიძლია დავაკონფიგურიროთ ჩვენი მოთხოვნების შესაბამისად. იპოვეთ ქვემოთ მოცემული დიაგრამა, რომელიც აღწერს რეკომენდებულს როლის განაწილება ძირითადი მცირე კლასტერისთვის 5 -დან 20 კვანძამდე მაღალი ხელმისაწვდომობით.
როლების მინიჭებარეკომენდებული როლების განაწილება
24. შეარჩიეთ მონაცემთა ბაზის ტიპი, მასპინძლის სახელი, DB სახელი, მომხმარებლის სახელი და პაროლი. რადგან ჩვენ ვიყენებთ ჩაშენებულ PostgreSQL- ს, ის ნაგულისხმევად შეირჩევა. შეამოწმეთ კავშირი, ის წარმატებული უნდა იყოს.
დაყენების მონაცემთა ბაზა
25. ამ გვერდზე ნაჩვენებია ნაგულისხმევი კონფიგურაციის პარამეტრები HDFS და ნართიმათ შორის მონაცემთა დირექტორიები. გადახედეთ კონფიგურაციის ყველა დეტალს და საჭიროების შემთხვევაში შეგიძლიათ შეიტანოთ ცვლილებები. შემდეგ განაგრძეთ ეს.
კონფიგურაციის პარამეტრების გადახედვა
26. ეს გვერდი აჩვენებს დეტალებს "პირველი გაშვება’ბრძანება. თქვენ შეგიძლიათ გააფართოვოთ ის, რომ ნახოთ გაშვებული ბრძანებების დეტალები. თუ ქსელში არის რაიმე ნებართვის პრობლემა კლასტერში, ეს ნაბიჯი ჩავარდება. ჩვეულებრივ, ეს ნაბიჯი წყვეტს კლასტერული შენობის შეუფერხებელ დამონტაჟებას.
პირველი გაშვებული ბრძანებებიგაშვებული ბრძანებები
27. ზემოთ მოყვანილი ნაბიჯის დასრულების შემდეგ დააწკაპუნეთ ‘დასრულებაინსტალაციის დასასრულებლად. ეს არის Cloudera Manager– ის დაფა CDH– ის დაყენების შემდეგ.
http://104.211.95.96:7180/cmf/home.
Cloudera მენეჯერის საინფორმაციო დაფა
დასკვნა
ჩვენ დავასრულეთ Cloudera მენეჯერი და CDH ინსტალაცია წარმატებით. იმ Cloudera მენეჯერის საინფორმაციო დაფა, შეგიძლიათ იპოვოთ წინასწარ განსაზღვრული სქემები, სადაც შეგიძლიათ თვალყური ადევნოთ კლასტერის პროცესორს, დისკის IO და ა. ჩვენ შეგვიძლია მთელი კლასტერის მართვა ამის გამოყენებით Cloudera მენეჯერი. ჩვენ ვნახავთ ყველა ადმინისტრაციულ ოპერაციას მომავალ სტატიებში.