Апацхе Спарк је дистрибуирани рачунарски оквир отвореног кода који је креиран да обезбеди брже рачунске резултате. То је рачунарски механизам у меморији, што значи да ће се подаци обрађивати у меморији.
Искра подржава различите АПИ -је за стриминг, обраду графикона, СКЛ, МЛЛиб. Такође подржава Јава, Питхон, Сцала и Р као жељене језике. Спарк се углавном инсталира у Хадооп кластери али можете и да инсталирате и конфигуришете искру у самосталном режиму.
У овом чланку ћемо видети како се инсталира Апацхе Спарк у Дебиан и Убунту-дистрибуције.
За инсталацију Апацхе Спарк у Убунту -у морате имати Јава и Сцала инсталиран на вашој машини. Већина модерних дистрибуција долази са подразумевано инсталираном Јавом и то можете проверити помоћу следеће наредбе.
$ јава -верзија.
Ако нема излаза, можете инсталирати Јава помоћу нашег чланка на како инсталирати Јаву на Убунту или једноставно покрените следеће команде за инсталирање Јаве на Убунту и Дебиан дистрибуцијама.
$ судо апт упдате. $ судо апт инсталл дефаулт-јре. $ јава -верзија.
Затим можете инсталирати Сцала из апт спремишта покретањем следећих команди да бисте потражили сцала и инсталирали је.
$ судо апт сеарцх сцала ⇒ Потражите пакет. $ судо апт инсталл сцала ⇒ Инсталирајте пакет.
Да бисте проверили инсталирање Сцала, покрените следећу команду.
$ сцала -верзија Сцала цоде руннер верзија 2.11.12-Ауторска права 2002-2017, ЛАМП/ЕПФЛ
Сада идите на званични Страница за преузимање Апацхе Спарк -а и преузмите најновију верзију (тј. 3.1.1) у време писања овог чланка. Алтернативно, можете користити вгет команда за преузимање датотеке директно на терминалу.
$ вгет https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz.
Сада отворите свој терминал и пређите на место где се налази ваша преузета датотека и покрените следећу команду да бисте издвојили Апацхе Спарк тар датотеку.
$ тар -квзф спарк-3.1.1-бин-хадооп2.7.тгз.
На крају, преместите извучено Искра именик у /opt именик.
$ судо мв спарк-3.1.1-бин-хадооп2.7 /опт /спарк.
Сада морате поставити неколико варијабли окружења у свој .профил датотеку пре покретања искре.
$ ецхо "екпорт СПАРК_ХОМЕ =/опт/спарк" >> ~/.профиле. $ ецхо "екпорт ПАТХ = $ ПАТХ:/опт/спарк/бин:/опт/спарк/сбин" >> ~/.профиле. $ ецхо "екпорт ПИСПАРК_ПИТХОН =/уср/бин/питхон3" >> ~/.профиле.
Да бисте били сигурни да су ове нове променљиве окружења доступне у љусци и доступне Апацхе Спарк -у, такође је обавезно покренути следећу команду да би се недавне промене ступиле на снагу.
$ соурце ~/.профиле.
Све бинарне датотеке повезане са искром за покретање и заустављање услуга налазе се под сбин фолдер.
$ лс -л /опт /искра.
Покрените следећу команду да бисте покренули Искра мастер сервице и славе сервице.
$ старт-мастер.сх. $ старт-воркерс.сх спарк: // лоцалхост: 7077.
Када се услуга покрене, идите у прегледач и откуцајте следећу страницу за приступ УРЛ -у. Са странице можете видети да је покренута моја мастер и славе услуга.
http://localhost: 8080/ ИЛИ. http://127.0.0.1:8080.
Такође можете проверити да ли искра-љуска ради добро покретањем искра-љуска команда.
$ спарк-схелл.
То је то за овај чланак. Ускоро ћемо вас ухватити са још једним занимљивим чланком.