Апацхе Скооп је алат који се користи за пренос података од / до Хадооп дистрибуирани систем датотека. Хадооп архитектура може обрађивати податке БИГ и чувајте га у ХДФС. Али ако желимо да користимо те податке онда морамо да користимо неки алат за увоз / извоз је ефикасно. Апацхе Скооп омогућава лак увоз и извоз података из структурираних података продавницама попут релационим базама података, предузећа складишта података, и НоСКЛ системи.
Апацхе Скооп је веома важно када размишљамо о коришћењу Хадооп за аналитику и података процессинг.Тхе две главне аспекте који су Скооп адреса
a) Учитавање највећи(производња) података у Хадооп.
б) Приступ групне податке са карте / смањити покренуте апликације на великим кластерима.
Раније смо користили за писање / користити скрипте за увоз / извоз података између различитих системс.Бут овај процес је неефикасан и не обезбеди податке конзистентност, тачност и друге критичне тачке.
Скооп користи право напред механизам за трансфер дата.Тхе цео скуп података је подељен на колутове и сваки кришка је карта само јоб.Нов свака карта-једини посао је одговоран за пренос једна кришка података-сет.
Као што смо дискутовали, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Ту је нус-продукт процесс.Ит Скооп увоза је Јава класа која се ухвати један ред увезеног табле.Тхис Јава класе користи сама Скооп дурнг увоза процесс.Тхе изворни код овог нус-производ Јава класе .
Након обраде увезене податке, може се извозити на било релационе базе података коришћењем Скооп. Скооп ће прочитати низ фајлова разграничене текстуалне из ХДФС (паралелно) и убаците их као нове редове
Циљна табле.Нов ови подаци су доступни за потрошња спољним апликацијама.
Скооп такође обезбеђује неке командне комуналије добити информације о датабаес на којој је воркинг.Тхе листа базе шема, табеле може се видети коришћењем Скооп цоммандс.Скооп такође пружа примитивну СКЛ извршење схелл.
Скооп операције као што је увоз,извоз,Код генерација итд могу бити цустомизед.Фор увоз, редова величине / стубови могу бити специфиед.Тхе раздвајање, побегне знакове за датотеку засновану заступање може бити промена, као и по рекуиремент.Тхе пакета / класа назив генерисаног кода се такође може прилагодити да испуни услов за пријаву.
Скооп конектори су још један важан део тоол.Цоннецторс су плугин компоненте изграђена на Скооп конекторе за проширење фрамеворк.Тхесе може се додати на било Скооп инсталације, а затим се подаци могу пренети између Хадооп и спољне продавница.
Скооп долази са подразумеваним конекторима за разне популарне базе података, као што су МиСКЛ, ПостгреСКЛ, Пророчанство, СКЛ Сервер и ДБ2.Скооп такође укључује генерички ЈДБЦ конектор који се може користити за повезивање на једној бази података доступан преко ЈДБЦ.
Да закључимо ову дискусију можемо рећи да Скооп може користити за пренос великих скупова података између Хадооп и спољне датасторес еффициентли.Беионд ово, Скооп такође нуди многе напредне функције као што су различите формате података,компресија,прилагођавање,рад са сл упита.
