Orokorra:
Gaur egungo teknologia paisaia, big datuak eta estatistikak bi arlo garrantzitsuena non jendeak interes handia hartzen ari dira. trakzio Honen arrazoia begi-bistakoa da, – enpresen negozioaren onura lortzean horiek big datuak eta BI aplikazio daudelarik. Hadoop errekako teknologia nagusia bihurtu da, beraz, bere estaldura eta eztabaida halaber tech media haratago hedatzen ari da. Baina, zer esan dugun da – jendeak oraindik aurkitu benetako kontzeptuak zaila da ulertzea, eta askotan egin Hadoop eta erlazionatutako beste teknologia buruzko ideia vague batzuk.
In this article, Gure ahalegin zintzoa da Hadoop funtsezko terminoak azaltzeko modu oso sinplean, beraz, ikusleek tekniko eta ez-tekniko dela ulertu ahal.
Hadoop eco-sistema - Zer bide egiten?
Hadoop kudeatutako oso indartsua kode irekiko plataforma bat da Apache Fundazioa. Hadoop plataforma Java teknologia gainean eraiki eta datu heterogeneoen bolumen handi prozesatzeko banatzen taldekatuta ingurune batean gai. Bere eskalatzea gaitasuna egiten informatika banatzen fit perfektua.
Hadoop ekosistema Hadoop core osagai eta bestelako lotutako tresnen osatzen. core osagai batean, Hadoop Distributed File System (HDFS) eta MapReduce programazio eredua bi kontzeptu garrantzitsuenak dira. elkartuak Tresna artean, SQL for Hive, dataflow for Pig, zerbitzuak kudeatzeko abar Zookeeper garrantzitsuak dira. Xehetasunak kontzeptuak azaldu beharko dugu.
Hadoop ekosistema
Irudi1: Hadoop eco-sistema
Zergatik funtsezko terminoak jakin behar duzu?
Dagoeneko eztabaidatu dugu Hadoop hori oso ezaguna den gaia da gaur egun, eta denek horri buruz hitz egitea, knowingly edo unknowingly. Beraz, arazoa da- Zerbait baduzu eztabaidatzen edo zerbait entzuten dira, baina ez dakiela zer da zehazki baliabide, orduan ez duzu puntu konektatu edo digeritzeko gai izan. Arazoa agerikoagoa da, herriak beste domeinu batetik dira, enpresa pertsona bezala, marketing guys, goiko kudeaketa etc. Delako pertsona horiek behar ez badakizu 'Nola egiten du lan Hadoop?‘, baizik eta gehiago interesatzen jakin dira 'enpresa onura nola ekarri ahal izango da '. enpresa onura lortzea, Hadoop terminoak ulertzeko pixka bat, oso geruza guztietan zehar garrantzitsuak dira. Baina, aldi berean,, baldintzapean egongo modu erraz batean azaldu behar jargons konplexu gabe, irakurleek eroso egiteko.
Dezagun ulertzeko funtsezko terminoak
Atal honetan Hadoop desberdinak terminoak eta bere eko-sistema aztertuko dugu, Azalpen batzuk. ulermena Argiago, bi kategoria zabala egingo dugu, bat da base modulua eta bestea da osagarriak software pakete eta tresnak zein banaka edo Hadoop gainean instalatu daiteke. Hadoop erakunde horiek guztiak aipatzen.
First, eta terminoak zein base moduluaren pean dator begirada bat izan digu.
- Apache Hadoop: Apache Hadoop open-source datu bolumen handi prozesatzeko ingurune multzoek bat egiteko esparru bat da. MapReduce programazio sinplea da fidagarria eredua erabiltzen ditu, eskalagarriak eta banatuak informatika. biltegia eta konputazio bai esparru honetan banatuko dira.
- Hadoop komunak: Izenak dioen bezala, utilitateak komunak dauzka da Hadoop modulu ezberdinak onartzen. Funtsean tresna komunak eta utilitateak liburutegia. Hadoop ohikoa da, batez ere garatzaileek erabilitako aplikazioak garatzeko garaian.
- HDFS: HDFS (Hadoop Distributed File System) banatuko fitxategi sistema bat da balorea hardware gainditzen dituen. Oso azkar eskalatzen, eta throughput altua eskaintzen. Datu blokeak erreplika eta gordetzen diren bide banatu batean ingurune multzoek batean.
- MapReduce: MapReduce programazio-datuen kopuruak handiak prozesatzeko paralelo eredu bat ingurune banatzen da. MapReduce programa bi osagai ditu, Mapa da bat () metodoa, bertan iragazketa eta sailkatzeko burutzen. Bestea da Murriztu () parte, irteera laburpena egiteko Map parte diseinatu.
- Hala ere, beste baliabide Negoziatzaile (Yarn): Funtsean da baliabide kudeatzaile bat Hadoop eskuragarri 2. Yarn rola da informatika baliabideak kudeatzeko eta antolatzeko ingurune multzoek batean.
Now, utzi du Hadoop erlazionatutako beste termino egiaztatu gurekin
- HBase: HBase iturburu irekiko da, eskalagarria, banatu eta ez-base erlazionalak. Da Java idatzitako eta Google-en oinarrituta Big Table. Azpiko biltegiratze fitxategi sistema HDFS da.
- Hive: Hive datuak biltegi software da, horrek irakurketa onartzen, idazten eta banatutako biltegiratze sistema batean gordetako datuen bolumenaren handiak kudeatzeko. SQL eskaintzen HiveQL bezala ezagutzen kontsulta hizkuntza bezalakoa da (HQL), multzoaren du neurketako. Hive HDFS biltegiratze eta beste fitxategi bateragarria sistemen Amazon S3 abar bezalako onartzen.
- Apache Pig: Pig handi bat datu multzo analisirako maila handiko plataforma bat da. Pig gidoiak idazteko hizkuntzaren dira Pig Latin bezala ezagutzen. funtsean, azpiko MapReduce programak Abstraktuak eta egiten da garatzaileei MapReduce eredua lan errazago benetako kodea idatzi gabe.
- Apache Spark: Spark (source open) cluster computing esparru bat eta, oro har, Kalkulu motorra Hadoop datuetan da (eskala handiko datu-ezarri). ia egiten du 100 aldiz azkarrago aldean memorian MapReduce. And, diskoan, ia da 10 aldiz azkarragoa. Txinparta daitezkeen inguruneak / stand-alone modua bezalako moduan exekutatzen, Hadoop on, on EC2 etc. datuak sartu ahal izango da HDFS from, HBase, Hive edo beste edozein Hadoop datu-iturburua.
- Sqoop: Sqoop komando lerroko tresna bat RDBMS eta Hadoop datu baseak artean datuak transferitzeko da. Batez ere, datu-base erlazional eta ez-erlazional arteko inportazio / esportazio datuak erabiliko. The name 'Sqoop’ hau da, beste bi termino 'zati hasierako eta azken konbinatuz osatutakosql+Hadoop '.
- Oozie: Oozie funtsean Hadoop lan-fluxua motor bat. It ordutegiak lan fluxuen Hadoop lanpostu kudeatu.
- ZooKeeper: Apache ZooKeeper kode irekiko plataforma bat da, horrek errendimendu handiko koordinazio zerbitzua aplikazio Hadoop banatzen xedatzen. zerbitzu zentralizatu bat konfigurazio informazioa mantentzeaz da, izendatzeko erregistroan, banatuko sinkronizazioa eta talde zerbitzuak.
- flume: Apache Flume banatutako zerbitzu bat da, batez ere datu bilketa egiteko erabiltzen, agregazioa eta mugimendua. oso modu eraginkorrean lan egiten du egunkaria eta gertaera datu-kopuru handi batekin It.
- Hue: Hue da, funtsean, web Hadoop datuak aztertzeko interfaze bat. Kode irekiko proiektu bat da, onartzen Hadoop eta bere eko-sistema. Bere helburu nagusia da erabiltzaileak esperientzia hobea eskaintzeko. arrastatu eta jaregin instalazio eta editoreak ematen du Txinparta for, Hive eta HBase etc.
- Mahout: Mahut eskalagarria makina ikaskuntza eta datu-meatzaritza aplikazioak bizkor eraikitzeko kode irekiko softwarea da.
- Ambari: Ambari da, funtsean, web oinarritutako jarraipen eta Hadoop klusterrak kudeatzeko tresna bat. ekosistema-zerbitzuak eta tresnak HDFS bezalako laguntza ere sartzen da, MapReduce, HBase, ZooKeeper, Pig, Sqoop etc. Bere hiru funtzionalitate nagusiak hornidurak dira, kudeatzeko eta Hadoop klusterrak jarraipen.
Hadoop ekosistema bezala etengabe eboluzionatzen, software berria, zerbitzuak eta tresnak ere sortzen ari dira. Hori dela eta, han terminoak eta jargons berriaren datuak big munduan ere izango da. watch itxi bat mantendu behar dugu eta denboran horiek ulertzen.
Ondorioa
Artikulu honetan gako garrantzitsuenetako terminoak identifikatzea Hadoop ekosistema saiatu gara. Izan ere eztabaidatu dugu ekosistema buruz pixka bat eta zergatik baldintzak jakin behar dugu. Hadoop errekako teknologia nagusia bihurtu da, beraz, jendea gehiago parte bertan sartzea. So, denbora eskubidea oinarrizko zenbait kontzeptu eta Hadoop munduan erabiltzen diren terminoetan ulertu behar da. etorkizunean, han izango kontzeptuak eta terminoak eskuragarri berri asko, eta geure horren arabera eguneratu behar dugu.
