Ülevaade:
Hadoop on platvorm, mis on peaaegu sünonüümiks Big andmed. See on põhimõtteliselt avatud lähtekoodiga raamistik, mis võimaldab salvestamise ja töötlemise rühmitatud andmete komplekti suuremahuliste. eelkõige, Hadoop arhitektuur on teada koosnevad neljast suurest moodulid, mis on HDFS (Hadoop Distributed Fkoos System), Hadoop Common, LÕNG ja MapReduce. Igaüks neist moodulitest on seatud täitma teatud ülesandeid, mis tulevad koos tervikuna täita andmete töötlemise nõuete. Üks olulisemaid aspekte tootmise edu on Hadoop arhitektuuri. See arhitektuur pakub mitmeid funktsioone, mis on vastutavad oma populaarsuse üle teiste raamistike nagu praegu. However, seal on ka mõned muud asjad, mida kaaluda edukaks rakendamiseks Hadoop. See tähendab, see ei ole ainult umbes võttes nõuetekohase ladustamise süsteemi dokumente või 24×7 töötab rakendusi, vaid ka kuidas see sulandub üldise arhitektuuri ja tööriistad ettevõtte.
Käesolev artikkel suuresti arutada Hadoop arhitektuuri üksikasjalikult koos eeliseid iga mooduli pakkumised. Me katta ka tootmise edu küsimusi.
Pärast on lihtne Hadoop arhitektuuri diagramm 2.0 versioone
Hadoop 2.0 architecture
pilt 1: Hadoop 2.0 architecture
HDFS Architecture
Nagu eespool juba, Hadoop HDFS kindlasti on üks olulisemaid komponente kogu raamistiku. On moodul mille ülesanne on pakkuda usaldusväärse, püsiv ja hajutatud säilitamise süsteemi mitmes sõlmed, mis esinevad Hadoop klastri.
Now, klastri tavaliselt koosneb mitmest sõlmed, mis on omavahel ühendatud, moodustades ühe täielik failisüsteemi. Kõik andmed, mida tuleb Säilitatavaid esimesel purustatud mitmeks väikesteks tükkideks tuntakse plokid. Need lahtrid on siis jaotatud ja salvestatud mitmes sõlmede klastri. See on viis, kuidas Hadoop failisüsteemi ehitatud ja see on teatud eelised, samuti.
Olgem on pilk teiste omaduste HDFS.
skaleeritav
Tänu juuresolekul hajusfailisüsteemi arhitektuuri, Hadoop kaardist ja vähendada funktsioonid töötavad nagu tuul. Neid funktsioone saab kergesti hukati väike alajaotused algandmeid, pakkudes seega tohutu mastaapsuse. See on ka eelis ettevõtetele, kui nad saavad lihtsalt lisada servereid lineaarselt, kui nende andmete näib kasvada.
paindlik
Teine väga kasulik aspekt HDFS on oma väga paindlik iseloom nii andmete säilitamine. Olles avatud lähtekoodiga, Hadoop võib kergesti käivitada kauba riistvara, mis säästab kulusid tohutult. Also, Hadoop failisüsteemi saab salvestada mingeid andmeid, kas see on struktureeritud, struktureerimata, vormindatud või isegi kodeeritud.
Hadoop isegi võimaldab struktureerimata andmeid olla väärtuslik organisatsioon ajal otsustusprotsessi, midagi, mis oli praktiliselt ennekuulmatu enne.
usaldusväärne
Hadoop failisüsteem on tõrketaluvuse, mis tähendab, et andmed salvestatakse HDFS on tiražeeritud vähemalt kaks muud kohad. Thus, juhul kui on kokkuvarisemise süsteemi või kaks, alati on kolmas süsteem, mis on koopia kõigist oma andmeid. Süsteem saab siis eraldada töökoormus selles kohas ja kõik saab normaalselt töötada.
Faili I / O
Efektiivsuse tahes failisüsteemi sõltub, kuidas ta täidab I / O operatsioone. in HDFS, andmed lisatakse luues uue faili ja kirjutada andmeid seal. Pärast seda, fail on suletud ja kirjalikud andmed ei saa kustutada või muuta enam. Kuid uued andmed saab lisatud, avades uuesti faili. Nii põhialuseks HDFS on "Üksik kirjutada ja mitu lugemis’ mudel.
Block paigutamine
in HDFS, fail on kombinatsioon mitu plokki. Lisamiseks uue ploki, NameNode annab ainulaadse block id ja lisada see fail. Pärast seda uue ploki ka korrata mitu DataNodes.
HDFS blokk paigutus poliitika on seadistatav, nii et kasutajad saavad proovida erinevaid alternatiive saada optimeeritud lahendusi. Algselt, HDFS blokk paigutus poliitika üritatakse vähendada kirjutada kulusid ja maksimeerida lugemiskiirust, kättesaadavus ja usaldusväärsus. Rakendada seda, kui uus plokk on lisatud failina, esimene koopia pannakse sama sõlme, kus kirjanik on olemas. Pärast seda, 2. ja 3. replica on paigutatud kaks erinevate sõlmede eraldi hammas. Nüüd ülejäänud kopeerivad juhuslikult paigutatud. Aga piirang on, et, üks sõlm ei saa hoida rohkem kui üks koopia ja üks hammas ei saa hoida rohkem kui kaks kopeerivad.
Pärast pilt näitab tüüpilist puhul replica praktikale hammas keskkond (nagu kirjeldatud eespool lõik)
replica paigutuse
IMAGE2: Näitab replica paigutamine kaks hammas keskkond
Hadoop Ühine / hadoop Core
Hadoop ühine koosneb ühise utiile toetada hadoop arhitektuuri. Need on põhimõtteliselt baasi API aidata teisi moodulid omavahel suhtlema. Samuti peetakse oluliseks osaks Hadoop arhitektuuri nagu HDFS, MapReduce ja lõnga. See annab võtmiseks peal oleva tuuma funktsioone, nagu failisüsteem, OS jms.
LÕNG infrastruktuuri
LÕNG, või "Yet Another Resource Negotiator ", on mooduli Hadoop mis on juhtimise eest vastutavate arvutuslikke vahendeid. Nagu, siis jaotab protsessoriga või mälu, alusel, millist ülesannet, mis on käepärast. Now, Lõng on peamiselt koosneb kahest osast - Resource Manager ja Node Manager.
- Resource Manager
Ressursihaldur, mida nimetatakse ka master, on üks esinemine klastri ja jookseb mitu teenused. See hoiab silma peal, kus töötaja asub ja haldab ka Resource Scheduler, mis annab vahendid.
- Node Manager
Sõlme Manager juhtub olema töötaja infrastruktuuri ja võib olla ka palju neist on Hadoop klastri. Kõik need Sõlme Juhid pakkuda vahendeid, et klastri. Selle ressursside maht mõõdetakse kujul mälu ja vcores (osakaal CPU südamikud). Allika Manager kasutab ressursse Node Manager, kui ta vajab, et käivitada programme.
Hadoop lõng on teatud väga kasulik aspekte, mis teevad temast olulise osa arhitektuuri. Need on üksikasjalikult kirjeldatud.
Multi-üüri-
Üks Hadoop lõng suurim kasu on, et see toetab dünaamilist ressursside juhtimine. Vaatamata jagada ressursse sama klastri, ta on võimeline töötab mitu mootorid ja töökoormus. And, nagu HDFS, Lõng on ka väga skaleeritav, mis pakub tohutu sõiduplaani võimeid, ükskõik, mida töökoormus võib olla.
jõulisus
Hadoop lõng pakub stabiilsus, mis võimaldab teil avada oma andmeid erinevaid tööriistu ja tehnoloogiaid, mis aitavad teil saada kõige paremini välja andmetöötlus. Selle ökosüsteem on ka setup et rahuldada erinevate arendajate ja ka organisatsioonid väikeste ja laiaulatuslike.
In fact, Hadoop praegu kaasas mitu tuntud projektid nagu taru, MapReduce, Zookeeper, HBase, HCatalog, ja palju muud. Also, Kuna turg Hadoop hoiab laieneb, uuemad vahendid lisatakse sellesse count iga päev.
Pärast on tüüpiline lõng arhitektuuri diagramm.
LÕNG arhitektuuri diagramm
Pilt3: LÕNG arhitektuuri diagramm
MapReduce Framework
MapReduce on öelnud, et süda Hadoop süsteemi. See on raamkava, mis võimaldab kirjalikult taotluse paralleelne töötlemine suurte andmestikke saadaval mitmes sadu või tuhandeid servereid Hadoop klastri.
Põhiidee selle töö kaardistamine ja vähendada ülesannete. Kaardiühikute funktsiooni vastutab filtreerimine ja sorteerimine andmete, samas Vähendada funktsiooni täidab teatud kokkuvõte toimingud. MapReduce liiga saabub koos oma õiglase osa olulisi aspekte, mis on abiks tootmise saavutamiseks edu, mis on
paindlikkus
MapReduce võib andmeid töödelda igat liiki, kas see on struktureeritud, semi-struktureeritud või struktureerimata. See on üks olulisemaid aspekte, mis teevad temast olulise osa kogu Hadoop arhitektuuri.
kättesaadavus
Laia keeled toetavad MapReduce, mis võimaldab arendajatel mugavalt töötada. In fact, MapReduce toetab Java, Python ja C , ja ka kõrge taseme keelte nagu Apache siga ja taru.
Scalability
Olles lahutamatu osa Hadoop arhitektuuri, MapReduce on täiesti projekteeritud nii, et see vastaks massiivne mastaapsuse taset pakutud HDFS. See tagab piiramatu andmetöötlus, kõik ühe täieliku platvormi.
Kuidas Hadoop komponendid tagavad tootmise edu?
Tootmise keskkond, mastaapsuse on üks peamisi kriteeriume äriedu. sest, kui taotlus ei ole mõõtkavas (mis töötab HDFS) tipptundidel, siis ei saa toetada klientide arvu tõus. Selle tulemusena ettevõtte kaotavad raha. So, alates arhitektuuri seisukohast on väga oluline, et oleks skaleeritav ladustamise ja töötlemise võimalusi, mis Hadoop võib anda oma hajusfailisüsteemi (HDFS).
Teine HDFS funktsioone, nagu paindlikkus toetada igat liiki andmeid; usaldusväärsus (tõrketaluvuse) korral süsteemi kokkuvarisemine lisab väärtust tootmise keskkonnas. Faili I / O ja plokk paigutus on ka tähtis, sest see toetab andmehaldus väga tõhusalt koondunud keskkonda. Seega saame järeldada, et tootmise edukuse Hadoop taotluse majorly sõltub HDFS arhitektuuri ise.
Tüüpilises klastri 4000 nodes, meil on ümber 65 miljonit failid ja 80 miljonit plokid. Iga plokk on lasknud 3 kopeerivad, nii et iga sõlm on 60,000 plokid. See on tüüpiline juhtum Yahoo andmehaldus. Nii et see annab piletihind mõte rühmitada keskkonna ja andmete säilitamise.
LÕNG arhitektuuri tagab tõhusa ressursside juhtimine, mis on tutvustatud Hadoop 2.0 architecture. See tagab õige ressursside juhtimine tootmise keskkond.
Peale komponentide, MapReduce programmeerimine aitab paralleelselt andmete töötlemise jagatud keskkonnas. Nii kiirem töötlemine on saavutatud tootmise süsteem, et toetada reaalse maailma nõudmisi.
Järeldus
On hästi teada, et Big andmed on seatud domineerivad tulemas korda andmetöötlus, ja Hadoop ökosüsteemi see on edukas praegu, see on ka arvatavasti eesrindlikult domeeni. Peaaegu kõik andmed põhinevad vahendid teevad oma tee koos Hadoop, et võidelda probleemidega peaks silmitsi lähitulevikus. Hadoop arhitektuur on ehitatud nii, et juhtida neid suuri andmemahtusid jagatud keskkonnas. Iga osa Hadoop platvorm on tehtud hakkama teatud liiki funktsioone. So, tervikuna see tagab tootmise edukuse bigdata taotluse. But we also need to remember that the associated bigdata technologies also play an important role in application deployment and its success in real life scenarios.
