The basic MapReduce programming explains the work flow details. But it does not cover the actual working details inside the MapReduce programming framework. In hoc articulo dictum est data per motum vocat ad facere in actu API MapReduce processus et architecturae. Volumus etiam de elit et technicae ad usum specialis necessitatibus earundem functioni.
MapReduce describere features proficiebat gradu inferiori est, et supplicium Details. In normalis MapReduce vestibulum, APIS tantum scire sufficit ad scribendum Latine et eorum usu. Details of MapReduce autem interioris sunt, oportet intelligi in actu, operatio et lucrum fiducia Details.
Sed discutiamus provectis in sequentibus.
Custom Genera (Data): Nam si user Mapper et Reducer, Hadoop MapReduce compage notitia semper typed. Quae data est per Mappers Reducers et reponuntur in ea Java.
- writable Interface: Interface est unus of plurrimi maximus est writable interfaces. Obiecta explicari possunt ad / files a vulgo et retiacula interface. Utitur hac data quoque Hadoop interface ut transmittere in forma serialized. Quam quidam ordo ad effectum writable interface infra sunt,
- genus Text(Reponit data Gloria)
- LongWritable
- FloatWritable
- IntWritable
- BooleanWritable
Consuetudo etiam per effectum notitia typus writable interface. Hadoop tradendae capax est consuetudo data genus (id, quod aptat vestra) quod implements interface writable.
Secundum autem quod est habere duos modos readFields et scribe in interface writable. Primus modus (readFields) initializes in notitia ex notitia obiecti in’ binarii flumine. Secundus modus (scribo) obiectum est binarius ad reficiendam flumina clamare. Maxime est contra ordinem totius processus legere et scribere et amnis idem binarius.
Listing1: Showing interface writable
publica interface writable {
irritum readFields(in DataInput);
scribe vacuum(de DataOutput);
}
Custom Genera (Key): In sectione praecedenti diximus de more ad applicationem speciei notitia requiritur notitia typus. Administrat ad partem pretii. Nunc etiam de consuetudine in key genus. In Hadoop MapReduce, Reducer clavem est processus ut in sorted. Ut mos est key ratio opus ad peragendam interface vocavit WritableComparable. Clavem oportet implement genera hashCode ().
Secundum ostendit WritableComparable interface. Repraesentat writable quod etiam sit compar.
Listing2: Showing WritableComparable interface
publica interface WritableComparable<T>
extendit writable, compar<T>
Quam ut Mos Genera: Iam disputavimus generis consuetudo valere potest coctum Hadoop amet. Sed dicemus et de mechanism, quod possit intelligere Hadoop. Et quod JobConf (quae definit Iob) quod duobus modis dicitur, setOutputKeyClass () et setOutputValueClass () et sunt eae imperare amet pretium notitia typus. Si Mapper producit diversa genera, quae non congruunt igitur JobConf de Reducer setMapOutputKeyClass () et setMapOutputValueClass () ratio potest ordinare de Reducer ut malesuada input type.
ocius Performance: Default est a frenum tardius sorting processus est clavem ad lego typus primum ergo a flumine parse in flumine byte (using readFields() methodo) et tandem vocant, compareTo () Key est modo genus. Et hic unicus accessus sit per ordinem clavium inter reprehendo byte torrentes absque data copia parsing ad omnes. Ad peragendam haec velocius comparatione machinae, WritableComparator certa notitia comparatur ad genus et species extendi potest. Secundum genus est, declarationem,.
Listing3: Showing WritableComparator classis
public WritableComparator
extendit Object
effectum RawComparator
Et data est illi clavis genera consuetudinem pati uti altius notitia in opus Hadoop compage. In Hadoop practica application notitia type consuetudo servata est unus of plurrimi maximus. Sic uti hoc pluma mos sino writable genera et providet effectus signanter emendationem.
Input Formats: The InputFormat est unus of plurrimi maximus definire interfaces quod input de nominatione Job MapReduce. Hadoop diversa genera, InputFormat interpretationi varias input data. Et maxime in defectu est, TextInputFormat lineae quae a text lima legere. Similarly SequenceFileInputFormat est usus in forma legere file binarii.
Ad munus praecipuum pertinet InputFormat legit notitia input file. Exsequendam consuetudinem InputFormat etiam necesse est ut per application. pro defectu TextInputFormat byte turpis sit amet lacus sit amet felis et linea terminata materia n’ character. Nam consuetudo exsequendam, separator in aliquod genus et InputFormat erit igitur parse.
Altera officium InputFormat ad scindendum et input file (Data Source) opera quae supersunt in input ad map. Haec fragmenta / scindit exempla sunt encapsulated in interface InputSplit. Quod aliquid potest esse principium quasi input data database mensam, vel aliqua alia xml file file. Split, et sic fieri oportet fundatur in application. Primum est quod operatio debet esse ieiunium et vilia opuscula fabricantur Discidium.
Post digeris in files, operatio legitur ab homine qui scindit ipsum. Et RecordReader data est pro lectio de findit. The RecordReader satis potentem esse ad tractandum, quod non semper uniformiter in fine lineae terminus concinne. The RecordReader legit semper usque ad finem cognitionis transit si linea finem scissura. Hoc pluma est ne ipsa deest, quam de libris, ut transirent fines InputSplit.
- Custom InputFormat: In basic applications InputFormat est directe,. Sed consuetudo est optime legitur subclass FileInputFormat. Abstractum, genus hoc providet functionalities manipulare application lima, ut per id,. Nam consuetudo parsing, the getRecordReader () Exemplum est ratio redit Lawenburgicus RecordReader. haec RecordReader est pro lectio et parsing.
- alternate Source (Data): Et ponit duo InputFormat, Prima et secunda propositio Mapper notitia data ad fontem. Potissimum implementations innituntur FileInputFormat, ubi data est, localis source file systema HDFS (Hadoop Distributed File System).Sed aliis generibus fontes data, consuetudo sit turpis et InputFormat. For example, NoSQL database ut suggero HBase TableInputFormat database tabulis data ex lectione ad. Et unde data est aliquid quod potest esse, potest tractari solet exsecutionem.
Output Formats: The OutputFormat author scribere operatione. Ut iam dictum est, quod InputFormat et RecordReader interfaces data sunt responsible pro in lectione MapReduce Program. Post processus notitia, et scribe in operatione permanens repono est tractanda OutputFormat et RecordWriter interfaces. Default format est TextOutputFormat qui scripsit in key / Value ad paria, ut cordis output lima. Altera forma est output SequenceFileOutputFormat et habet in notitia formae binariae. Omnes hi usus scribo () et readFields () ratio writable genus.
The OutputFormat turpis sit amet scribere notitia in opus ut a consuetudinem format. The FileOutputFormat Aliquam id extendatur necesse est abstrahi. The JobConf.setOutputFormat () forma mutari debet uti mos diversus modus.
Data Partitioning: Partitioning definiri potest a processu quod erit medium, quod facit ut quae Reducer key / vim par. Utrique destinatum Mapper debet determinare de Reducer output eius key / valorem paribus. Primum est quod sicut Mapper nullo habito respectu ad aliquam amet, ad destinatum est in partitione,. Ad quam rationem inter se communicare non Mappers partitione Ratio.
The Partitioner interface est determinare finis ad Hadoop ratio partition pro key / vim par. Ut par numerus of partitions in a officium reducere numerum. A numerus of partitions in a officium incipit determinare MapReduce compage.
Secundum est de signature interface Partitioner.
Listing 4: Showing interface Partitioner
publica interface Partitioner<K2, V2>
extendit JobConfigurable
Conclusio: Discussion: In hoc enim maxime Hadoop operuit vultum MapReduce. Aliquam features quae sunt utilia ad finem. In practica applications MapReduce, APIS, quantum usum non habet de defectu exsequendam. Rather, mos vultus (quae fundantur aperto APIs) habere signanter ictum. Haec Customizations fieri potest facile semel es patet ex conceptibus. Spera intelligentia dictum iuvabit et exsecutionem provectis.
