Sqoop Apache είναι ένα εργαλείο που χρησιμοποιείται για τη μεταφορά δεδομένων από / προς το Hadoop κατανεμημένο σύστημα αρχείων. Hadoop αρχιτεκτονική μπορεί να επεξεργαστεί BIG δεδομένα και να το αποθηκεύσετε σε ΚΑΕ. Αλλά αν θέλουμε να χρησιμοποιήσουμε αυτά τα δεδομένα τότε θα πρέπει να χρησιμοποιήσετε κάποιο εργαλείο για την εισαγωγή / εξαγωγή είναι αποτελεσματικά. Apache Sqoop επιτρέπει την εύκολη εισαγωγή και εξαγωγή δεδομένων από δομημένες αποθηκεύει δεδομένα, όπως σχεσιακές βάσεις δεδομένων, επιχείρηση αποθήκες δεδομένων, NoSQL και συστήματα.
Apache Sqoop είναι πολύ σημαντικό όταν σκεφτόμαστε σχετικά με τη χρήση Hadoop για analytics και τα δεδομένα processing.The δύο κύριες πτυχές που είναι η διεύθυνση Sqoop
ένα) Φόρτωση χύμα(παραγωγή) δεδομένων σε Hadoop.
β) Πρόσβαση σε δεδομένα από χύμα χάρτη / μείωση εφαρμογές που τρέχουν σε μεγάλες ομάδες.
Νωρίτερα χρησιμοποιείται για να γράψει / χρήση scripts για την εισαγωγή / εξαγωγή δεδομένων μεταξύ διαφορετικών systems.But αυτή η διαδικασία είναι αναποτελεσματική και δεν εξασφαλίζει τη συνοχή των δεδομένων, ακρίβεια και άλλα κρίσιμα σημεία.
Sqoop χρησιμοποιεί κατ 'ευθείαν προς τα εμπρός μηχανισμό για την μεταφορά data.The ολόκληρο σύνολο δεδομένων χωρίζονται σε φέτες και κάθε φέτα είναι ένας χάρτης μόνο job.Now κάθε χάρτη, μόνο δουλειά είναι υπεύθυνη για τη μεταφορά ένα κομμάτι του συνόλου δεδομένων.
Όπως έχουμε συζητήσει, Sqoop can be used to import data from a RDBMS into HDFS.The input to the import process is a database table and Sqoop reads table row by row into HDFS.The input process is performed in parallel so the output will be multiple files.These output files can be text files or other type of files containing serialized data.
Υπάρχει ένα υποπροϊόν της process.It εισαγωγής Sqoop είναι μια κλάση Java που μπορεί να ενσωματώσει μια σειρά από εισαγόμενου table.This κατηγορίας Java χρησιμοποιείται από το ίδιο το Sqoop durng εισαγωγή διαδικασία.Σκοπός πηγαίο κώδικα αυτού του προϊόντος-Java τάξη .
Μετά την επεξεργασία των εισαγόμενων δεδομένων, μπορεί να εξαχθεί σε οποιαδήποτε σχεσιακή βάση δεδομένων με τη χρήση Sqoop. Sqoop θα διαβάσει μια σειρά από αρχεία κειμένου οριοθετημένου από ΚΑΕ (παράλληλα) και να εισάγετε νέες σειρές ως προς το
στόχου table.Now αυτά τα δεδομένα είναι διαθέσιμα για την μέση κατανάλωση από τις εξωτερικές εφαρμογές.
Sqoop παρέχει επίσης ορισμένες επιχειρήσεις κοινής ωφελείας εντολή για να πάρει πληροφορίες σχετικά με τις databaes για την οποία είναι working.The λίστα των σχημάτων βάσης δεδομένων, πίνακες μπορούν επίσης να προβληθούν με τη χρήση Sqoop commands.Sqoop παρέχει επίσης πρωτόγονη εκτέλεσης του φλοιού SQL.
Λειτουργίες όπως η εισαγωγή Sqoop,εξαγωγή,Κωδικός κλπ γενιάς μπορεί να είναι customized.For εισαγωγής, κυμαίνεται σειρά / στήλες μπορεί να είναι specified.The οριοθέτες, ξεφύγουν χαρακτήρων για το αρχείο αναπαράσταση βασισμένη μπορεί επίσης να είναι οι αλλαγές, σύμφωνα με τον requirement.The πακέτο / το όνομα της κλάσης του κώδικα που παράγεται μπορεί επίσης να προσαρμοστεί για να ανταποκριθεί στην απαίτηση εφαρμογής.
Sqoop σύνδεσμοι είναι ένα άλλο σημαντικό μέρος των tool.Connectors είναι συστατικά plugin χτισμένο σε υποδοχές επέκτασης framework.These Sqoop μπορεί να προστεθεί σε οποιαδήποτε εγκατάσταση Sqoop και στη συνέχεια τα δεδομένα μπορούν να μεταφερθούν μεταξύ Hadoop και εξωτερική αποθήκη.
Sqoop έρχεται με υποδοχές προεπιλογή για διάφορους δημοφιλείς βάσεις δεδομένων όπως MySQL, PostgreSQL, Μαντείο, SQL Server και DB2.Sqoop περιλαμβάνει επίσης μια γενική σύνδεση JDBC που μπορεί να χρησιμοποιηθεί για να συνδεθείτε σε οποιαδήποτε βάση δεδομένων προσβάσιμη μέσω JDBC.
Για να ολοκληρώσω αυτή τη συζήτηση μπορούμε να πούμε ότι Sqoop μπορεί να χρησιμοποιηθεί για τη μεταφορά μεγάλων συνόλων δεδομένων μεταξύ Hadoop και εξωτερικών datastores efficiently.Beyond αυτό, Sqoop προσφέρει επίσης πολλά προηγμένα χαρακτηριστικά, όπως διαφορετικές μορφές δεδομένων,συμπίεση,παραμετροποίηση,σε συνεργασία με τα ερωτήματα κλπ..
