Μεγάλα δεδομένα ως υπηρεσία,,en,Θα μιλήσω για το μοντέλο υπηρεσιών που ακολουθείται στον τομέα των μεγάλων τεχνολογιών δεδομένων,,en,Ακολουθεί μια περιγραφή για ορισμένα γνωστά μοντέλα υπηρεσιών για το Big Data ως υπηρεσία,,en,Τα clusters του Rackspace Hadoop θα μπορούσαν να τρέξουν τον Hadoop σε αποκλειστικούς διακομιστές που διαχειρίζονται το Rackspace,,en,δημόσιο σύννεφο ή ιδιωτικό νέφος,,en,Το OneMetal για σύννεφα μεγάλα δεδομένα παρέχεται από το Rackspace για Apache Spark και Hadoop,,en,Προσφέρει ένα,,en,πλήρη διαχείριση,,en,γυμνή μεταλλική πλατφόρμα για επεξεργασία μέσα στην μνήμη,,en,Το Rackspace εξαλείφει τα προβλήματα με τη διαχείριση και τη διατήρηση μεγάλων δεδομένων με μη αυτόματο τρόπο,,en,Έρχεται με τα ακόλουθα χαρακτηριστικά,,en,Μειώνει την επιβάρυνση λειτουργίας παρέχοντας φανατική υποστήριξη 24x7x365,,en,Παρέχει πλήρεις πλατφόρμες δεδομένων Hortonworks,,en,πρόσβαση στο σύνολο εργαλείων,,en,συμπεριλαμβανομένων των χοίρων,,en,και Hcatalog,,en,Διαθέτει ευέλικτο σχεδιασμό δικτύου με παραδοσιακή δικτύωση έως και 10GB,,en – How does it work?
Επισκόπηση: In today’s technology world, software as a service (SaaS) is a common model. The service if offered to the subscribers as per need basis. Big data is also following the service model. In this article, I will talk about the service model followed in big data technology domain.
Here is a description for some well-known service models for Big Data as a service
Rackspace:
Rackspace Hadoop clusters could run Hadoop on Rackspace managed dedicated servers, public cloud or private cloud.
OneMetal for cloud big data is provided by Rackspace for Apache Spark and Hadoop. It offers a fully managed bare-metal platform for in-memory processing.
Rackspace eliminates the issues with managing and maintaining big data manually. It comes with the following features
- It reduces the operation burden by providing 24x7x365 fanatical support.
- Provides full Hortonworks Data Platforms (HDP) toolset access, including Pig, Hive, HBase, Sqoop, Flume, and Hcatalog.
- It has a flexible network design with traditional networking up to 10GB.
Προχωρώντας σε ιδιωτικά σύννεφα έρχεται με δημόσια δύναμη σύννεφων και αποτελεσματικότητα και ασφάλεια και έλεγχο των ιδιωτικών σύννεφων,,en,Το κύριο μειονέκτημα της χρήσης ιδιωτικών σύννεφων είναι ότι είναι δύσκολο να διαχειριστεί κανείς και να χρειαστεί ειδικοί για αναβάθμιση,,en,patch και να παρακολουθεί ένα περιβάλλον σύννεφο,,en,Το Rackspace προσφέρει εξαιρετική υποστήριξη σε αυτή την περίπτωση και δεν χρειάζεται να ανησυχείτε για τη διαχείριση του cloud,,en,Joyent,,en,Με βάση τον Apache Hadoop,,en,Το Joyent είναι ένα περιβάλλον που βασίζεται στο σύννεφο για μεγάλα έργα δεδομένων,,en,Αυτή η λύση είναι κατασκευασμένη με πλατφόρμα δεδομένων Hortonworks,,en,Πρόκειται για υποδομή-υποδομή υψηλής απόδοσης για τη σημερινή ανάγκη κινητών εφαρμογών και web σε πραγματικό χρόνο,,en,Επιτρέπει τη λειτουργία της επιχειρηματικής κλάσης Hadoop για το υψηλής απόδοσης σύννεφο Joyent,,en,Τα παρακάτω πλεονεκτήματα θα μπορούσαν να αναγραφούν τώρα,,en. The major disadvantage of using private clouds is that it’s difficult to manage and need experts to upgrade, patch and monitor a cloud environment. Rackspace provides an excellent support in this case and there is no need to worry about cloud management.
Joyent:
Based on Apache Hadoop, Joyent is a cloud based hosting environment for big data projects. This solution is built using Hortonworks Data Platform (HDP).
It is a high-performance container-native infrastructure for today’s need of mobile applications and real-time web. It allows running of enterprise-class Hadoop on the high performance Joyent cloud.
The following advantages could be listed now:
- Τα δύο τρίτα του κόστους υποδομής θα μπορούσαν να μειωθούν με λύσεις που παρείχε η Joyent με τον ίδιο χρόνο απόκρισης,,en,x ταχύτερος χρόνος απόκρισης εισόδου / εξόδου δίσκου από clusters Hadoop στο Joyent Cloud,,en,Επιταχύνει τους χρόνους απόκρισης της κατανεμημένης και της παράλληλης επεξεργασίας,,en,Επίσης, βελτιώνει την κλιμάκωση των συμπλεγμάτων Hadoop που εκτελούν εντατική εφαρμογή ανάλυσης δεδομένων,,en,Οι επιστήμονες δεδομένων αποκτούν ταχύτερα αποτελέσματα με καλύτερο χρόνο απόκρισης,,en,Οι εφαρμογές Big Data θεωρούνται ακριβές και δύσκολο να χρησιμοποιηθούν,,en,Ο Joyent στοχεύει στην αλλαγή αυτού, παρέχοντας φθηνότερες και ταχύτερες λύσεις,,en,Το Joyent παρέχει δημόσια και υβριδική υποδομή cloud για εφαρμογές ιστού και κινητής σε πραγματικό χρόνο,,en,Οι πελάτες της περιλαμβάνουν το LinkedIn,,en,μεγαλώνει,,da,Qubole,,en,Για έργα Big Data,,en.
- 3x faster disk I/O response time by Hadoop clusters on Joyent Cloud.
- It accelerates the response times of distributed and parallel processing.
- It also improves the scaling of Hadoop clusters executing intensive data analytics application.
- Data scientists are getting faster results with better response time.
Generally, Big Data applications are considered expensive and difficult to use. Joyent is targeting towards changing this by providing a cheaper and faster solutions
Joyent provides public and hybrid cloud infrastructure for real-time web and mobile applications. Its clients include LinkedIn, Voxer, etc.
Qubole:
For Big Data projects, ένα σύμπλεγμα Hadoop παρέχεται από το Qubole με ενσωματωμένους συνδετήρες δεδομένων και γραφικό επεξεργαστή,,en,Επιτρέπει τη χρήση ποικίλων βάσεων δεδομένων όπως η MySQL,,en,Oracle και ορίζει το cluster Hadoop στον αυτόματο πιλότο,,en,Παρέχει ένα πρόγραμμα επεξεργασίας ερωτημάτων για το Hive,,en,Χοίροι και MapReduce,,en,Παρέχει τα πάντα ως υπηρεσία, δηλ,,en,επεξεργασία ερωτημάτων για την κυψέλη,,en,έναν αξιολογητή έκφρασης,,en,πίνακα ελέγχου χρήσης,,en,ETL και κατασκευαστές αγωγών δεδομένων,,en,Τα χαρακτηριστικά του παρατίθενται παρακάτω,,en,Λειτουργεί πιο γρήγορα από το Amazon EMR,,en,Εύχρηστο GUI με ενσωματωμένες υποδοχές και απρόσκοπτη υποδομή ελαστικού νέφους,,en,Η βελτιστοποίηση της κατανομής πόρων και της διαχείρισης γίνεται από τον κινητήρα hadoop QDS χρησιμοποιώντας δαίμονες,,en,Παρέχει προηγμένο κινητήρα Hadoop για καλύτερη απόδοση,,en,Χρησιμοποιώντας τεχνικές όπως η προηγμένη προσωρινή αποθήκευση και επιτάχυνση ερωτήματος,,en. Enables to utilize variety of databases like MySQL, MongoDB, Oracle and sets Hadoop cluster on auto-pilot. It provides a query editor for Hive, Pig and MapReduce.
It provides everything-as-a-service i.e.
- query editor for Hive, Pig and MapReduce
- an expression evaluator
- utilization dashboard
- ETL and data pipeline builders
Its features are listed below:
- Runs faster than Amazon EMR
- Easy to use GUI with built-in connectors and seamless elastic cloud infrastructure.
- Optimization of resource allocation and management is done by QDS hadoop engine by using daemons. It provides an advanced Hadoop engine for better performance.
Using techniques like advanced caching and query acceleration, Το Qubole έχει επιδείξει ταχύτητες ερωτήσεων έως και 5 φορές ταχύτερα σε σύγκριση με το hadoop με βάση το σύννεφο,,en,Για ταχύτερα ερωτήματα,,en,Το I / O είναι βελτιστοποιημένο για αποθήκευση S3,,en,Το S3 είναι ασφαλές και αξιόπιστο,,en,Η Qubole Data Service προσφέρει 5 φορές ταχύτερη εκτέλεση έναντι των δεδομένων στο S3,,en,Δεν χρειάζεται να πληρώσετε για τα αχρησιμοποίητα χαρακτηριστικά και την εφαρμογή,,en,Η ενσωμάτωση στο Cloud, δηλ,,en,Η υπηρεσία δεδομένων Qubole δεν απαιτεί αλλαγές στην τρέχουσα υποδομή σας, δηλ,,en,δίνει ευελιξία στην εργασία με οποιαδήποτε πλατφόρμα,,en,Οι υποδοχές QDS υποστηρίζουν την εισαγωγή και εξαγωγή των βάσεων δεδομένων cloud MongoDB,,en,PostgresSQL και πόρους όπως το Google Analytics,,en,Διαχείριση κύκλων ζωής συμπλέγματος με υπηρεσία δεδομένων Qubole για την παροχή συμπλεγμάτων σε λεπτά,,en,κλιμακώνοντάς το με ζήτηση και τρέχοντας το σε περιβάλλον για εύκολη διαχείριση της αξιολόγησης Big Data,,en,ΕλαστικόReduce χάρτη,,en,Amazon Elastic MapReduce,,en,EMR,,en.
- For faster queries, I/O is optimized for S3 storage. S3 is secure and reliable. Qubole Data Service offers 5x faster execution against data in S3.
- No need to pay for unused features and application.
- Cloud Integration i.e. Qubole data service doesn’t require changes to be done to your current infrastructure i.e. it gives flexibility to work with any platform. QDS connectors supports import and export of cloud databases MongoDB, Μαντείο, PostgresSQL and resources like Google Analytics.
- Cluster Life Cycle Management with Qubole Data Service for provisioning clusters in minutes, scaling it with demand and running it in environment for easy management of Big Data assessment.
Elastic MapReduce:
Amazon Elastic MapReduce (EMR) παρέχει ένα διαχειριζόμενο πλαίσιο Hadoop για την απλούστευση της επεξεργασίας μεγάλων δεδομένων,,en,Είναι εύκολο,,en,και οικονομικά αποδοτική για τη διανομή και επεξεργασία μεγάλου όγκου δεδομένων,,en,Άλλα κατανεμημένα πλαίσια όπως το Spark,,en,Το Presto μπορεί επίσης να τρέξει στο Amazon EMR για να αλληλεπιδράσει με δεδομένα σε Amazon S3 και DynamoDB,,en,Το EMR χειρίζεται αυτές τις περιπτώσεις χρήσης με αξιοπιστία,,en,Ευρετηριασμός ιστού,,en,Επιστημονική προσομοίωση,,en,Αποθήκευση δεδομένων,,en,Ανάλυση αρχείου καταγραφής,,en,Βιοπληροφορική,,en,Οι πελάτες της περιλαμβάνουν το Yelp,,en,Nokia,,en,εικόνες getty,,en,reddit,,en,Ορισμένες από τις λειτουργίες του παρατίθενται παρακάτω,,en,Ευέλικτη χρήση με πρόσβαση root σε κάθε περίπτωση,,en,υποστηρίζει πολλαπλές διανομές και εφαρμογές του Hadoop,,en,Είναι εύκολο να προσαρμόσετε κάθε σύμπλεγμα και να εγκαταστήσετε πρόσθετη εφαρμογή,,en,Είναι εύκολο να εγκαταστήσετε το συγκρότημα Amazon EMR,,en,Είναι αρκετά αξιόπιστο για να ξοδεύετε λιγότερο χρόνο για να παρακολουθείτε το σύμπλεγμα σας,,en. It’s easy, and cost-effective for distributing and processing large amount of data
Other distributed frameworks such as Spark, Presto can also run in Amazon EMR to interact with data in Amazon S3 and DynamoDB. EMR handles these use cases with reliability:
| Web indexing | Machine learning |
| Scientific simulation | Data Warehousing |
| Log Analysis | Bioinformatics |
Its clients include Yelp, Nokia, getty images, reddit, and others. Some of its features are listed below:
- Flexible to use with root access to every instance, supports multiple Hadoop distributions and applications. It’s easy to customize every cluster and install additional application.
- It’s easy to install Amazon EMR cluster.
- Reliable enough to spend less time monitoring your cluster; επαναλαμβάνοντας τις αποτυχημένες εργασίες και αντικαθιστά αυτόματα περιπτώσεις κακής απόδοσης,,en,Ασφαλίστε, καθώς ρυθμίζει αυτόματα τις ρυθμίσεις του τείχους προστασίας του Amazon EC2,,en,Αυτό είναι για τον έλεγχο της πρόσβασης δικτύου σε περιπτώσεις,,en,Με το Amazon EMR,,en,μπορείτε να επεξεργαστείτε δεδομένα σε οποιαδήποτε κλίμακα,,en,Ο αριθμός των περιπτώσεων μπορεί εύκολα να αυξηθεί και να μειωθεί,,en,Τιμολόγηση χαμηλού κόστους χωρίς κρυφό κόστος,,en,πληρώνετε ανά ώρα για κάθε χρησιμοποιούμενη περίπτωση,,en,Για παράδειγμα,,en,ξεκινήστε ένα σύμπλεγμα Hadoop 10 κόμβων για ελάχιστο,,en,ανά ώρα,,en,Χρησιμοποιείται για την ανάλυση δεδομένων ροής κλικ για κατανόηση των προτιμήσεων των χρηστών,,en,Οι διαφημιζόμενοι μπορούν να αναλύσουν τις ροές κλικ και τα αρχεία καταγραφής διαφημίσεων διαφημίσεων,,en,Μπορεί επίσης να χρησιμοποιηθεί για την αποτελεσματική επεξεργασία τεράστιων ποσοτήτων γονιδιωματικών δεδομένων και μεγάλων σειρών δεδομένων,,en,Τα γονιδιωματικά δεδομένα που φιλοξενούνται στο AWS θα μπορούσαν να προσεγγιστούν από ερευνητές δωρεάν,,en.
- Secure as it automatically configures Amazon EC2 firewall settings. This is for controlling network access to instances.
- With Amazon EMR, you can process data at any scale. The number of instances can be easily increased and decreased.
- Low cost pricing with no hidden costs; pay hourly for every instance used. For Example, launch a 10-node Hadoop cluster for as little as $0.15 per hour.
It is used to analyze click stream data for understanding user preferences. Advertisers can analyze click streams and advertising impression logs.
It can also be used to process vast amounts of genomic data and large data sets efficiently. Genomic data hosted on AWS could be accessed by researchers for free.
Το Amazon EMR θα μπορούσε να χρησιμοποιηθεί για την επεξεργασία των ημερολογίων και θα τους βοηθήσει να μετατρέψουν πεντακύτταρα αδόμητων και ημιδομημένων δεδομένων σε χρήσιμες πληροφορίες,,en,Γουδί,,en,Πρόκειται για μια πλατφόρμα για την επιστήμη δεδομένων μεγάλης κλίμακας και βασίζεται στο σύννεφο του Amazon Web Services,,en,Είναι χτισμένο σε ελαστικό χάρτηReduce,,en,για να ξεκινήσει ομάδες Hadoop,,en,Το κονίαμα ιδρύθηκε από τον K Young,,en,Τζέρεμι Καμ,,pl,και ο Doug Daniels στο,,en,με ένα κίνητρο για την εξάλειψη των χρονοβόρων εργασιών,,en,Αυτό έγινε έτσι ώστε οι επιστήμονες να μπορούν να ξοδεύουν το χρόνο εργασίας τους κάνοντας άλλα κρίσιμα έργα,,en,Τρέχει σε Java,,en,Jythoo,,hmn,Hadoop κλπ,,en,για την ελαχιστοποίηση του χρόνου που επενδύουν οι χρήστες και για να τους επιτρέψουν να επικεντρωθούν στην επιστήμη των δεδομένων,,en,Απελευθερώνει την ομάδα σας κουραστική και χρονοβόρα εγκατάσταση και συντήρηση,,en,Εξοικονομήστε χρόνο με το Mortal, παίρνοντας λύσεις σε λειτουργίες σε σύντομο χρονικό διάστημα,,en.
Mortar:
It is a platform for high-scale data science and built on the Amazon Web Services cloud. It is built on Elastic MapReduce (EMR) to launch Hadoop clusters. Mortar was founded by K Young, Jeremy Kam, and Doug Daniels in 2011 with a motive to eliminate the time consuming difficult tasks. This was done so that the scientists could spend their work time doing other critical works.
It runs on Java, Jythoo, Hadoop etc. for minimizing time invested by users and to let them focus on data science.
It comes with the following features:
- It frees your team tedious and time-consuming installation and maintenance.
- Save time with Mortal by getting solutions into operations in a short span of time.
- Προειδοποιεί αυτόματα τους χρήστες για τυχόν δυσλειτουργίες στην τεχνολογία και την εφαρμογή, για να βεβαιωθεί ότι λαμβάνουν ακριβείς πληροφορίες σε πραγματικό χρόνο,,en,Οι αλλαγές προμηθευτή δεν επηρεάζουν πολύ τους χρήστες, επειδή εκτελούνται σε ανοιχτές τεχνολογίες,,en,Εφαρμογές της πλατφόρμας Mortor,,en,Για την ανάπτυξη ενός ισχυρού,,en,κλιμακωτή μηχανή συστάσεων,,en,η ταχύτερη πλατφόρμα είναι το Mortor,,en,Το Mortor είναι πλήρως αυτοματοποιημένο καθώς εκτελεί τη μηχανή συστάσεων από άκρο σε άκρο με μόνο μία εντολή,,en,Χρησιμοποιεί πρότυπο έλεγχο βιομηχανικής έκδοσης που βοηθά στην εύκολη προσαρμογή και προσαρμογή,,en,Για την ανάλυση,,en,Συνδέστε εύκολα πολλές πηγές δεδομένων στις αποθήκες δεδομένων,,en,Εξοικονόμηση χρόνου εργασίας της ομάδας σας με το χειρισμό της υποδομής,,en,ανάπτυξη,,en,και άλλες λειτουργίες,,en,Προβλέψτε ανάλυση χρησιμοποιώντας τα δεδομένα που έχετε ήδη,,en.
- Vendor changes don’t affect users much because it’s been running on open technologies.
Applications of Mortor platform:
- For deploying a powerful, scalable recommendation engine, the fastest platform is Mortor.
- Mortor is fully automated as it runs the recommendation engine from end to end with only one command.
- It uses industry standard version control which helps in easy adaptation and customization.
- For analyzing, easily connect multiple data sources to data warehouses.
- It saves work time of your team by handling infrastructure, deployment, and other operations.
- Predict analysis by using the data you’re already having. Το κονίαμα υποστηρίζει προσεγγίσεις όπως η γραμμική παλινδρόμηση,,en,ταξινόμηση για ανάλυση,,en,Υποστήριξη κορυφαίων τεχνολογιών εκμάθησης μηχανών όπως η R,,en,Python για την παράδοση αβίαστα παραλληλισμό για πολύπλοκες εργασίες,,en,η up-time και η στρατηγική προειδοποίηση εξασφαλίζει την εμπιστοσύνη των χρηστών και την παράδοση της ροής αναλυτικών στοιχείων ξανά και ξανά,,en,Οι αλγόριθμοι πρόβλεψης χρησιμοποιούνται για την ανάπτυξη της επιχείρησης όπως η πρόβλεψη της ζήτησης,,en,εντοπίζοντας πελάτες υψηλής αξίας,,en,Η ανάλυση μεγάλου όγκου κειμένου γίνεται εύκολα,,en,είτε το tokenization του,,en,ή LDA,,en,n-γραμμάρια,,en,Υπάρχουν πολλές εφαρμογές Big Data διαθέσιμες σήμερα και στο μέλλον θα υπήρχαν ταχύτερες και φθηνότερες λύσεις διαθέσιμες για τους χρήστες,,en,οι πάροχοι υπηρεσιών θα έρθουν με καλύτερες λύσεις που καθιστούν την εγκατάσταση και συντήρηση σε φθηνότερο ρυθμό,,en,techalpine.com/big-data-hadoop-as-a-service-how-does-it-work,,en, classification for analysis.
- Support leading machine learning technologies like R, Pig, Python for delivering effortless parallelization for complex jobs.
- With 99.9% up-time and strategic alerting ensures the trust of users and delivering of analytics pipeline again and again.
- Predictive algorithms are used for growing the business like predicting demand, identifying high-value customers.
- Analyzing of large volume of text is easily done, whether its tokenization, stemming or LDA, n-grams.
Summary:
There are a lot of Big Data applications available today and in future there would be faster and cheaper solutions available for users. Moreover, service providers would come with better solutions making the installation and maintenance at a cheaper rate.
