TechAlpine – All About Technology

Big data as a service – How does it work?

Genel bakış: In today’s technology world, software as a service (SaaS) is a common model. The service if offered to the subscribers as per need basis. Big data is also following the service model. In this article, Büyük veri teknolojisi alanında takip edilen hizmet modelinden bahsedeceğim,,en,Hizmet olarak Büyük Veri için iyi bilinen bazı hizmet modellerinin açıklaması burada,,en,Rackspace Hadoop kümeleri, Rackspace tarafından yönetilen özel sunucularda Hadoop'u çalıştırabilir,,en,genel bulut veya özel bulut,,en,Bulut büyük verileri için OneMetal, Apache Spark ve Hadoop için Rackspace tarafından sağlanır,,en,Bir,,en,tamamen yönetildi,,en,bellek içi işleme için çıplak metal platform,,en,Rackspace, büyük verileri manuel olarak yönetme ve bakımıyla ilgili sorunları ortadan kaldırır,,en,Aşağıdaki özelliklerle birlikte gelir,,en,24x7x365 fanatik destek sağlayarak operasyon yükünü azaltır,,en,Tam Hortonworks Veri Platformları sağlar,,en,araç seti erişimi,,en,Domuz dahil,,en,ve Hcatalog,,en,10 GB'a kadar geleneksel ağ ile esnek bir ağ tasarımına sahiptir,,en.

Here is a description for some well-known service models for Big Data as a service








Rackspace:

Rackspace Hadoop clusters could run Hadoop on Rackspace managed dedicated servers, public cloud or private cloud.

OneMetal for cloud big data is provided by Rackspace for Apache Spark and Hadoop. It offers a fully managed bare-metal platform for in-memory processing.

Rackspace eliminates the issues with managing and maintaining big data manually. It comes with the following features

• It reduces the operation burden by providing 24x7x365 fanatical support.
• Provides full Hortonworks Data Platforms (HDP) toolset access, including Pig, Hive, HBase, Sqoop, Flume, and Hcatalog.
• It has a flexible network design with traditional networking up to 10GB.

Özel bulutlara yönelmek, genel bulutların gücü ve verimliliği ile Özel bulutların güvenliği ve kontrolüyle birlikte gelir,,en,Özel bulutları kullanmanın en büyük dezavantajı, yönetmenin zor olması ve yükseltmek için uzmanlara ihtiyaç duymasıdır.,,en,bir bulut ortamına yama ve izleme,,en,Rackspace bu durumda mükemmel bir destek sağlar ve bulut yönetimi konusunda endişelenmenize gerek yoktur,,en,Sevinç,,en,Apache Hadoop'a göre,,en,Joyent, büyük veri projeleri için bulut tabanlı bir barındırma ortamıdır,,en,Bu çözüm, Hortonworks Veri Platformu kullanılarak oluşturulmuştur,,en,Günümüzün mobil uygulama ve gerçek zamanlı web ihtiyacı için yüksek performanslı bir kapsayıcıda yerel altyapıdır.,,en,Yüksek performanslı Joyent bulut üzerinde kurumsal sınıf Hadoop'un çalıştırılmasına izin verir,,en,Aşağıdaki avantajlar şimdi listelenebilir,,en. The major disadvantage of using private clouds is that it’s difficult to manage and need experts to upgrade, patch and monitor a cloud environment. Rackspace provides an excellent support in this case and there is no need to worry about cloud management.








Joyent:

Based on Apache Hadoop, Joyent is a cloud based hosting environment for big data projects. This solution is built using Hortonworks Data Platform (HDP).

It is a high-performance container-native infrastructure for today’s need of mobile applications and real-time web. It allows running of enterprise-class Hadoop on the high performance Joyent cloud.

The following advantages could be listed now:

• Joyent tarafından sağlanan aynı yanıt süresine sahip çözümlerle altyapı maliyetlerinin üçte ikisi azaltılabilir,,en,x Joyent Cloud'daki Hadoop kümeleri ile daha hızlı disk G / Ç yanıt süresi,,en,Dağıtık ve paralel işlemenin yanıt sürelerini hızlandırır,,en,Ayrıca, yoğun veri analizi uygulaması yürüten Hadoop kümelerinin ölçeklendirmesini de iyileştirir,,en,Veri bilimcileri, daha iyi yanıt süresiyle daha hızlı sonuçlar alıyor,,en,Büyük Veri uygulamaları pahalı ve kullanımı zor kabul edilir,,en,Joyent, daha ucuz ve daha hızlı çözümler sunarak bunu değiştirmeyi hedefliyor,,en,Joyent, gerçek zamanlı web ve mobil uygulamalar için genel ve hibrit bulut altyapısı sağlar,,en,Müşterileri arasında LinkedIn var,,en,Voxer,,da,Qubole,,zh-CN,Büyük Veri projeleri için,,en.
• 3x faster disk I/O response time by Hadoop clusters on Joyent Cloud.
• It accelerates the response times of distributed and parallel processing.
• It also improves the scaling of Hadoop clusters executing intensive data analytics application.
• Data scientists are getting faster results with better response time.

Generally, Big Data applications are considered expensive and difficult to use. Joyent is targeting towards changing this by providing a cheaper and faster solutions

Joyent provides public and hybrid cloud infrastructure for real-time web and mobile applications. Its clients include LinkedIn, Voxer, vb.

Qubole:

For Big Data projects, bir Hadoop kümesi, yerleşik veri bağlayıcıları ve grafik düzenleyici ile Qubole tarafından sağlanır,,en,MySQL gibi çeşitli veritabanlarından yararlanmayı sağlar,,en,Oracle ve Hadoop kümesini otomatik pilota ayarlıyor,,en,Hive için bir sorgu düzenleyicisi sağlar,,en,Domuz ve MapReduce,,en,Her şeyi bir hizmet olarak sağlar, yani,,en,Hive için sorgu düzenleyicisi,,en,bir ifade değerlendirici,,en,kullanım panosu,,en,ETL ve veri hattı oluşturucuları,,en,Özellikleri aşağıda listelenmiştir,,en,Amazon EMR'den daha hızlı çalışır,,en,Yerleşik konektörler ve sorunsuz esnek bulut altyapısı ile kullanımı kolay GUI,,en,Kaynak tahsisinin ve yönetiminin optimizasyonu, arka plan yordamları kullanılarak QDS hadoop motoru tarafından yapılır.,,en,Daha iyi performans için gelişmiş bir Hadoop motoru sağlar,,en,Gelişmiş önbelleğe alma ve sorgu hızlandırma gibi teknikleri kullanma,,en. Enables to utilize variety of databases like MySQL, MongoDB, Oracle and sets Hadoop cluster on auto-pilot. It provides a query editor for Hive, Pig and MapReduce.

It provides everything-as-a-service i.e.

• query editor for Hive, Pig and MapReduce
• an expression evaluator
• utilization dashboard
• ETL and data pipeline builders

Its features are listed below:

• Runs faster than Amazon EMR
• Easy to use GUI with built-in connectors and seamless elastic cloud infrastructure.
• Optimization of resource allocation and management is done by QDS hadoop engine by using daemons. It provides an advanced Hadoop engine for better performance.

Using techniques like advanced caching and query acceleration, Qubole, bulut tabanlı hadoop'a kıyasla 5 kata kadar daha hızlı sorgu hızları göstermiştir,,en,Daha hızlı sorgular için,,en,I / O, S3 depolaması için optimize edilmiştir,,en,S3 güvenli ve güvenilirdir,,en,Qubole Data Service, S3'teki verilere karşı 5 kat daha hızlı yürütme sunar,,en,Kullanılmayan özellikler ve uygulama için ödeme yapmaya gerek yok,,en,Bulut Entegrasyonu yani,,en,Qubole veri hizmeti, mevcut altyapınızda değişiklik yapılmasını gerektirmez, yani,,en,herhangi bir platformla çalışma esnekliği sağlar,,en,QDS bağlayıcıları, MongoDB bulut veritabanlarının içe ve dışa aktarılmasını destekler,,en,PostgresSQL ve Google Analytics gibi kaynaklar,,en,Kümeleri dakikalar içinde sağlamak için Qubole Data Service ile Küme Yaşam Döngüsü Yönetimi,,en,Büyük Veri değerlendirmesinin kolay yönetimi için talebe göre ölçeklendirme ve ortamda çalıştırma,,en,Elastic MapReduce,,en,Amazon Elastic MapReduce,,en,EMR,,en.

• For faster queries, I/O is optimized for S3 storage. S3 is secure and reliable. Qubole Data Service offers 5x faster execution against data in S3.
• No need to pay for unused features and application.
• Cloud Integration i.e. Qubole data service doesn’t require changes to be done to your current infrastructure i.e. it gives flexibility to work with any platform. QDS connectors supports import and export of cloud databases MongoDB, Kehanet, PostgresSQL and resources like Google Analytics.
• Cluster Life Cycle Management with Qubole Data Service for provisioning clusters in minutes, scaling it with demand and running it in environment for easy management of Big Data assessment.









Elastic MapReduce:

Amazon Elastic MapReduce (EMR) büyük veri işlemeyi basitleştirmek için yönetilen bir Hadoop çerçevesi sağlar,,en,Bu kolay,,en,ve büyük miktarda veriyi dağıtmak ve işlemek için uygun maliyetli,,en,Spark gibi diğer dağıtılmış çerçeveler,,en,Presto, Amazon S3 ve DynamoDB'deki verilerle etkileşim kurmak için Amazon EMR'de de çalışabilir,,en,EMR bu kullanım durumlarını güvenilir bir şekilde ele alır,,en,Web indeksleme,,en,Bilimsel simülasyon,,en,Veri depolama,,en,Günlük Analizi,,en,Biyoinformatik,,en,Müşterileri Yelp'i içerir,,en,Nokia,,en,getty görüntüleri,,en,reddit,,en,Bazı özellikleri aşağıda listelenmiştir,,en,Her örneğe root erişimiyle kullanım esnekliği,,en,birden çok Hadoop dağıtımını ve uygulamasını destekler,,en,Her kümeyi özelleştirmek ve ek uygulama yüklemek kolaydır,,en,Amazon EMR kümesini kurmak çok kolay,,en,Kümenizi izlemek için daha az zaman harcayacak kadar güvenilir,,en. It’s easy, and cost-effective for distributing and processing large amount of data

Other distributed frameworks such as Spark, Presto can also run in Amazon EMR to interact with data in Amazon S3 and DynamoDB. EMR handles these use cases with reliability:

Its clients include Yelp, Nokia, getty images, reddit, and others. Some of its features are listed below:

• Flexible to use with root access to every instance, supports multiple Hadoop distributions and applications. It’s easy to customize every cluster and install additional application.
• It’s easy to install Amazon EMR cluster.
• Reliable enough to spend less time monitoring your cluster; Başarısız görevleri yeniden denemek ve kötü performans gösteren örnekleri otomatik olarak değiştirir,,en,Amazon EC2 güvenlik duvarı ayarlarını otomatik olarak yapılandırdığı için güvenli,,en,Bu, örneklere ağ erişimini kontrol etmek içindir,,en,Amazon EMR ile,,en,verileri her ölçekte işleyebilirsiniz,,en,Örnek sayısı kolayca artırılabilir ve azaltılabilir,,en,Gizli maliyetler olmadan düşük maliyetli fiyatlandırma,,en,kullanılan her örnek için saatlik ödeme yapın,,en,10 düğümlü bir Hadoop kümesi başlatın,,en,saat başı,,en,Kullanıcı tercihlerini anlamak için tıklama akışı verilerini analiz etmek için kullanılır,,en,Reklamverenler tıklama akışlarını ve reklam gösterim günlüklerini analiz edebilir,,en,Ayrıca, büyük miktarda genomik veriyi ve büyük veri kümelerini verimli bir şekilde işlemek için de kullanılabilir.,,en,AWS'de barındırılan genomik verilere araştırmacılar tarafından ücretsiz olarak erişilebilir,,en.
• Secure as it automatically configures Amazon EC2 firewall settings. This is for controlling network access to instances.
• With Amazon EMR, you can process data at any scale. The number of instances can be easily increased and decreased.
• Low cost pricing with no hidden costs; pay hourly for every instance used. For Example, launch a 10-node Hadoop cluster for as little as $0.15 per hour.

It is used to analyze click stream data for understanding user preferences. Advertisers can analyze click streams and advertising impression logs.

It can also be used to process vast amounts of genomic data and large data sets efficiently. Genomic data hosted on AWS could be accessed by researchers for free.

Amazon EMR, günlük işleme için kullanılabilir ve petabaytlarca yapılandırılmamış ve yarı yapılandırılmış veriyi yararlı içgörülere dönüştürmelerine yardımcı olur,,en,Harç,,en,Yüksek ölçekli veri bilimi için bir platformdur ve Amazon Web Services bulutu üzerine kurulmuştur,,en,Elastic MapReduce üzerine inşa edilmiştir.,,en,Hadoop kümelerini başlatmak için,,en,Mortar, K Young tarafından kuruldu,,en,Jeremy Kam,,pl,ve Doug Daniels,,en,zaman alan zor görevleri ortadan kaldırma güdüsü ile,,en,Bu, bilim adamlarının çalışma zamanlarını diğer kritik işleri yaparak geçirebilmesi için yapıldı.,,en,Java üzerinde çalışır,,en,Jythoo,,hmn,Hadoop vb.,,en,kullanıcıların harcadığı zamanı en aza indirmek ve veri bilimine odaklanmalarına izin vermek için,,en,Ekibinizin zahmetli ve zaman alan kurulum ve bakım işlemlerini serbest bırakır,,en,Kısa sürede operasyonlara çözüm getirerek Mortal ile zamandan tasarruf edin,,en.








Mortar:

It is a platform for high-scale data science and built on the Amazon Web Services cloud. It is built on Elastic MapReduce (EMR) to launch Hadoop clusters. Mortar was founded by K Young, Jeremy Kam, and Doug Daniels in 2011 with a motive to eliminate the time consuming difficult tasks. This was done so that the scientists could spend their work time doing other critical works.

It runs on Java, Jythoo, Hadoop etc. for minimizing time invested by users and to let them focus on data science.

It comes with the following features:

• It frees your team tedious and time-consuming installation and maintenance.
• Save time with Mortal by getting solutions into operations in a short span of time.
• Doğru ve gerçek zamanlı bilgiler aldıklarından emin olmak için kullanıcıları teknoloji ve uygulamadaki herhangi bir aksaklık için otomatik olarak uyarır,,en,Satıcı değişiklikleri, açık teknolojiler üzerinde çalıştığı için kullanıcıları fazla etkilemez,,en,Mortor platformunun uygulamaları,,en,Güçlü bir,,en,ölçeklenebilir öneri motoru,,en,en hızlı platform Mortor'dur,,en,Mortor, öneri motorunu uçtan uca yalnızca bir komutla çalıştırdığı için tamamen otomatiktir,,en,Kolay uyarlama ve özelleştirmeye yardımcı olan endüstri standardı sürüm kontrolünü kullanır,,en,Analiz etmek için,,en,birden çok veri kaynağını veri ambarlarına kolayca bağlayın,,en,Altyapıyı işleyerek ekibinizin çalışma süresinden tasarruf sağlar,,en,dağıtım,,en,ve diğer işlemler,,en,Zaten sahip olduğunuz verileri kullanarak analizi tahmin edin,,en.
• Vendor changes don’t affect users much because it’s been running on open technologies.

Applications of Mortor platform:

• For deploying a powerful, scalable recommendation engine, the fastest platform is Mortor.
• Mortor is fully automated as it runs the recommendation engine from end to end with only one command.
• It uses industry standard version control which helps in easy adaptation and customization.
• For analyzing, easily connect multiple data sources to data warehouses.
• It saves work time of your team by handling infrastructure, deployment, and other operations.
• Predict analysis by using the data you’re already having. Harç, doğrusal regresyon gibi yaklaşımları destekler,,en,analiz için sınıflandırma,,en,R gibi lider makine öğrenimi teknolojilerini destekleyin,,en,Karmaşık işler için zahmetsiz paralelleştirme sağlayan Python,,en,çalışma süresi ve stratejik uyarı, kullanıcıların güvenini ve analitik ardışık düzeninin tekrar tekrar sunulmasını sağlar,,en,Tahmine dayalı algoritmalar, talebi tahmin etmek gibi işletmeyi büyütmek için kullanılır,,en,yüksek değerli müşterileri belirlemek,,en,Büyük hacimli metnin analizi kolayca yapılır,,en,tokenleştirme olup olmadığı,,en,stemming veya LDA,,en,n-gram,,en,Bugün kullanılabilen çok sayıda Büyük Veri uygulaması var ve gelecekte kullanıcılar için daha hızlı ve daha ucuz çözümler sunulacaktır.,,en,servis sağlayıcılar, kurulumu ve bakımı daha ucuza yapan daha iyi çözümlerle gelirdi,,en,techalpine.com/big-data-hadoop-as-a-service-how-does-it-work,,en, classification for analysis.
• Support leading machine learning technologies like R, Pig, Python for delivering effortless parallelization for complex jobs.
• With 99.9% up-time and strategic alerting ensures the trust of users and delivering of analytics pipeline again and again.
• Predictive algorithms are used for growing the business like predicting demand, identifying high-value customers.
• Analyzing of large volume of text is easily done, whether its tokenization, stemming or LDA, n-grams.









Summary:

There are a lot of Big Data applications available today and in future there would be faster and cheaper solutions available for users. Moreover, service providers would come with better solutions making the installation and maintenance at a cheaper rate.

Share on Facebook

Tweet

Follow us

Save