Apache Spark and Big Data
Overzicht:
As big data becomes one of the most important assets an enterprise can possess, enterprises are demanding more out of the data. Enterprises expect data to provide complex and multidimensional insights at high speeds. To provide such insights, companies need appropriate framework, technologies and tools. Steep expectations from big data are going to define the relationship between enterprises and data. Apache Spark provides the framework to perform multidimensional actions such as processing, querying and generating analytics at high speeds and looking at the future, it seems likely that Apache Spark is going to be the most popular platform for big data. An important factor in this context is Apache Spark is an open source framework which increases its appeal in an otherwise expensive proprietary technology market. Apache Spark is seen as a competitor or successor to MapReduce. There are some experts who still consider Spark een kader in zijn ontluikende stadia en het kan op dit moment slechts een paar operationele analyses ondersteunen,,en,Context voor Apache Spark,,en,Apache Spark is ontstaan in een tijd waarin de ondernemingen de gegevens verwachten die ze meer te bieden hebben, maar door verschillende factoren worden beperkt,,en,Ondernemingen ondervinden problemen op verschillende fronten, zoals een ontoereikend kader en technologie,,en,dure technologie en gebrek aan geschoold personeel,,en,Laten we deze problemen een beetje nader bekijken,,en,Ontoereikend kader,,en,De beschikbare kaders zijn niet in staat om gegevens met een hoge mate van efficiëntie te verwerken,,en,platformonafhankelijke compatibiliteit en query's zijn alles,,en,in verschillende mate,,en,problemen met de huidige softwareframeworks,,en,de verwachtingen van data worden steeds gevarieerder,,en,complex en multidimensionaal,,en.
Context for Apache Spark
Apache Spark has emerged at a time when the enterprises expect the data they have to offer more but are constrained by several factors. Enterprises are facing problems on several fronts such as inadequate framework and technology, expensive technology and lack of skilled personnel. Let us examine these problems a little bit more closely.
Inadequate framework
The frameworks available are unable to process data with a high degree of efficiency. Snelheid, cross-platform compatibility and querying are all, in varying degrees, issues with current software frameworks. With time, the expectations from data are becoming more varied, complex and multidimensional. Dit creëert een kloof tussen de verwachtingen en de mogelijkheden,,en,Hoge kosten van software,,en,Kosten van eigen software of framework zijn onbetaalbaar en dat creëert een exclusieve club omdat middelgrote tot kleine bedrijven de licenties niet kunnen kopen en verlengen.,,en,Alleen grote bedrijven met een diepe portemonnee kunnen dergelijke uitgaven betalen, wat betekent dat kleinere bedrijven verstoken blijven van de hogere mogelijkheden voor gegevensverwerking,,en,Onverenigbaarheid,,en,De beschikbare frameworks hebben compatibiliteitsproblemen met andere tools,,en,MapReduce werkt alleen op,,en,Spark heeft dergelijke compatibiliteitsproblemen niet,,en,Het kan worden uitgevoerd op elke resource manager zoals,,en,maanden,,ca,Redenen Apache Spark is het toekomstige platform voor big data,,en,Als je redenen wilt, is Apache Spark het toekomstige platform voor big data,,en
High cost of software
Costs of proprietary software or framework are prohibitive and that is creating an exclusive club because mid-sized to small companies are unable to purchase and renew the licenses. Only big companies with deep pockets can afford such expenses which means that smaller companies remain deprived of the higher data processing capabilities.
Incompatibility
The available frameworks have compatibility issues with other tools. For example, MapReduce runs only on Hadoop. Spark does not have such compatibility issues. It can run on any resource manager such as GAREN or Mesos.
Reasons Apache Spark is the future platform for big data
When you want reasons Apache Spark is the future platform for big data, it is kind of inevitable to compare Spark with Hadoop. Hadoop is still the most favorite big data processing framework and there had better be good reasons Spark replaces Hadoop. So here are a few reasons Spark is considered the future.
Efficient handling of iterative algorithms
Spark is great at handling programming models involving iterations, interactivity that includes streaming and much more. On the other hand, MapReduce displays several inefficiencies in handling iterative algorithms. That is a big reason Apache Spark is considered a prime replacement for MapReduce.
Spark provides analytics workflows
When it comes to analytics platforms, Spark provides a wealth of resources. It has, bij voorbeeld, library for machine learning (MLlib), Application Programming Interfaces (APIs) for graph analytics, also known as GraphX, support for SQL-based querying, streaming and applications. All these constitute a comprehensive analytics platform. According to Ian Lumb of Bright Computing, “Workflows can be executed in a batch mode or in real time using the built-in interactive shell support available in Scala and Python. Because the notable stats package R is already one of the supplemental projects, Spark’s analytics stack is quite comprehensive. Spark can access any Hadoop data source – from HDFS (and other file systems) to databases like Apache HBase and Apache Cassandra. Thus data originating from Hadoop can be incorporated into Spark applications and workflows.”
Better memory management
In a recent benchmarking study on in-memory storage of binary data, it was discovered that Spark outperformed Hadoop by 20x factor. This is because Spark offers the Resilient Distributed Datasets (RDDs). Alan Lumb of Bright Computing adds, "RDD's zijn fouttolerant,,en,parallelle datastructuren die bij uitstek geschikt zijn voor cluster computing in het geheugen,,en,In overeenstemming met het Hadoop-paradigma,,en,RDD's kunnen blijven bestaan en worden gepartitioneerd over een Big Data-infrastructuur om ervoor te zorgen dat gegevens optimaal worden geplaatst,,en,RDD's kunnen worden gemanipuleerd met behulp van een uitgebreide reeks operators. "Dus met een beter geheugengebruik,,en,ondernemingen kunnen uitkijken naar een beter beheer van de middelen en aanzienlijke kostenbesparingen,,en,Betere resultaten,,en,In het beste geval voor Hadoop,,en,Spark versloeg Hadoop met een factor van 20x,,en,Zie de afbeelding hieronder,,en,het laat zien dat Spark Hadoop heeft verslagen zelfs wanneer het geheugen niet beschikbaar is en het zijn schijven moet gebruiken,,en,Vonk en Hadoop-vergelijking,,en,Volgens de Spark Apache-website,,en,Spark kan "Programma's tot 100x sneller uitvoeren dan Hadoop MapReduce in het geheugen,,en, parallel data structures ideally suited to in-memory cluster computing. Consistent with the Hadoop paradigm, RDDs can persist and be partitioned across a Big Data infrastructure ensuring that data is optimally placed. And, of course, RDDs can be manipulated using a rich set of operators.” So with better memory utilization, enterprises can look forward to better resource management and significant cost savings.
Better results
In a best-case scenario for Hadoop, Spark beat Hadoop by a 20x factor. See the image below, it shows that Spark beat Hadoop even when memory is unavailable and it has to use its disks.
Spark and Hadoop comparison
According to the Spark Apache website, Spark can “Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. Spark heeft een geavanceerde DAG-uitvoeringsengine die cyclische gegevensstroom en in-memory computing ondersteunt. ",,en,Algemeenheid,,en,Spark kan streaming combineren,,en,SQL,,en,en complexe analyses,,en,Het kan een stapel bibliotheken met SQL aansturen,,en,Graphx,,en,MLlib voor machine learning en DataFrames,,en,en Spark Streaming,,en,U kunt al deze bibliotheken naadloos combineren binnen dezelfde applicatie,,en,Vonken kunnen overal naartoe rennen,,en,Vonken kunnen op Mesos lopen,,en,standalone,,en,of in de cloud,,en,Het heeft ook toegang tot diverse gegevensbronnen waarvan Cassandra de lijst bevat,,en,en S3,,en,Aanzienlijke opname,,en,Spark kan beschikbare middelen beschikbaar stellen om beter te gebruiken,,en,Bright computing,,en,dat software-oplossingen biedt voor de implementatie en het beheer van big data clusters en HPC en OpenStack in het datacenter en in de cloud,,en,observeert,,en,"Vonk,,en,werd medio december uitgebracht,,en,commits werden gemaakt door de,,en
Generality
Spark can combine streaming, SQL, and complex analytics. It can power a stack of libraries that include SQL, GraphX, MLlib for machine learning and DataFrames, and Spark Streaming. You can combine all these libraries seamlessly within the same application.
Spark can run everywhere
Spark can run on Mesos, standalone, Hadoop, or in the cloud. It can also access diverse data sources the list of which includes Cassandra, HDFS, HBase, and S3.
Significant uptake
Spark can put available resources to better use. Bright computing, which provides software solutions for deploying and managing big data clusters and HPC and OpenStack in the data center and in the cloud, observes, “Spark 1.2.0 was released in mid-December 2014. Over 1,000 commits were made by the 172 ontwikkelaars die bijdragen aan deze release - dat is meer dan 3x het aantal ontwikkelaars dat heeft bijgedragen aan de vorige release,,en,Spark 1.1.1. "De prestaties van Spark liggen in het feit dat het de hele gemeenschap van softwareontwikkelaars kan helpen om een bijdrage te leveren,,en,Hoewel er veel positieve gevoelens zijn over Spark,,en,het moet nog steeds in verschillende bedrijven worden ingezet en de use cases moeten worden getest,,en,theoretisch,,en,de functies en mogelijkheden zijn indrukwekkend en het belooft veel te leveren,,en,techalpine.com/why-apache-spark-is-the-future-platform-for-big-data,,en, Spark 1.1.1.” Spark’s achievements lie in the fact that it can involve the whole community of software developers into contributing.
Summary
While there are a lot of positive vibes about Spark, it still needs to be deployed across enterprises and the use cases need to be tested. Theoretically, the features and capabilities are impressive and it promises to deliver a lot.
