Por agora, ten que estar seguro familiarizado cos datos termo grande. Se non, big data é basicamente un termo que abrangue grandes e complexos conxuntos de datos. Para tratar os datos grandes, un require o uso de diferentes outros do que os tipos tradicionais que son normalmente en aplicacións de procesamento de datos de uso.
Así que son exactamente as aplicacións de procesamento de datos? Aínda que existen varios programas que permiten que a manipulación e procesamento de big data, a estrutura de base foi sempre a de Apache Hadoop.
Que é Apache Hadoop?
Hadoop é un framework de código aberto software escrito en Java e está composto por dúas partes, que son a parte de almacenamento e sendo o outro a parte de procesamento de datos. A parte de almacenamento se chama o Hadoop Distributed File System (HDFS) ea parte de procesamento chámase MapReduce.
Aquí neste artigo, imos dar un ollo nas vantaxes que son ofrecidos pola programación Hadoop MapReduce.
Vantaxes de programación MapReduce
As vantaxes de programación son MapReduce -
Scalability
Hadoop pasa a ser unha plataforma que é altamente escalable. Esta é en gran parte debido á súa capacidade de almacenar, así como distribuír grandes conxuntos de datos en toda a abundancia de servidores. Estes servidores poden ser barato e eles tamén operan en paralelo. Also, a adición de servidores só contribúe ao poder de procesamento.
Contrariamente aos sistemas de xestión de base de datos relacionais tradicionais (RDMS) que non é posible dimensionar a fin de procesar enormes cantidades de datos, programación Hadoop MapReduce permite que as organizacións de negocios para executar aplicacións a partir dun gran número de nós que tamén implica o uso de moitos miles de terabytes de datos.
solución de custo efectivo
estrutura altamente escalable do Hadoop tamén implica que aparece como unha solución moi rendíbel para as empresas que precisan almacenar cada vez maior de datos.
No caso de sistemas de xestión de base de datos relacionais tradicionais, convértese en custo prohibitivo masivamente para escalar aos graos posibles con Hadoop, só para procesar datos. como tal, moitas das empresas tería que reducir o tamaño de datos e seguir aplicando as clasificacións baseadas en suposicións de como determinados datos podería ser máis valioso. No proceso de, datos en bruto que han de ser suprimidos, tendo en conta que implicaría enormes custos para a almacenaxe. Isto serve basicamente prioridades a curto prazo, e se un negocio pasa a cambiar os seus plans en algún lugar baixo a liña, o conxunto completo de datos en bruto sería dispoñible para uso posterior.
Nunha nota diferente, arquitectura scale-out do Hadoop, xunto coa programación MapReduce, permite o almacenamento e procesamento de datos de forma moi accesible e tamén para uso en tempos posteriores. In fact, as economías de custo son enormes e os custos poden reducir de mil / dez mil números para cen figuras para cada terabyte de datos.
flexibilidade
As organizacións empresariais poden facer uso de programación Hadoop MapReduce para ter acceso a varias novas fontes de datos e tamén operar sobre os tipos de datos, se son estruturados ou non. Isto lles permite xerar valor desde todos os datos que poden acceder por eles.
Ao longo destes liñas, Hadoop ofrece soporte para varios idiomas que se poden usar para o procesamento e almacenamento de datos. Se a fonte de datos é a comunicación social, email, ou clickstream, MapReduce pode traballar en todos eles. Also, programación Hadoop MapReduce permite a moitas aplicacións, tales como sistemas de recomendación, procesamento de toras, análise de marketing, almacenamento de datos e detección de fraudes.
rápido
Hadoop usa un método de almacenamento coñecida como sistema de ficheiros distribuídos, que basicamente aplica un sistema de cartografía para localizar datos nun cluster. As ferramentas utilizadas para o procesamento de datos, como a programación MapReduce, Tamén adoitan situados nos mesmos servidores, o que permite un procesamento máis rápido de datos.
Mesmo se ocorrer de estar lidando con grandes volumes de datos que non está estructurado, Hadoop MapReduce leva uns minutos para procesar terabytes de datos, e horas para petabytes de datos.
Seguridade e autenticación
A seguridade é un aspecto vital de calquera aplicación. Se calquera persoa ou organización ilegal tivo acceso a varios petabytes de datos da súa organización, pode facerlle mal enorme en termos de negocio e operacións.
A este respecto, MapReduce funciona con HDFS e seguridade HBase que só permite que os usuarios autorizados para operar en datos almacenados no sistema.
procesamento paralelo
Un dos aspectos principais do traballo de programación MapReduce é que divide tarefas dun xeito que permite a súa execución en paralelo.
O procesamento paralelo permite múltiples procesadores para asumir estas tarefas divididas, de tal xeito que xa corren programas enteiros en menos tempo.
Dispoñibilidade e natureza resilientes
Cando os datos son enviados a un nodo individual en toda a rede, o mesmo conxunto de datos tamén se transmite ás outras numerosas nós que compoñen a rede. Thus, Se hai calquera fallo que afecta un determinado nodo, sempre hai outras copias que aínda se pode acceder sempre que sexa necesario. Isto sempre garante a dispoñibilidade de datos.
Unha das maiores vantaxes que ofrece o Hadoop é a da súa tolerancia a fallos. Hadoop MapReduce ten a capacidade de recoñecer rapidamente os erros que se producen logo aplicar unha solución de recuperación rápida e automática. Isto o fai un xiro de xogo cando se trata de procesamento de datos grande.
modelo simple de programación
Entre as varias vantaxes que Hadoop MapReduce ofertas, unha das máis importantes é o feito de que baséase en un modelo de programación simples. Isto basicamente permite aos programadores a desenvolver programas de MapReduce que se xestione tarefas con máis facilidade e eficiencia.
Os programas de MapReduce se pode escribir usando Java, que é unha linguaxe que non é moi difícil de recollida e tamén se usa xeneralizada. Thus, é doado para as persoas a aprender e escribir programas que atender ás súas necesidades de procesamento de datos suficientemente.
Conclusión
Cando se trata baixo o procesamento de grandes conxuntos de datos, programación MapReduce do Hadoop permite o procesamento de tales grandes volumes de datos de forma totalmente segura e de baixo custo. Hadoop tamén triunfa sobre sistemas de xestión de base de datos relacional cando se trata de procesamento de clusters de datos grandes. Finally, moitas empresas xa entenderon a promesa de que Hadoop detén e é imperativo que o seu valor para as empresas vai medrar como datos non estruturados segue crecendo.
