Visión global: Estamos ben conscientes das características do Hadoop e HDFS. Neste documento, imos falar sobre a federación HDFS que nos axuda a mellorar unha arquitectura HDFS existente. Ofrece unha clara separación entre namespace e almacenamento, polo tanto, permite escalabilidade e illamento no nivel de cluster.
Introdución: Hadoop federación separa o namespace capa e capa de almacenamento. Permite que a capa de almacenamento en bloque. Tamén expande a arquitectura dun cluster HDFS existente para permitir implementacións e casos de uso novo. A arquitectura actual HDFS ten dúas capas -
- namespace - Esta capa xestiona arquivos, directorios e bloques. Esta capa soporta as operacións básicas do sistema de ficheiros e.g.. listaxe de ficheiros, creación de ficheiros, modificación de ficheiros e exclusión de arquivos e carpetas.
- Block Storage - Esta capa ten dúas partes -
- xestión bloque Este xestiona os DataNodes no cluster e ofrece operacións como a creación, eliminación, modificación e investigación. Tamén coida da xestión de replicación.
- almacenamento físico Isto almacena os bloques e ofrece acceso a ler ou escribir operacións.
Un cluster HDFS
Figure 1: Un cluster HDFS
Na arquitectura actual HDFS, temos só un espazo para nome a todo o cluster que é xestionada por un nó único nome. Usando esta visión faise máis doado de aplicar o cluster HDFS. Esta capa de arquitectura funciona ben para configuración menores, mentres que para grandes organizacións, onde un enorme volume de datos que ser tomado coidado nunha velocidade rápida, por exemplo. Yahoo e Facebook verificouse que esta visión ten algunhas limitacións que son tratados pola federación Hadoop. Entón Hadoop federación se pode definir como a arquitectura avanzada para superar as limitacións da implantación actual HDFS.
Imos comprobar as limitacións tal como se explica a continuación -
- Intimamente ligado Block Storage e Namespace - Na arquitectura actual do almacenamento en bloque eo Namespace están fortemente encaixados que fai as implementacións alternativas de nós nome reto e restrinxe outros servizos para usar o almacenamento en bloque directamente.
- Namespace Módulos - O cluster HDFS escalas horizontal, engadindo DataNodes pero non podemos engadir máis espazo de nomes para un cluster existente horizontalmente. Podemos escalar namespace vertical nun único namenode. O namenode almacena os metadatos do sistema de ficheiros completo dentro da súa memoria o que limita o número de bloques, arquivos e directorios que se admiten no sistema de arquivos que precisa ser acomodada na memoria do único namenode.
- desempeño - As actuais operacións do sistema de ficheiros están limitados á taxa de transferencia dun nodo único nome que nos apoios presentes 60000 tarefas simultáneas. Pero o novo mapa está reducir de Apache terá un soporte para máis de 100000 tarefas simultáneas e, polo tanto, vai esixir varios nós.
- illamento - En xeral, as implantacións HDFS están dispoñibles en un ambiente multi-Tenant, onde un único cluster é compartida por varias organizacións. Nesta configuración un espazo de nomes separados non é posible para unha aplicación ou unha organización.
Federación HDFS:
Hadoop federación permite dimensionar o servizo de nome horizontal. Usa varios namenodes ou espazos de nomes que son independentes uns dos outros. Estes son independentes namenodes federado i. non requiren entre a coordinación. Estes DataNodes son usados como almacenamento común por todo namenodes. Cada DataNode está rexistrado con todos os namenodes no cluster. Estes DataNodes enviar informes periódicos e responde aos mandos a partir dos nós de nome. Temos unha piscina bloque que é un conxunto de bloques que pertencen a un único espazo de nomes. Nun cluster, os DataNodes almacena bloques para todas as piscinas de bloques. Cada pool de bloque é xestionado de forma independente. Isto permite que o espazo de nomes para xerar IDs bloque para novos bloques sen informar outros espazos de nomes. Un namenode falla por calquera motivo, o DataNode segue servindo doutros namenodes.
Un espazo para nome eo seu bloque son chamados colectivamente volume namespace. Cando un espazo de nomes ou namenode é eliminado da piscina bloque correspondente na DataNode é eliminado automaticamente. No proceso de cluster de up-graduación, Cada volume namespace actualízase como unha unidade.
Unha arquitectura federación HDFS
Figure 2: Unha arquitectura federación HDFS
Beneficios da Federación Hadoop:
Hadoop federación ven con algunhas vantaxes e beneficios que están listados como sub -
- Escalabilidade e illamento - Varios namenodes escalas horizontalmente ata no espazo de nomes do sistema de ficheiros. Isto realmente separa volumes de espazo de nomes para usuarios e categorías de aplicación e proporciona un illamento absoluto.
- Xenéricos Storage Service - A abstracción piscina nivel de bloque permite a arquitectura para construír novos sistemas de ficheiros enriba de almacenamento en bloque. Podemos facilmente construír novas aplicacións na capa de almacenamento en bloque sen utilizar a interfaz do sistema de ficheiros. categorías personalizadas de piscina bloque pode ser construído, que son diferentes do pool estándar do bloque.
- Proxecto simple - Namenodes e espazos de nomes son independentes uns dos outros. Non hai practicamente calquera escenario que esixe cambiar os nós de nome existentes. Cada nodo nome está construído para ser robusto. Federación tamén é compatible. Se integra facilmente coas implementacións de nó simple existentes que funcionan sen ningún cambio de configuración.
Configurar unha Federación HDFS:
Configuración da Federación Hadoop é concibida de tal xeito que todos os nós no cluster teñen a mesma configuración. A configuración realízase nos seguintes pasos -
- Step 1 - Os seguintes parámetros ten que ser engadido na configuración existente -
- servizos de nomes - Iso é configurado cunha lista de separados por comas NameServiceIDs. Este parámetro é utilizado polo DataNodes para determinar as namenodes no cluster.
- Step 2 - Os seguintes opcións que ser o sufixo co ID de servizo nome correspondente no ficheiro de configuración común.
- namenode
- Secondary NameNode
- BackupNode
Un ficheiro de configuración de mostra para dúas namenodes móstrase a continuación -
Listing 1: Un ficheiro de configuración de exemplo para dous nós
[Code]
<configuración>
<propiedade>
<nome>dfs.nameservices</nome>
<valor>ns1, ns2</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.rpc-address.ns1</nome>
<valor>nn-host1:6600</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.http-address.ns1</nome>
<valor>nn-host1:8080</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.secondaryhttp-address.ns1</nome>
<valor>NHS-host1:8080</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.rpc-address.ns2</nome>
<valor>NN-host2:6600</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.http-address.ns2</nome>
<valor>NN-host2:8080</valor>
</propiedade>
<propiedade>
<nome>dfs.namenode.secondaryhttp-address.ns2</nome>
<valor>NHS-host2:8080</valor>
</propiedade>
</configuración>
[/Code]
O formato do NameNode: Imos as ordes para o formato namenode.
- Step 1 – Un nó único nome pode ser formatado empregando o seguinte -
$HADOOP_USER_HOME / bin / hdfs namenode -format [-ClusterID <CLUSTER_ID>]
A ID do cluster debe ser único e non debe entrar en conflito con calquera outro ID de cluster de saír. Se non se fornece, un aglomerado único ID xérase no momento do formato.
- Step 2 - namenode adicional pode ser formatado empregando o comando a seguir -
$HADOOP_PREFIX_HOME / bin / hdfs namenode -format -clusterId <CLUSTER_ID>
É importante aquí que o ID do cluster indicado aquí deben ser o mesmo que o indicado na paso 1. Se estes dous son diferentes, o namenode adicional non será a parte do cluster federado.
Iniciar e deter o cluster: Imos comprobar as ordes para iniciar e deter o cluster.
- Comezar o cluster - O cluster pode executarse executando o comando a seguir -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
- Deter o cluster - O cluster pode ser detido, executando o seguinte comando -
$HADOOP_PREFIX_HOME / bin / start-dfs.sh
Engadir un namenode a un cluster existente: Xa describimos ese nó nome múltiple é o corazón do Hadoop federación. Por iso, é importante entender os pasos para engadir novos nós de nome e escala horizontal.
Os seguintes pasos son necesarios para engadir novos namenodes -
- O parámetro de configuración - servizos de nomes Debe ser engadido na configuración.
- NameServiceID debe ser sufixo na configuración
- New NameNode relacionadas coa configuración debe ser engadido nos ficheiros de configuración.
- O ficheiro de configuración debe ser propagada a todos os nós do cluster.
- Inicia o novo namenode eo namenode secundario
- Actualizar os outros DataNodes para escoller o namenode recentemente engadidos executando o comando a seguir -
o $ HADOOP_PREFIX_HOME / bin / hdfs dfadmin -refreshNameNode <datanode_host_name>:<datanode_rpc_port>
- O comando anterior debe ser executado contra todas DataNodes no cluster.
Summary: HDFS federación foi introducida para superar as limitacións da implantación anterior HDFS. Engadindo módulos na capa de espazo de nomes é a característica máis importante do HDFS arquitectura federación. Pero HDFS federación tamén é compatible, para configuración namenode single tamén funcionará sen ningunha modificación.
Imos resumir nosa discusión en forma de seguir balas
- HDFS federación separa o capa namenode eo capa de almacenamento.
- HDFS federación está deseñado para superar as limitacións da arquitectura no HDFS única onde o almacenamento pode escalar horizontal e non o namespace.
- HDFS federación ven coas seguintes vantaxes -
- illamento
- Scalability
- proxecto sinxelo
- configuración HDFS é moi sinxelo e tamén é doado de xestionar.
