1. Introducción

Este repositorio recoge test y pruebas de despliegue de Hadoop para uso educativo en laboratorios de telemática de la UC3M.

Prerrequisitos

SO

Debian 8 x64

Software

Deben estar preinstalados los siguientes paquetes en todos los equipos:

• Java (recomendada la versión openjdk 1.7.0_09-icedtea)
• hadoop (versión estable)
• ssh

Despliegue básico

Al instalar hadoop tendremos desplegados los tres servicios clave del futuro cluster: HDFS (gestionado desde el NameNode), YARN (gestionado desde el ResourceManager) y MapReduce (gestionado desde el MapReduce JobHistory Server).

Versión actual:

• hadoop 2.7.1.2.4.3
• Java 1.8.0_92

Con esto ya podemos editar la configuración del cluster para definir el nodo master y los nodos esclavos, una vez hecho esto tendremos listas las interfaces web a las que accederemos mediante los nodos master de cada servicio y su puerto correspondiente. Puertos por defecto:

• NameNode: 50070
• ResourceManager: 8088
• MapReduce JobHistory Server: 19888

Requisitos de conexión

Es estrictamente necesario que tengamos los hosts en el fichero /etc/hosts y que puedan conectarse entre ellos mediante ssh con claves RSA y no con login manual.