Instalación de Hadoop en OSX
Decidí que quería configurar un cluster de Hadoop en Mac ejecute, esto se decidió principalmente por Xgrid no comenzó ya en el nuevo sistema operativo versión OsX. Tengo configuración que SGE racimos antes Xgrid obviamente y Microsoft Cluster Server así que quería meterse debajo de mi cinturón. Esto no es la guía definitiva pero funcionaba bastante bien para mí, todavía no estoy seguro de algunos de los conceptos sino que vendrá con la práctica.
El primer paso es asegurarse de que tener los conceptos básicos.
Xcode herramientas de línea de comandos y desarrolladores de Java para su versión de sistema operativo OsX.
https://developer.Apple.com/downloads/index.Action
Permite crear primero un grupo y un usuario en cada máquina.
Cree un grupo llamado 'hadoop' y añadir un usuario administrador 'hadoopadmin' al grupo.
Permite hacer de todo como hadoopadmin para que sea fácil.
Usted puede descargar Hadoop e instalarlo usted mismo, pero tomó un atajo y utilizar homebrew para instalar.
-> Preparación Instalación hadoop
Esto ajustará todas las rutas de la env en los archivos de configuración de hadoop adecuada así que esto es una ayuda.
Una vez instalado permite establece los archivos de configuración de hadoop.
He nombrado a mis máquinas
hadoop01 y hadoop02 para los dos primeros.
Configurar el archivo de amos y esclavos en todas las máquinas.
Maestro:
hadoopadmin
esclavos:
hadoopadmin
hadoopadmin
También configurar/etc/hosts a todas las máquinas.
#
# localhost se utiliza para configurar la interfaz de loopback
# Cuando el sistema arranca. No cambie esta entrada.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
:: 1 localhost
fe80:: 1% lo0 localhost
#
#
#
# hadoop
132.235.132.67 hadoop01
132.235.132.46 hadoop02
Estoy usando 2.4.0 para que se encuentran en
/usr/local/Cellar/Hadoop/2.4.0/libexec/etc/Hadoop
Editar
Hadoop-env.sh
Estas dos líneas ha cambiado.
#export JAVA_HOME="$(/usr/libexec/java_home)"
Para
Export JAVA_HOME ='/ usr/libexec/java_home - v 1,6'
y
#export HADOOP_OPTS = "$HADOOP_OPTS-Djava.net.preferIPv4Stack=true"
Para
Export HADOOP_OPTS = "- Djava.security.krb5.realm= - Djava.security.krb5.kdc="
Ésta detuvo un error que me metía al iniciarse.
Editar
HDFS-site.xml
Introducir esta configuración
DFS.Replication
3
DFS.Name.dir
/usr/local/Cellar/Hadoop/2.4.0/HDFS/Name
DFS.Data.dir
/usr/local/Cellar/Hadoop/2.4.0/HDFS/Data
Editar
mapred-site.xml.template
Insertar
mapred.Job.Tracker
hadoop01:9001
Editar
núcleo-site.xml
FS.default.Name
HDFS://hadoop01:9000
Hadoop.tmp.dir
/usr/local/Cellar/Hadoop/2.4.0/tmp
Ahora permite crear unos directorios de hadoop
/usr/local/Cellar/hadroop/2.4.0
-> hadoop - mkdir tmp
-> - mkdir de hadoop hdfs
-> mkdir - hadoop hdfs nombre
-> mkdir - hadoop hdfs datos
Habilité conexión SSH en todas las máquinas.
ssh-keygen - t dsa -P «-f ~/.ssh/id_dsa
gato ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
He encontrado información sobre esto en
http://stackoverflow.com/Questions/7134535/Setup-passphraseless-ssh-to-localhost-on-os-x
Formateado entonces el nodo de nombre
-> hadoop namenode-formato
Entonces comenzó a hadoop ejecutando
/usr/local/Cellar/Hadoop/2.4.0/libexec/sbin/Start-ALL.sh
Hice todas estas cosas en todas mis máquinas, aunque algunos artículos creo que no es necesario ser.
Tengo que agradecer
http://stackoverflow.com &
http://dennyglee.com
Tutoriales y ayuda para conseguir a través de este.
Gracias
Joe Murphy
AKA Grehyton
