La carga de datanode de Hadoop no pudo iniciar la resolución

Usé una instalación distribuida Hadoop basada en máquina virtual. Debido al orden incorrecto de cierre de datanode y namenode, a menudo ocurre una falla en la carga del datanode.

Mi solución es por primera vez que todo el clúster se ha iniciado con éxito, pero no se iniciará correctamente por segunda vez debido a una operación anormal. Puede haber muchas razones para el primer fallo de inicio: puede deberse a un error en la escritura del archivo de configuración o al error de configuración de inicio de sesión sin contraseña ssh.

La razón para el segundo error es diferente de la primera vez. El enfoque de la solución de problemas debe estar en los archivos generados por alguna carga dinámica del programa. El autor está discutiendo el segundo caso. :

La mayoría de las razones se deben a la incoherencia entre el namespaceID en el archivo VERSION del dataoop del hadoop y el namespaceID en el archivo VERSION en el namenode. Se supone que el autor del namespaceID se genera cuando se ejecuta el comando: hdfs namenode -format.

Los pasos de la solución son los siguientes:

1. Primero detenga el proceso relacionado en el namenode: cambie al directorio /sbin de hadoop:

sh stop-dfs.sh

sh stop-yarn.sh

2, cambie al directorio correspondiente /actual de hadoop para borrar todos los archivos actuales.

3, después de borrar el datanode y namenode /actual VERSION y otros archivos de archivo correspondientes, volver al namenode, ejecutar el comando hsfs namenode -format y luego cambiar al directorio /node del hadoop del namenode:

Ejecute sh start-dfs.sh

sh start-yarn.sh

(La versión anterior de mapre se reemplaza por la nueva versión de yarn, el comando es algo diferente)

Puede ver que el nodo correspondiente se ha cargado correctamente.

La idea correspondiente es que cuando algo va mal, borre todos los archivos que interfieren con la idea, luego organice los pensamientos y comience de nuevo, lo cual es mucho mejor que el lugar original.

(Debido a que la carpeta que especificamos en el archivo de configuración solo tiene el registro de hdfs tmp, el resto de los archivos también se crean mediante la ejecución dinámica del script. Una vez eliminados, todo el sistema puede funcionar. Se generará, incluso si se elimina, la instantánea de VM salvará el mundo.)