Hadoop: доступный Datanodes: 0 (0 общих количеств, 0 погибших)

Каждый раз я бегу:

hadoop dfsadmin -report

Я получаю следующую продукцию:

Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: �%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 0 (0 total, 0 dead)
  1. Там не справочник данных в моей DFS/папка.
  2. файл замка существует в этой папке: in_use.lock
  3. владелец, шпион работы и узлы данных хорошо работает.
3
У меня есть точно та же самая проблема. Я проверил, что регистрации datanodes и можение не соединяются с master:9000, таким образом, я проверил порты на владельце и нашел этот вход: 127.0.1.1:9000 это должен быть sth как 192.168.1.1:9000 ?
добавлено автор Mehraban, источник
Проблемы @AlfonsoNishikawa, кажется, то же самое. на самом деле я upvoted, что вопрос и ваш ответ там.
добавлено автор Mehraban, источник
@Saeed Адель Мераба: возможно, происходит то же самое с вами как здесь?: stackoverflow.com/questions/20883564/…
добавлено автор Alfonso Nishikawa, источник
Спасибо!:) Хороший, чтобы видеть это было полезно.
добавлено автор Alfonso Nishikawa, источник
What' s ваш вопрос?
добавлено автор darcyq, источник
Я предполагаю, что вопрос теперь состоит в том, почему datanodes не связаны с namenode.
добавлено автор darcyq, источник
Все узлы на hadoop произошли и хорошо работающий - узел имени, шпион работы, узлы данных. Но команда dfsadmin не показывает узлы данных. Также не в состоянии соединиться с узлами данных - дает времени связи ошибку.
добавлено автор spm, источник
Да. Какие-либо ответы?
добавлено автор spm, источник

7 ответы

У меня была точно та же самая проблема и когда я проверил регистрации datanodes, было много , не мог соединить с master:9000 , и когда я проверил порты на владельце с помощью netstat-ntlp , у меня было это в продукции:

tcp 0 0 127.0.1.1:9000 ...

Я понял, что должен поменять свое основное машинное имя или изменение владелец во всех конфигурациях. Я решил сделать первую причину, это кажется намного легче. таким образом, я изменил /etc/hosts и измененный 127.0.1.1 владелец к 127.0.1.1 основная машина и добавил вход в конце файла как это:

192.168.1.1 master

Тогда я изменился владельца , чтобы основную машину в /etc/hostname и перезапустить машину. Проблема закончилась.

1
добавлено

Пожалуйста, проверьте регистрации datanode. Это зарегистрирует ошибки, когда это будет неспособно сообщить namenode. Если вы отправите те ошибки, люди будут в состоянии помочь..

0
добавлено

Просто решенный вопрос следующим ниже шагов -

  1. Удостоверяется, что IP-адреса для узлов владельца и раба правильны в /etc/hosts файл
  2. , Если вам действительно не нужны данные, остановка-dfs.sh , удаляет весь данные справочники в узлах владельца/раба, затем бежит hdfs namenode - формат и начало-dfs.sh . Это должно воссоздать hdfs и устранить проблему
0
добавлено

гм...

Вы проверяли брандмауэр?

Когда я использую hadoop, я выключаю брандмауэр (iptables-F во всех узлах)

и затем попробуйте еще раз.

0
добавлено
Это походит на комментарий до сих пор.
добавлено автор Dave Newton, источник
Я попытался выключить брандмауэр. Все еще никакая удача. Я все еще неспособен заставить узлы данных соединяться с namenode.
добавлено автор spm, источник

Это произошло с нами, когда мы перезапустили группу. Но через некоторое время, datanodes были автоматически обнаружены. Мог быть возможно из-за собственности времени задержки отчета о блоке.

0
добавлено

Обычно есть ошибки идентификационных проблем пространства имен в datanode. Поэтому удалите директора имени от владельца и удалите директора данных из datanodes. Теперь отформатируйте datanode и попробуйте DFS начала. Отчет обычно занимает время, чтобы отразить весь datanodes. Даже я получал 0 datanodes, но через какое-то время владелец обнаруживает рабов.

0
добавлено

У меня была та же самая проблема, и я просто решил ее.

/etc/hosts из всех узлов должен быть похожим на это:

127.0.0.1 localhost владелец xxx.xxx.xxx.xxx раб xxx.xxx.xxx.xxx 1 раб xxx.xxx.xxx.xxx 2

0
добавлено