Erro ao criar um diretorio no hadoop

Umas das primeiras ações apos instalar o hadoop e verificar se todas as configurações  foram feitas corretamente, umas das formas mais fáceis e iniciar o haddop e apos criar um diretório com hdfs dfs.

Se a configuração do usuário não estiver ok , na hora de criar o diretorio ocorrerar o seguinte erro:

./hdfs dfs -mkdir /bigdata

mkdir: Call From hadoop.localdomain/192.168.56.45 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

para evitarmos esse erro, precisamos deixar o arquivo hosts configurado corretamente e após configurar a chave ssh.

Configurando o hosts

vi /etc/hosts

127.0.0.1 localhost
192.168.56.45 hadoop.localdomain hadoop

Criando a chave ssh

No usuário onde será instalado o hadoop, execute os comandos abaixo:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

Segue o exemplo abaixo:

[hadoop@hadoop ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
Generating public/private rsa key pair.
/home/hadoop/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:FhDb08SzPktRSIZlFX65GNLtao4xPQ4TCbM4mNG1CzE [email protected]
The key's randomart image is:
+---[RSA 2048]----+
| E..=*oo. |
| . B.*+o.. . |
| . + B o++ + |
| + o Boo = . |
| o o S.o.. o |
| o +o . |
| .=o= |
| .X . |
| . o |
+----[SHA256]-----+
[hadoop@hadoop ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@hadoop ~]$ chmod 0600 ~/.ssh/authorized_keys

Vamos executar o comando novamente

./hdfs dfs -mkdir /bigdata

Agora verificar se o diretorio foi criado corretamente:

./hadoop fs -ls /
[hadoop@hadoop bin]$ ./hadoop fs -ls /
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2018-03-23 15:58 /bigdata

Espero ter ajudado . Até logo!

 

 

 

 

Leave a Reply

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *