Umas das primeiras ações apos instalar o hadoop e verificar se todas as configurações foram feitas corretamente, umas das formas mais fáceis e iniciar o haddop e apos criar um diretório com hdfs dfs.
Se a configuração do usuário não estiver ok , na hora de criar o diretorio ocorrerar o seguinte erro:
./hdfs dfs -mkdir /bigdata
mkdir: Call From hadoop.localdomain/192.168.56.45 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
para evitarmos esse erro, precisamos deixar o arquivo hosts configurado corretamente e após configurar a chave ssh.
Configurando o hosts
vi /etc/hosts 127.0.0.1 localhost 192.168.56.45 hadoop.localdomain hadoop
Criando a chave ssh
No usuário onde será instalado o hadoop, execute os comandos abaixo:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
Segue o exemplo abaixo:
[hadoop@hadoop ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa Generating public/private rsa key pair. /home/hadoop/.ssh/id_rsa already exists. Overwrite (y/n)? y Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: SHA256:FhDb08SzPktRSIZlFX65GNLtao4xPQ4TCbM4mNG1CzE [email protected] The key's randomart image is: +---[RSA 2048]----+ | E..=*oo. | | . B.*+o.. . | | . + B o++ + | | + o Boo = . | | o o S.o.. o | | o +o . | | .=o= | | .X . | | . o | +----[SHA256]-----+ [hadoop@hadoop ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [hadoop@hadoop ~]$ chmod 0600 ~/.ssh/authorized_keys
Vamos executar o comando novamente
./hdfs dfs -mkdir /bigdata
Agora verificar se o diretorio foi criado corretamente:
./hadoop fs -ls /
[hadoop@hadoop bin]$ ./hadoop fs -ls / Found 1 items drwxr-xr-x - hadoop supergroup 0 2018-03-23 15:58 /bigdata
Espero ter ajudado . Até logo!