准备工作:
下载Hadoop :
安装JDK:JDK环境变量设置,在/etc/profile或者~/.bashrc里面添加
export JAVA_HOME={your java home}export JAVA_BIN={your java home}/binexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATH
source /etc/profile 让环境变量立即生效。
安装ssh:sudo apt-get install ssh
配置ssh免登陆:
1)查看是否生成目录.ssh: $ ls -al /home/mupeng/
如果没有,手动创建目录.ssh: $ mkdir /home/mupeng/.ssh
2)生成公、私密钥:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 或 $ ssh-keygen -t rsa
ssh-keygen是生成密钥的命令, -t表示生成密钥类型,此处为dsa(密钥认证),-P用于提供密语,-f 指定密钥文件
3) 将公钥加到用于认证的公钥文件中:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 或 cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
4)验证: ssh localhost
如果出现以下画面,则表示配置成功。
修改Hadoop配置文件
conf/core-site.xml:
conf/hdfs-site.xml:fs.default.name hdfs://localhost:9000
conf/mapred-site.xml:dfs.replication 1
mapred.job.tracker localhost:9001
启动Hadoop伪集群
Format a new distributed-filesystem:
$ bin/hadoop namenode -format
Start the hadoop daemons:
$ bin/start-all.shBrowse the web interface for the NameNode and the JobTracker; by default they are available at:
NameNode -
JobTracker -