博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 1.2.1 伪分布式模式安装
阅读量:6179 次
发布时间:2019-06-21

本文共 1464 字,大约阅读时间需要 4 分钟。

  hot3.png

准备工作

下载Hadoop :

安装JDK:JDK环境变量设置,在/etc/profile或者~/.bashrc里面添加

export JAVA_HOME={your java home}export JAVA_BIN={your java home}/binexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATH

source /etc/profile 让环境变量立即生效。

安装ssh:sudo apt-get install ssh 

配置ssh免登陆

1)查看是否生成目录.ssh:  $ ls -al /home/mupeng/

 如果没有,手动创建目录.ssh:  $ mkdir /home/mupeng/.ssh

2)生成公、私密钥:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  或  $ ssh-keygen -t rsa

ssh-keygen是生成密钥的命令, -t表示生成密钥类型,此处为dsa(密钥认证),-P用于提供密语,-f 指定密钥文件

3) 将公钥加到用于认证的公钥文件中:

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  或  cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys

4)验证: ssh localhost

如果出现以下画面,则表示配置成功。

182945_zsDA_76720.jpg

修改Hadoop配置文件

conf/core-site.xml:

     
         
fs.default.name
         
hdfs://localhost:9000
     

conf/hdfs-site.xml:

     
         
dfs.replication
         
1
     

conf/mapred-site.xml:

     
         
mapred.job.tracker
         
localhost:9001
     

启动Hadoop伪集群

Format a new distributed-filesystem:

$ bin/hadoop namenode -format

Start the hadoop daemons:

$ bin/start-all.sh

Browse the web interface for the NameNode and the JobTracker; by default they are available at:

  • NameNode - 

  • JobTracker - 

转载于:https://my.oschina.net/mup/blog/357326

你可能感兴趣的文章
SQL表连接查询(inner join、full join、left join、right join)
查看>>
阿里云OTS(开放结构化数据服务)可视化管理工具的设计和功能介绍
查看>>
Github创建分支
查看>>
转换PHP脚本成为windows的执行程序
查看>>
Python组织文件 实践:将带有美国风格日期的文件改名为欧洲风格日期
查看>>
实现iOS7上tableView的切割线像iOS6中的效果
查看>>
使用阿里云接口进行银行卡四要素实名认证
查看>>
聊聊excel生成图片的几种方式
查看>>
20 万网络节点背后的数据创新应用
查看>>
理论 | 朴素贝叶斯模型算法研究与实例分析
查看>>
docker安装gitlab只需要3分钟
查看>>
Android菜鸟学习js笔记 一
查看>>
Java基础之SPI机制
查看>>
使用js控制滚动条的位置
查看>>
【Tornado源码阅读笔记】tornado.web.Application
查看>>
lsyncd搭建测试
查看>>
移动web开发之像素和DPR
查看>>
nginx+tomcat+redis实现session共享
查看>>
UWP VirtualizedVariableSizedGridView 支持可虚拟化可变大小Item的View(二)
查看>>
rsync 介绍
查看>>