欢迎来到山村网

安装Hadoop1.0.4伪分布式的方法

2019-03-09 10:01:29浏览:463 来源:山村网   
核心摘要:一、使用环境操作系统:Ubuntu12.04Hadoop版本:1.0.4二、Hadoop官网安装手册单机安装分为standalone和pseudo-distributed两种模

一、使用环境


操作系统:Ubuntu12.04

Hadoop版本:1.0.4


二、Hadoop官网安装手册
单机安装分为“standalone”和“pseudo-distributed”两种模式,我使用的是伪分布式模式。

手册的安装步骤很详细,没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。


三、手册缺陷
手册主要有两个问题没有说清楚:

1.Hadoop安装在哪个目录下好?

选择一般有两种:/usr/local和家目录下。我选择安装在家目录下,因为开始玩hadoop的时候,这样避免了权限的麻烦;如果要部署应用的话,应该安装在/usr/local。

2.配置文件的问题

这是安装hadoop最重要的步骤。所有配置文件均在${HADOOP_HOME}/conf目录下。

如果完全按照手册配置,你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况。配置文件的不同主要在core-site.xml.

手册配置如下:


<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>我的配置如下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zhengeek/hadoop-tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>


有两处不同:

1.9000和8020这两个端口都可以,只要没有被占用。

2.最容易出问题的地方就在这里。比如这个哥们遇到的问题。

hadoop运行起来,hdfs和mapreduce有许多数据需要保存。这可以通过dfs.name.dir 和 dfs.data.dir设置。如果没有设置,那么数据就会默认存放在/tmp目录下,如果机器重启,tmp目录下的数据就会丢失,namenode自然启动不起来了。

如果设置了hadoop.tmp.dir,那么这些数据就会默认存放在改目录下。

有关hadoop.tmp.dir设置的讨论。

四、启动hadoop

1.格式化hdfs

$bin/hadoop namenode -format

2.启动hdfs

$bin/start-all.sh

3.检查是否成功

$jps

若成功,会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker五个进程。

(责任编辑:豆豆)
下一篇:

华为路由Q1如何用手机设置上网

上一篇:

华为路由器如何隐藏WiFi

  • 信息二维码

    手机看新闻

  • 分享到
打赏
免责声明
• 
本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们 xfptx@outlook.com