Ubuntu16.04LTS下安装Hadoop&Spark

1. 安装Hadoop2.7.3

写的比较早,可能已经不可行,仅供参考,3.0以上新版的安装在后面。

主要就是参考digitalocean的这篇教程,写的十分详细,这里不再赘述。要注意的一点就是在Step 3 — Configuring Hadoop’s Java Home这里,按照教程上的方法找到JAVA的路径再设置,两种方法均可以运行Hadoop,但是在后面运行MapReduce时却总是报错:

/usr/local/hadoop/bin/hadoop: line 166: /usr/bin/java: No such file or directory

好象是JAVA的路径不对,之前设置的是

export JAVA_HOME=/usr/

就重新找到JAVA的安装路径,设置为

export JAVA_HOME=/usr/jdk-8/jre/

然后就可以了。
装好了,之后忙完这阵,就先学个入门: - )

2. 安装Hadoop3&Spark

参考digitalocean官方文档安装即可。

注意下载hadoop的时候不要下错了..在这里,下载hadoop-3.0.1.tar.gz文件。

安装和测试过程中遇到的问题及其解决办法。

2.1 Setup passphraseless ssh

官方文档Setup passphraseless ssh步设置无密码登录localhost出错ssh: sign_and_send_pubkey: signing failed: agent refused operation,参考对应链接执行ssh-add解决。

2.2 Execution: sbin/start-dfs.sh

官方文档执行sbin/start-dfs.sh出错,参考Permission Denied error while running start-dfs.sh,执行export PDSH_RCMD_TYPE=ssh解决。

2.3 Execution: bin/hdfs dfs -mkdir input

官方文档执行bin/hdfs dfs -mkdir input出错。参考hdfs dfs -mkdir, No such file or directory,执行hdfs dfs -mkdir -p xxx解决。

击蒙御寇