叉烧店并不卖叉烧

ubuntu kylin 16.04安装配置hadoop、java和ssh

hadoop TTT 1262℃ 0评论

安装ssh

安装ssh:apt-get install openssh-server
创建无密码登录ssh
创建密钥:ssh-keygen -t rsa -P ''
到相应的用户目录下进入.ssh目录:cat id_rsa.pub >> authorized_keys
测试登录:ssh localhost

安装配置java

下载jdk:jdk
解压jdk:tar xzvf jdk-8u121-linux-x64.tar.gz
将jdk移动至其他目录:mv jdk1.8.0_121/ /localjdk/
配置jdk的环境变量:gedit ~/.bashrc
在.bashrc文件中添加一下四行,注意修改自己jdk的位置:
export JAVA_HOME=/localjdk
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH
重新读取配置文件:source ~/.bashrc
查看配置是否成功:java -version
出现如下文本表示成功:
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

安装配置hadoop

下载hadoop:hadoop
解压hadoop:tar zxf hadoop.tar.gz
移动hadoop:mv hadoop-3.0.0-alpha2 /usr/local/hadoop
将hadoop bin、sbin和java bin路径写入/etc/environment,添加如下内容:
HADOOP_HOME="/usr/local/hadoop"
JAVA_HOME="/localjdk"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${JAVA_HOME}/bin"
进行测试:
source /etc/environment
echo ${HADOOP_HOME}
出现一下文本表示成功
/usr/local/hadoop

进入${HADOOP_HOME}/etc/hadoop文件夹
修改文件hadoop-env.sh,添加如下内容(jdk目录的所在路径)
export JAVA_HOME=/localjdk

修改hdfs-site.xml,添加如下内容
<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/dfs/data</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
 </configuration>

修改core-site.xml,添加如下内容
 <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://master:9000</value> 
 </property> 

将mapred-site.xml.template重命名:
cp mapred-site.xml.template mapred-site.xml
修改mapred-site.xml,添加如下内容
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件,添加如下内容
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>

创建之前需要的文件夹
mkdir ${HADOOP_HOME}/tmp
mkdir ${HADOOP_HOME}/dfs/name
mkdir ${HADOOP_HOME}/dfs/data

修改hadoop文件夹的用户
chown -R hadoop:hadoop /usr/local/hadoop

用hadoop用户(自己创建)运行:hdfs namenode -format
如果运行失败可以运行:source /etc/environment

最后运行:
start-all.sh
验证命令: jps
出现含下列文本为正常
3540 NodeManager
3030 DataNode
3418 ResourceManager
3898 Jps
stop-all.sh

转载请注明:叉烧店 » ubuntu kylin 16.04安装配置hadoop、java和ssh

喜欢 (0)
发表我的评论
取消评论

CAPTCHA Image
Reload Image
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址