博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在docker上搭建hadoop single node cluster
阅读量:6037 次
发布时间:2019-06-20

本文共 2018 字,大约阅读时间需要 6 分钟。

hot3.png

Host OS: 10.120.30.79,创建容器,安装Java。

[root@plm-deploy soft]# more /etc/system-releaseCentOS Linux release 7.2.1511 (Core)[root@plm-deploy soft]# docker run -t -i centos /bin/bash[root@plm-deploy soft]# docker ps -aCONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES2764044fdc72        centos              "/bin/bash"         20 hours ago        Up 20 hours                             grave_almeida[root@plm-deploy soft]# docker cp jdk-7u79-linux-x64.rpm 2764044fdc72:/root/soft/jdk-7u79-linux-x64.r

前期所需的软件:

[root@2764044fdc72 soft]# rpm -ivh jdk-7u79-linux-x64.rpm[root@2764044fdc72 soft]# yum install -y openssh-clients

确保rsync已经安装,如果没有则安装之。

确保ssh localhost成功。

运行/usr/sbin/sshd -D

[root@2764044fdc72 etc]# /usr/sbin/sshd -DCould not load host key: /etc/ssh/ssh_host_rsa_keyCould not load host key: /etc/ssh/ssh_host_ecdsa_keyCould not load host key: /etc/ssh/ssh_host_ed25519_key

解决方案:

ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_keyssh-keygen -t ecdsa -b 521 -f /etc/ssh/ssh_host_ecdsa_keyssh-keygen -t ed25519 -b 2048 -f /etc/ssh/ssh_host_ed25519_key
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

解压hadoop文件,修改配置vi /opt/hadoop/etc/hadoop/hadoop-env.sh

修改其中的export JAVA_HOME=/usr/java/jdk1.7.0_79

修改hadoop配置:

etc/hadoop/core-site.xml:

    
        
fs.defaultFS
        
hdfs://localhost:9000
    

etc/hadoop/hdfs-site.xml:

    
        
dfs.replication
        
1
    
$ bin/hdfs namenode -format$ sbin/start-dfs.sh

到此hadoop的HDFS已经完成。但是由于之前没有做端口映射,所以容器中的HDFS服务无法通过50070端口访问。

这时可以保存容器到镜像,然后基于此镜像创建新的容器,同时打开50070端口。

docker commit 2764044fdc72 standalone_hadoop:1.0docker run -t -i -p 50070:50070 standalone_hadoop:1.0 /bin/bash

进入新的容器,启动sshd,启动HDFS,然后就可以通过http方式访问HDFS。

转载于:https://my.oschina.net/shawnplaying/blog/610456

你可能感兴趣的文章
外网用户通过citrix打印慢的解决方法
查看>>
STL容器的使用
查看>>
关于std::map
查看>>
JXL导出Excel文件兼容性问题
查看>>
VBoot1.0发布,Vue & SpringBoot 综合开发入门
查看>>
centos7 安装wps 后 演示无法启动
查看>>
git简单命令
查看>>
LAMP编译部署
查看>>
XenDesktop7.6安装部署入门教程
查看>>
HashMap的工作原理及HashMap和Hashtable的区别
查看>>
GregorianCalendar日历程序
查看>>
Sublime 中运行 Shell 、Python、Lua、Groovy...等各种脚本
查看>>
【Java集合源码剖析】ArrayList源码剖析
查看>>
linux的目录结构
查看>>
这次逻辑通了,
查看>>
HTMLHelper
查看>>
快速构建Windows 8风格应用29-捕获图片与视频
查看>>
java程序:set改造成map
查看>>
C++ 排序函数 sort(),qsort()的使用方法
查看>>
OC语言Block和协议
查看>>