一、hadoop2.4编译方法可参考:Linux64位操作系统(CentOS6.6)上如何编译hadoop2.4.0 。
二、准备工具
1.部署准备两个机器test1为Master,test2为Slave。
在两个机器上分别vim /etc/hosts 加入如下内容: 192.168.1.100 test1 192.168.1.200 test2
2.增加hadoop用户
groupadd hadoop useradd hadoop -g hadoop passwd hadoop
3.设置Master无密码登录slave
在test1下生成公钥/私钥对并复制到test2上。 su hadoop ssh-keygen -t rsa -P '' scp ~/.ssh/id_rsa.pub hadoop@test2:~/.ssh/id_rsa.pub test2把从test1复制的id_rsa.pub添加到.ssh/authorzied_keys文件里 cat id_rsa.pub >> authorized_keys chmod 600 .ssh/authorized_keys
4.修改句柄数:
ulimit -n 65535 vim /etc/security/limits.conf增加如下内容: \* hard nofile 65535 \* soft nofile 65535
三、配置hadoop
将编译好的hadoop2.4.0解压后修改etc/hadoop目录里的配置文件。
1.修改hadoop-env.sh
export JAVA_HOME=/opt/jdk
2.修改core-site.xml
<property> <name>fs.default.name</name> <value>hdfs://HDP125:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/${user.name}/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property>
说明:
fs.defaultDFS:设置NameNode的IP和端口
hadoop.tmp.dir:设置Hadoop临时目录,(默认/tmp,机器重启会丢失数据!)
fs.trash.interval:开启Hadoop回收站
3.修改hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/${user.name}/dfs_name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/${user.name}/dfs_data</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>
说明:
dfs.replication:文件复本数
dfs.namenode.name.dir:设置NameNode存储元数据(fsimage)的本地文件系统位置
dfs.datanode.data.dir:设置DataNode存储数据的本地文件系统位置
dfs.support.append:设置HDFS是否支持在文件末尾追加数据
dfs.datanode.max.xcievers:设置datanode可以创建的最大xcievers数
4.修改yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.timeline-service.hostname</name> <value>master</value> </property>
5.修改mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
6.修改slave
test1 test2
7.把配置好的Hadoop程序复制到其它节点
scp -r /opt/hadoop hadoop@test2:/opt/ chown -R hadoop:hadoop /opt/hadoop
四、启动和关闭hadoop
1.第一次使用一个分布式文件系统,需要对其进行格式化:
./bin/hadoop namenode –format
2.启动Hadoop:
sbin/start-all.sh
3.关闭Hadoop:
sbin/stop-all.sh
4.Hadoop自带的WEB管理界面
相关推荐
Hadoop2.4linux安装配置过程详细过程。
Hadoop 2.4 完全分布式环境安装与配置
Hadoop2.4、Hbase0.98、Hive集群安装配置手册
这里详细介绍了hadoop2.4.1的伪分布式的搭建,主要是一些配置文件的修改
很详细的Hadoop安装配置文档,经过实践检验。。。。。。。
Hadoop与HBase自学笔记 1、 安装jdk 2、 安装Cygwin以及相关服务 2.1 安装Cygwin 2.2 配置环境变量 2.3 安装sshd服务 2.4 启动sshd服务 2.5 配置ssh登录 3、安装hadoop 3.1 修改hadoop-env.sh ...
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 ...附录A 安装Apache Hadoop 附录B Cloudera’s Distribution for Hadoop 附录C 准备NCDC天气数据
实验1:Hadoop 安装与配置管理 4 1.1【实验目的】 4 1.2【实验环境】 4 1.3【实验过程】 4 Step1:基础设施. 5 Step2:各服务器安装JDK 7 Step3:各服务器的网络设置 8 Step4:在namenode安装Hadoop 9 Step5:修改Hadoop...
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
Hive及Hadoop群 11.1 Hive 11.1.1 安装与配置Hive 11.1.2 查询的示例 11.1.3 深入HiveQL 11.1.4 Hive小结 11.2 其他Hadoop 相关的部分 11.2.1 HBase 11.2.2 ZooKeeper 11.2.3 Cascading 11.2.4 Cloudera ...
Hadoop+Hbase技术使用文档 1 目的 3 2 运行环境要求 4 2.1 支持的平台 4 2.2 硬件环境 4 2.3 软件环境 4 2.4 其他要求 5 ...5.4 hadoop配置 9 5.4.1 修改core-site.xml 9 5.4.2 修改mapred-site.xml 13
自己在3台虚拟机环境搭建的hadoop,spark集群环境。 方便以后自己参考及...2.4每台机器安装hadoop2.7.3 版本 在 150 上操作 安装spark 2.1 3.1在150 上面解压spark2.1 3.2建立软链接 3.3 进行配置 3.4 启动服务
4.4.6 Backup Node安装及配置 4.4.7 Data Node安装及配置 4.4.8 Clients安装及配置 4.5 异常解决方案 4.5.1 异常情况分析 4.5.2 NameNode配置 4.5.3 Backup Node配置 4.5.4 Data Node配置 4.5.5 NameNode宕机切换...
hadoop搭建配置文件 hdfs-site.xml core-site.xml mapred-site.xml 等等,本人使用的是2.4版本。内部标签有相应汉语注释
MapReduce编程模型3.1 MapReduce编程模型概述3.1.1 MapReduce编程接口体系...配置与提交3.3.2 InputFormat接口的设计与实现3.3.3 OutputFormat接口的设计与实现3.3.4 Mapper与Reducer解析3.3.5 Partitioner接口的...
1.3 安装HADOOP 8 1.3.1 安装的前提条件 8 1.3.2 安装Hadoop 13 1.3.3 检查你的环境 14 1.4 执行和测试HADOOP样例程序 18 1.4.1 Hadoop的样例代码 18 1.4.2 测试Hadoop 23 1.5 解决问题 24 1.6 总结 25 2 MAPREDUCE...
火花流##配置从 Apache 下载 spark-1.1.0-bin-hadoop2.4 设置主节点和工作节点通过运行 sbin/startall.sh 启动 Spark 请修改 Properties.java 以设置文件路径和 Spark Streaming 的频率##怎么跑? 在启动 Spark...