1.2k 次阅读
标签：至少1个，最多5个
0.环境搭建准备
实体机Win7 64位
SSH Secure Shell Client
Centos 6.5 版本
Hadoop 2.6.0 版本（编译后64位）
OpenJdk1.7.0
注：jdk的安装方法有三种，具体参照
1.实验环境
role192.168.47.131
ActiveNameNode192.168.47.132
StandByNameNode192.168.47.133
DataNode1192.168.47.134
2.基本配置
（注：下面的代码有的是用超级用户权限才能执行，所以遇到权限不够的时候，代码前面加上sudo,将自己当前用户变为超级用户的方法比较简单，就不多说了，也可以使用root权限，但比较费事。）
2-1 网络配置
物理地址hadoop1
00:0C:29:4E:45:5Bhadoop2
00:50:56:28:02:B1hadoop3
00:50:56:3F:4C:59hadoop4
00:50:56:3C:D1:7D1.查看虚拟机物理地址
设置—网络适配器—高级—Mac地址 如下图：
PS:每次复制完虚拟机后，它们物理地址都相同，按下生成，即可生成新的物理地址，这样可以保证每一台虚拟机的物理地址不同，防止后面网络配置出错。
2.进行eth0配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
修改硬件地址并加入以下三行
IPADDR=192.168.47.131
NETMASK=255.255.255.0
GATEWAY=192.168.47.2
观察下面两项，改成如下设置
ONBOOT=yes
BOOTPROTO=none
vim /etc/resolv.conf
输入nameserver 192.168.47.2
即网关（也可以参照其他资料上设置，最终连上网就行）保存后，输入
service iptables stop
考虑到后面节点的启动，也可以将防火墙设置为永久关闭,命令如下：
chkconfig iptables off
如果还是没连接，输入
service network restart
4.修改主机名编辑系统文件
/etc/sysconfig/network
在里面添加下面语句（根据实际修改）
HOSTNAME=hadoop1
5.配置hosts文件
vim /etc/hosts
192.168.47.131
192.168.47.132
192.168.47.133
192.168.47.134
网络配置这里比较重点，网上有很多方法，个人觉得这种方法算是比较简单易行的，整体虚拟机网络设置为dhcp，即自动获取，这样可以保证虚拟机和外网互通，建议可以在windows和虚机间ping一下，检查是否联网，之后在几台虚拟机上设置静态Ip,可以ifconfig一下，检查是否设置成功。
2-2 SSH免密码登录
1.安装SSH:
yum install openssh-clients
如果输入yum
install ssh可能会报错，报错如下
ssh安装成功界面
3.修改SSH配置文件
/etc/ssh/sshd_config
修改成如下图(其实就是把前面 ‘#’ 删除即可)
service sshd restart
进入当前用户下，生成秘钥
cd /home/hadoop
ssh-keygen -t rsa
一路回车设置.ssh目录和公秘钥权限
sudo chmod 700 /home/hadoop
sudo chmod 700 -R ~/.ssh
sudo chmod 600 ~/.ssh/authorized_keys
配置本机免密码登录
cat id_rsa.pub && authorized_keys
检验能否无密码ssh登录本机
[hadoop@hadoop1 .ssh]$ssh hadoop1
第一次登录需要回答yes，以后都不需要，可以直接登录。
注意：这里生成密钥建议在几台虚拟机克隆过后网络配置、文件配置完成后施行，免密码登录这里直接影响最后格式化及节点启动是否成功，所以笔者在最后设置，检验完免密码登录后，启动格式化。
这里我配置了activenamenode到其他几个datanode的免密码登录，即hadoop1到hadoop2、hadoop3、hadoop4的免密码登录，也可以设置双向的。
hadoop1主机免密码登录hadoop2主机
1.进入hadoop1的.ssh目录下
2.把authorized_keys复制到其他机器上，如节点hadoop2
scp authorized_keys hadoop@hadoop2:/home/hadoop/.ssh/temp
注意：若出现权限不足，可以root权限过去
scp authorized_keys root@hadoop2:/home/hadoop/.ssh/temp
3.进入hadoop2的.ssh目录，修改拥有者和用户组
cd ~/.ssh/
chown hadoop temp
chgrp hadoop temp
cat temp && authorized_keys
现在可以从hadoop1免密码登录hadoop2，在hadoop1主机上
ssh hadoop2
成功后可以删除临时文件temp(这个临时文件不需要新建，系统自己会建）
从hadoop2主机免密码登录到hadoop1
1.在hadoop2上执行
scp authorized_keys hadoop@name:/home/hadoop/.ssh/temp
在hadoop1上执行
cd ~/.ssh/
cat temp && .ssh/authorized_keys
在hadoop2虚拟机上测试
ssh hadoop1
确定activenamenode可以免密码登录到任何一个datanode后，开始启动节点,注意最起码保证以上要求，在本例中应该最少设置hadoop1能免密码登录到hadoop2、hadoop3、hadoop4，否则会出现最后格式化的时候出现连接不上其他几台虚拟机的报错（原理嘛很简单，就是namenode会与其他几个datanode进行交互，如果设置了密码，也不可能人工输入密码，程序就会报错）。
2-3 hadoop软件安装及文件配置
2-3-1安装过程1.解压安装包将已下载好的hadoop-2.6.0.tar.gz 存放在hadoop用户目录下, 并解压至当前主用户目录下.
/home/hadoop-2.6.0.tar.gz
/home/hadoop/
Apache Hadoop 各个版本的下载地址：
2.配置Hadoop的环境变量
sudo vim /etc/profile
在末尾加上以下配置,保存退出
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3.环境变量生效
sudo source /etc/profile
2-3-2 文件配置
进入到目录hadoop-2.6.0里的/etc/hadoop/目录下进行文件的配置1.vim hadoop-env.sh增加java和hadoop环境变量及本地库
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.121.x86_64
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
2.修改core-site.xml文件
&property&
&name&fs.defaultFS&/name&
&value&hdfs://hadoop1:8020&/value&
&/property&
3.修改yarn-site.xml文件
&name&yarn.resourcemanager.address&/name&
&value&hadoop1:8032&/value&
&/property&
&property&
&name&yarn.resourcemanager.scheduler.address&/name&
&value&hadoop1:8030&/value&
&/property&
&property&
&name&yarn.resourcemanager.webapp.address&/name&
&value&hadoop1:8088&/value&
&/property&
&property&
&name&yarn.resourcemanager.webapp.https.address&/name&
&value&hadoop1:8090&/value&
&/property&
&property&
&name&yarn.resourcemanager.resource-tracker.address&/name&
&value&hadoop1:8031&/value&
&/property&
&property&
&name&yarn.resourcemanager.admin.address&/name&
&value&hadoop1:8033&/value&
&/property&
&property&
&name&yarn.resourcemanager.scheduler.class&/name&
&value&org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler&/value&
&/property&
&property&
&name&yarn.scheduler.fair.allocation.file&/name&
&value&${yarn.home.dir}/etc/hadoop/fairscheduler.xml&/value&
&/property&
&property&
&name&yarn.nodemanager.local-dirs&/name&
&value&/home/hadoop/yarn/local&/value&
&/property&
&property&
&name&yarn.log-aggregation-enable&/name&
&value&true&/value&
&/property&
&property&
&description&Where to aggregate logs to.&/description&
&name&yarn.nodemanager.remote-app-log-dir&/name&
&value&/tmp/logs&/value&
&/property&
&property&
&name&yarn.nodemanager.resource.memory-mb&/name&
&value&30720&/value&
&/property&
&property&
&name&yarn.nodemanager.resource.cpu-vcores&/name&
&value&12&/value&
&/property&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
注意resourcemanager是哪台虚拟机，自己设定并修改配置。
4.修改mapred-site.xml文件
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&!-- jobhistory properties --&
&property&
&name&mapreduce.jobhistory.address&/name&
&value&hadoop2:10020&/value&
&/property&
&property&
&name&mapreduce.jobhistory.webapp.address&/name&
&value&hadoop2:19888&/value&
&/property&
主要设置standbynamenode节点相关端口号
5.设置hdfs-site.xml文件，这是比较核心的文件，经常格式化不成功问题也出现在这里。
&name&dfs.nameservices&/name&
&value&hadoop-test&/value&
&/property&
&property&
&name&dfs.ha.namenodes.hadoop-test&/name&
&value&nn1,nn2&/value&
&/property&
&property&
&name&dfs.namenode.rpc-address.hadoop-test.nn1&/name&
&value&hadoop1:8020&/value&
&/property&
&property&
&name&dfs.namenode.rpc-address.hadoop-test.nn2&/name&
&value&hadoop2:8020&/value&
&/property&
&property&
&name&dfs.namenode.http-address.hadoop-test.nn1&/name&
&value&hadoop1:50070&/value&
&/property&
&property&
&name&dfs.namenode.http-address.hadoop-test.nn2&/name&
&value&hadoop2:50070&/value&
&/property&
&property&
&name&dfs.namenode.name.dir&/name&
&value&file:///home/hadoop/hdfs/name&/value&
&/property&
&property&
&name&dfs.namenode.shared.edits.dir&/name&
&value&qjournal://hadoop2:8485;hadoop3:8485;hadoop4:8485/hadoop-test&/value&
&/property&
&property&
&name&dfs.datanode.data.dir&/name&
&value&file:///home/hadoop/hdfs/data&/value&
&/property&
&property&
&name&dfs.ha.automatic-failover.enabled&/name&
&value&false&/value&
&/property&
&property&
&name&dfs.journalnode.edits.dir&/name&
&value&/home/hadoop/hdfs/journal/&/value&
&/property&
可以在主目录下建立hdfs文件夹，及里面的data,name,journal三个文件夹，有时候系统也会自动生成，这点诸位可以自行尝试。
6.修改yarn-env.sh加入java环境变量即可
7.修改slaves（即各个datanode 主机名），加入以下三行
8.在/home/hadoop/hadoop-2.6.0/etc/hadoop/目录下新建一个文件fairsheduler.xml
touch fairsheduler.xml
将下面的内容复制进去
&allocations&
&queue name="infrastructure"&
&minResources&102400 mb, 50 vcores &/minResources&
&maxResources&153600 mb, 100 vcores &/maxResources&
&maxRunningApps&200&/maxRunningApps&
&minSharePreemptionTimeout&300&/minSharePreemptionTimeout&
&weight&1.0&/weight&
&aclSubmitApps&root,yarn,search,hdfs&/aclSubmitApps&
&queue name="tool"&
&minResources&102400 mb, 30 vcores&/minResources&
&maxResources&153600 mb, 50 vcores&/maxResources&
&queue name="sentiment"&
&minResources&102400 mb, 30 vcores&/minResources&
&maxResources&153600 mb, 50 vcores&/maxResources&
&/allocations&
3.验证hadoop
hadoop 启动(HDFS , YARN启动)注意：所有操作均在Hadoop部署目录下进行。启动Hadoop集群：
Step1 :在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode
通过jps可以查看到启动情况
Step2:在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode –format
观察到如下界面即为格式化成功，status为0即为成功，若为1或者其他数字则有错，请重新检查之前的步骤。
格式化成功后，启动acivenamenode
sbin/hadoop-daemon.sh start namenode
Step3:在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby
观察到如下图，备用节点格式化成功
Step4:启动[nn2]：
sbin/hadoop-daemon.sh start namenode
经过以上四步操作，nn1和nn2均处理standby状态
Step5:将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
Step6:在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode
查看数据节点启动情况
Step7:启动yarn：在[nn1]上，输入以下命令
sbin/start-yarn.sh
此时在activenamenode下输入jps，观察到除了NameNode进程，还有ResourceManager的进程；在datanode下输入jps，观察到除了DataNode进程，还有NodeManager的进程，这里就不截图了。
Step8:关闭hadoop集群：在[nn1]上，输入以下命令
sbin/stop-dfs.sh
web地址访问:192.168.47.131:50070activenamenode
Standbynamenode192,168.47.132:50070
查看datanodes信息
在web端输入 192.168.47.131：8088即可看到yarn工作界面
看到如上界面即表示hadoop YARN环境搭建部署ok了，第一次搭建打开网页成功后，之后可能第二次格式化会出各种问题，笔者也在探索，还有后续内容喔。
0 收藏&&|&&4
你可能感兴趣的文章
你可能感兴趣的文章
分享到微博？
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。博客分类：
&& 在成熟平台上学习了hadoop的基本知识后，开始尝试自己搭建hadoop平台，在搭建伪分布式成功的基础上，进行了真正分布式的部署。
&&& 前期搭建的伪分布式，采用的版本分别是：hadoop-1.2.1+apache-hive-0.13.0+hbase-0.98.1，这个版本组合经过测试可以正常使用，所有搭建分布式的环境也采用了这些版本。
环境规划
机器名 && IP &&&&&&&&&&& 角色
master 100.2.12.85 nameNode，master，jobtracker
slave1 100.2.12.13 Datanode，slave，tasktracker
slave2 100.2.12.97 Datanode，slave，tasktracker
slave3 100.2.12.94 Datanode，slave，tasktracker
一、Hadoop安装
1、根据规划对各个机器设置hostname
2、配置/etc/hosts,每台机器上采用相同的配置
100.2.12.85 master
100.2.12.13 slave1
100.2.12.97 slave2
100.2.12.94 slave3
3、可以新建一个用户，用来安装hadoop，比如新建用户hadoop，也可以再root进行分布式部署。
useradd hadoop
passwd hadoop
4、配置ssh免登陆
这一块折腾了一会，因为不明白公钥、私钥的原理，如果想深入了解一下可以参考一个文章，http://www.blogjava.net/yxhxj2006/archive//389547.html；
a、ssh-keygen -t dsa -P ''
b、cat ~/.ssh/id_dsa.pub && ~/.ssh/authorized_keys
如果想让多台机器互相免密码登陆，即maser登陆slave1，slave1登陆master，只要把各自的id_rsa.pub 追加到对方的authorized_keys即可。把mster的公钥追加到slave1的keys种，slave1的公钥追加到maset的keys中，这样就master与slave1就可以免密码登陆了。以此类推配置其它节点。
5、部署hadoop
a、tar解压hadoop压缩包，mv重命名伟hadoop。
b、修改配置文件
修改conf/Hadoop-env.sh，配置java_home
修改conf/core-site.xml,创建文件夹/home/hadoop/tempdir
&configuration&
&property&
&& &name&fs.default.name&/name&
&&&&& &value&hdfs://master:9000&/value&
&&&&& &/property&
&&&&& &property&
&&&&&&&&& &name&hadoop.tmp.dir&/name&
&&&&&&&&&&&&& &value&/home/hadoop/tempdir&/value&
&&&&&&&&&&&&& &/property&
&&&&&&&&&&&&& &/configuration&
c、修改hdfs-site.xml配置
&configuration&
&property&
&& &name&dfs.replication&/name&
&&&&& &value&2&/value&
&&&&& &/property&
&&&&& &/configuration&
d、修改mapred-site.xml配置
&configuration&
&property&
&&&& &name&mapred.job.tracker&/name&
&&&&&&& &value&master:9001&/value&
&&&&&&& &/property&
&&&&&&& &/configuration&
e、配置masters
master
f、配置slave
slave1
slave2
slave3
到此hadoop需要的配置已经完成了，用scp命令将hadoop发送到slave1~slave3。
发送完成后进行格式化
hadoop namenode –format
格式化成功后，start-all.sh 启动hadoop集群，通过jps查看启动状态。
你可以通过命令
Hadoop dfsadmin –report
查看集群状态
或者通过http://master:50070；http://master:50030查看集群状态。
二、Hive的安装
Hive的安装相对比较简单，只需修改几个配置就行。Hive自动了元数据库，但使用不方便，因为自带的数据库如果进入hive shell的路径不一致，就看不到对应的表，如从/home进入hive建的表，从/home/hadoop,路径进入hive则看不到刚才建的表，所有建议单独安装数据库作为元数据库，我安装了mysq数据库，作为Hive的元数据库。
1、安装myslq，最好采用yum或apt-get的方式安装，不同的平台的采取不同方式，这样可以省去很多麻烦，避免了解决依赖包的问题。
安装完myslq之后，需要做一点配置。
设置密码：
MySQL在刚刚被安装的时候，它的root用户是没有被设置密码的。首先来设置MySQL的root密码。
[root@sample ~]# mysql -u root　 ← 用root用户登录MySQL服务器
Welcome to the MySQL monitor. C or \g.
Your MySQL connection id is 2 to server version: 4.1.20
Type '' or '\h' for help. Type '\c' to clear the buffer.
mysql&grant all on mysql.* to 'root'@'localhost' identified by 'password';
之后 就可以通过密码登录mysql了。
设置远程访问：
首先，在MySQL服务器上本地登录，使用下面的命令登录：
# mysql-u root -p
然后，使用权限管理命令将所有表的所有权限授予用户，下面继续以root为例（需要注意的是用户名root，被授权主机%，登录密码password需要被单引号括起来）：
mysql& grant all privileges on *.* to 'root’@'%’ identified by 'password';
2、tar 解压hive压缩包
修改配置文件
hive的配置文件放在HIVE_HOME/conf目录下，我们需要修改hive-env.sh和hive-site.xml这两个文件。
ls之 后发现并没有这两个文件，但是有hive-env.sh.template,hive-default.xml.template,我们须复制这两个文 件，并分别命名为hive-env.sh,hive-site.xml。
一般还有一个hive-default.xml文件，同样由hive- default.xml.template复制而来。hive-default.xml是默认配置，hive-site.xml是个性化配置，将会覆盖 hive-default.xml配置。
a、修改hive-env.sh配置文件
将export HADOOP_HEAPSIZE=1024前面的‘#’去掉，当然可以根据自己的环境对这个默认的1024进行优化；
将export HADOOP_HOME前面的‘#’号去掉，并让它指向您所安装hadoop的目录，我的/home/hadoop/hadoop；
将export HIVE_CONF_DIR=/home/hadoop/hive/conf,并且把‘#’号去掉;
将export HIVE_AUX_JARS_PATH=/home/hadoop/hive/lib,并且把‘#’号去掉。
b、修改hive-site.xml
&property&
& &name&hive.metastore.warehouse.dir&/name&
& &value&/user/hive/warehouse&/value&#hdfs下的目录
& &description&location of default database for the warehouse&/description&
&/property&
#存放hive相关日志的目录
&property&
& &name&hive.querylog.location&/name&
& &value&/usr/hadoop/hive/log&/value&#需要自己手动创建对应目录
& &description&
&&& Location of Hive run time structured log file
& &/description&
&/property&
c、在hive-site.xml下配置mysql元数据库
&configuration&
&&& &property&
&&&&&&& &name&hive.metastore.local&/name&
&&&&&&& &value&true&/value&
&&& &/property&
&&& &property&
&&&&&&& &name&javax.jdo.option.ConnectionURL&/name&
&&&&&&& &value&jdbc:mysql://192.168.11.157:3306/hive&/value&
&&& &/property&
&&& &property&
&&&&&&& &name&javax.jdo.option.ConnectionDriverName&/name&
&&&&&&& &value&com.mysql.jdbc.Driver&/value&
&&& &/property&
&&& &property&
&&&&&&& &name&javax.jdo.option.ConnectionUserName&/name&
&&&&&&& &value&hive&/value&
&&& &/property&
&&& &property&
&&&&&&& &name&javax.jdo.option.ConnectionPassword&/name&
&&&&&&& &value&mysql&/value&
&&& &/property&
&/configuration&
根据实际情况做对应的修改。并下载mysql的驱动复制到hive/lib中。
到此hive的安装配置已完成，可以进入hive查看一下。
hive
show tables；
三、Hbase安装
Hbase需要安装zookeeper，Hbase自带了Zookeeper，单独安装zookeeper和使用自带的我都十了一下，如果想自己安装可以安装zookeeper-3.4.5，安装zookeeper可以参考http://blog.sina.com.cn/s/blog_7c5atrxu.html。
1、tar解压hbase安装包
2、配置hbase
a、/conf/hbase-env.sh
export JAVA_HOME=
export HBASE_MANAGES_ZK=true (可以启用hbase自带的zookeeper，这样也不用单独安装zookeeper了，如单独安装了，配为false)
b、conf/hbase-site.xml
该配置采用了hbase自带的zookeeper
&configuration&
&property&
&name&hbase.rootdir&/name&
&value&hdfs://master:9000/hbase&/value&
&/property&
&property&
&name&hbase.cluster.distributed&/name&
&value&true&/value&
&/property&
&property&
&name&hbase.zookeeper.quorum&/name&
&value&slave1,slave2,slave3&/value&
&/property&
&property&
&name&dfs.replication&/name&
&value&2&/value&
&description&
&/description&
&/property&
&/configuration&
单独安装的zookeeper采用如下配置
regionservers&configuration&
&property&
&name&hbase.rootdir&/name&
&value&hdfs://master:9000/hbase&/value&
&/property&
&property&
&name&hbase.cluster.distributed&/name&
&value&true&/value&
&/property&
&property&
&name&hbase.zookeeper.quorum&/name&
&value&master,slave1,slave2,slave3&/value&
&/property&
&property&
&name&dfs.replication&/name&
&value&2&/value&
&description&
&/description&
&/property&
&property&
&name&hbase.zookeeper.property.dataDir&/name&
&&& /home/hadoop/zk&/value&
&description&
&/description&
&/property&
&/configuration&注意hbase.rootdir配置需要与hadoop的配置一致。
c、conf/regionservers
slave1
slave2
slave3
到此hbase的配置已完成，用scp命令复制到slave1~salve3中。
启动hbase，
start-hbase.sh
用jps观看是否启动正常，或通过浏览器查看，master:60010。
总结：
整个部署其实没什么难度，就是配置稍微多一些，可能一个地方漏掉，就会出现莫名其妙的问题。只要选对了对应的版本，一般不会有什么问题。
我用java的api操作hbase数据库时，会报一个错，但不影响运行，在hbase shell下是可以正常操作的，不知道是版本兼容问题，还是什么问题，也没找到什么原因，我把异常放到这，希望有解决此问题的，提供一下解决方式，虽说不影响运行，但看着还是比较恶心，呵呵，异常如下：
14/05/22 13:52:49 INFO zookeeper.ClientCnxn: Session establishment complete on server slave3/100.2.12.94:2181, sessionid = 0x00001, negotiated timeout = 90000
14/05/22 13:52:51 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:52 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:53 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:54 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:55 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:52:59 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:53:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/05/22 13:53:00 WARN util.DynamicClassLoader: Failed to identify the fs of dir hdfs://localhost:9000/hbase/lib, ignored
java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1142)
at org.apache.hadoop.ipc.Client.call(Client.java:1118)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at com.sun.proxy.$Proxy5.getProtocolVersion(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at com.sun.proxy.$Proxy5.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422)
at org.apache.hadoop.hdfs.DFSClient.createNamenode(DFSClient.java:183)
at org.apache.hadoop.hdfs.DFSClient.&init&(DFSClient.java:281)
at org.apache.hadoop.hdfs.DFSClient.&init&(DFSClient.java:245)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:100)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1446)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1464)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:263)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:187)
at org.apache.hadoop.hbase.util.DynamicClassLoader.&init&(DynamicClassLoader.java:104)
at org.apache.hadoop.hbase.protobuf.ProtobufUtil.&clinit&(ProtobufUtil.java:201)
at org.apache.hadoop.hbase.ClusterId.parseFrom(ClusterId.java:64)
at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterIdZNode(ZKClusterId.java:69)
at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getClusterId(ZooKeeperRegistry.java:83)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.retrieveClusterId(HConnectionManager.java:857)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.&init&(HConnectionManager.java:662)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:414)
at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:393)
at org.apache.hadoop.hbase.client.HConnectionManager.getConnection(HConnectionManager.java:274)
at org.apache.hadoop.hbase.client.HBaseAdmin.&init&(HBaseAdmin.java:192)
at com.inspur.hbase.HbaseTest12.createTable(HbaseTest12.java:61)
at com.inspur.hbase.HbaseTest12.main(HbaseTest12.java:44)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:599)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:511)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:481)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:457)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:583)
at org.apache.hadoop.ipc.Client$Connection.access$2200(Client.java:205)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1249)
at org.apache.hadoop.ipc.Client.call(Client.java:1093)
... 41 more
浏览 15458
浏览: 34530 次
来自: 北京
虽然还看不懂
但感觉应该很好，支持一下
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'