平时一个只需要跑10分钟的任务，跑了一个小时，需要排查下原因。
阅读全文…
namenode ha切换异常
作者: inter12
日期: 18 十月, 2016
没有评论 | 4,042 views
2016-10-18 17:54:10,461 WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to connect to shd-datanode-29 as user rootcom.jcraft.jsch.JSchException: Algorithm negotiation failat com.jcraft.jsch.Session.receive_kexinit(Session.java:520)at com.jcraft.jsch.Session.connect(Session.java:286)at org.apache.hadoop.ha.SshFenceByTcpPort.tryFence(SshFenceByTcpPort.java:100)at org.apache.hadoop.ha.NodeFencer.fence(NodeFencer.java:97)at org.apache.hadoop.ha.ZKFailoverController.doFence(ZKFailoverController.java:530)at org.apache.hadoop.ha.ZKFailoverController.fenceOldActive(ZKFailoverController.java:503)at org.apache.hadoop.ha.ZKFailoverController.access$1100(ZKFailoverController.java:61)at org.apache.hadoop.ha.ZKFailoverController$ElectorCallbacks.fenceOldActive(ZKFailoverController.java:890)at org.apache.hadoop.ha.ActiveStandbyElector.fenceOldActive(ActiveStandbyElector.java:902)at org.apache.hadoop.ha.ActiveStandbyElector.becomeActive(ActiveStandbyElector.java:801)at org.apache.hadoop.ha.ActiveStandbyElector.processResult(ActiveStandbyElector.java:416)at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:599)at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:498)
hbase regionserver挂掉的几种情况
作者: inter12
日期: 15 十月, 2016
没有评论 | 12,291 views
hbase regionserver挂掉的几种情况
阅读全文…
hadoop增加机架感知
作者: inter12
日期: 9 十月, 2016
没有评论 | 3,229 views
1.新增脚本rack-topology.sh,rack_topology.data在到 /etc/hadoop/conf下
阅读全文…
MapReduce的类型和格式
作者: inter12
日期: 29 九月, 2016
没有评论 | 3,881 views
MapReduce的类型和格式
一 类型
map的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
combiner的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
reduce的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
阅读全文…
hadoop性能优化
作者: inter12
日期: 29 九月, 2016
没有评论 | 4,360 views
里面一些参数由于版本不同，参数有些变化，这里不得步吐槽下hadoop的参数在不同版本变化之大，就不能好好长远的规划下，而不是一个版本变化一下
阅读全文…
hadoop大集群的建议配置
作者: inter12
日期: 20 九月, 2016
没有评论 | 4,095 views
节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
－－－－－－－－－－－－－－－－
机柜： 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架
阅读全文…
hive 1.2.1 的手工安装
作者: inter12
日期: 9 九月, 2016
没有评论 | 2,979 views
1.安装mysql
sudo apt-get install mysql-server-5.6
阅读全文…