一次map很慢的解决过程

平时一个只需要跑10分钟的任务,跑了一个小时,需要排查下原因。

阅读全文…

namenode ha切换异常

  1. 2016-10-18 17:54:10,461 WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to connect to shd-datanode-29 as user root
  2. com.jcraft.jsch.JSchException: Algorithm negotiation fail
  3. at com.jcraft.jsch.Session.receive_kexinit(Session.java:520)
  4. at com.jcraft.jsch.Session.connect(Session.java:286)
  5. at org.apache.hadoop.ha.SshFenceByTcpPort.tryFence(SshFenceByTcpPort.java:100)
  6. at org.apache.hadoop.ha.NodeFencer.fence(NodeFencer.java:97)
  7. at org.apache.hadoop.ha.ZKFailoverController.doFence(ZKFailoverController.java:530)
  8. at org.apache.hadoop.ha.ZKFailoverController.fenceOldActive(ZKFailoverController.java:503)
  9. at org.apache.hadoop.ha.ZKFailoverController.access$1100(ZKFailoverController.java:61)
  10. at org.apache.hadoop.ha.ZKFailoverController$ElectorCallbacks.fenceOldActive(ZKFailoverController.java:890)
  11. at org.apache.hadoop.ha.ActiveStandbyElector.fenceOldActive(ActiveStandbyElector.java:902)
  12. at org.apache.hadoop.ha.ActiveStandbyElector.becomeActive(ActiveStandbyElector.java:801)
  13. at org.apache.hadoop.ha.ActiveStandbyElector.processResult(ActiveStandbyElector.java:416)
  14. at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:599)
  15. at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:498)

 

阅读全文…

hbase regionserver挂掉的几种情况

hbase regionserver挂掉的几种情况

阅读全文…

hadoop增加机架感知

1.新增脚本rack-topology.sh,rack_topology.data在到 /etc/hadoop/conf下

阅读全文…

MapReduce的类型和格式

MapReduce的类型和格式
一 类型
map的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
combiner的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
reduce的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型

阅读全文…

hadoop性能优化

里面一些参数由于版本不同,参数有些变化,这里不得步吐槽下hadoop的参数在不同版本变化之大,就不能好好长远的规划下,而不是一个版本变化一下

阅读全文…

hive的查询语句分析

连接服务

阅读全文…

hadoop大集群的建议配置

节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
----------------
机柜: 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架

阅读全文…

spark 安装及客户端配置

scala 下载: 

阅读全文…

hive 1.2.1 的手工安装

1.安装mysql
sudo apt-get install mysql-server-5.6

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 25 26 27 Next