hadoop生态组件

花点时间整理了整个hadoop生态圈中比较核心的开源组件

阅读全文…

tez com.hadoop.compression.lzo.LzoCodec 问题排查

主要是解决了lzo文件没有找到的错误,查了了tez自己的引擎不会加载hadoop的一些包,导致一些特殊的配置不会生效,例如lzo

阅读全文…

spark运行在yarn中 ClassNotFoundException

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

阅读全文…

一次线上hbase问题处理过程

晚上11点收到消息,说是hbase有个表查不了了。

阅读全文…

tez整合hive笔记

下载并编译tez-0.8.4.tar.gz

1、下载地址wget http://mirrors.cnnic.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz

阅读全文…

hadoop–基于unix的简单权限控制

我们当前的系统之前是没有考虑权限控制体系的,最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案,一种是Kerberos认证,另一种就是基于linux的简单认证。
考虑到实现陈本的问题,后来选择了使用基于linux的简单认证

阅读全文…

一次map很慢的解决过程

平时一个只需要跑10分钟的任务,跑了一个小时,需要排查下原因。

阅读全文…

namenode ha切换异常

  1. 2016-10-18 17:54:10,461 WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to connect to shd-datanode-29 as user root
  2. com.jcraft.jsch.JSchException: Algorithm negotiation fail
  3. at com.jcraft.jsch.Session.receive_kexinit(Session.java:520)
  4. at com.jcraft.jsch.Session.connect(Session.java:286)
  5. at org.apache.hadoop.ha.SshFenceByTcpPort.tryFence(SshFenceByTcpPort.java:100)
  6. at org.apache.hadoop.ha.NodeFencer.fence(NodeFencer.java:97)
  7. at org.apache.hadoop.ha.ZKFailoverController.doFence(ZKFailoverController.java:530)
  8. at org.apache.hadoop.ha.ZKFailoverController.fenceOldActive(ZKFailoverController.java:503)
  9. at org.apache.hadoop.ha.ZKFailoverController.access$1100(ZKFailoverController.java:61)
  10. at org.apache.hadoop.ha.ZKFailoverController$ElectorCallbacks.fenceOldActive(ZKFailoverController.java:890)
  11. at org.apache.hadoop.ha.ActiveStandbyElector.fenceOldActive(ActiveStandbyElector.java:902)
  12. at org.apache.hadoop.ha.ActiveStandbyElector.becomeActive(ActiveStandbyElector.java:801)
  13. at org.apache.hadoop.ha.ActiveStandbyElector.processResult(ActiveStandbyElector.java:416)
  14. at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:599)
  15. at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:498)

 

阅读全文…

hbase regionserver挂掉的几种情况

hbase regionserver挂掉的几种情况

阅读全文…

hadoop增加机架感知

1.新增脚本rack-topology.sh,rack_topology.data在到 /etc/hadoop/conf下

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 22 23 24 Next