存档

2016年11月 的存档

tez com.hadoop.compression.lzo.LzoCodec 问题排查

2016年11月23日 没有评论

主要是解决了lzo文件没有找到的错误,查了了tez自己的引擎不会加载hadoop的一些包,导致一些特殊的配置不会生效,例如lzo

阅读全文…

分类: 大数据 标签: 924 views

spark运行在yarn中 ClassNotFoundException

2016年11月23日 没有评论

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

阅读全文…

分类: 未分类 标签: , , 433 views

一次线上hbase问题处理过程

2016年11月19日 没有评论

晚上11点收到消息,说是hbase有个表查不了了。

阅读全文…

分类: 大数据 标签: 362 views

tez整合hive笔记

2016年11月16日 没有评论

下载并编译tez-0.8.4.tar.gz

1、下载地址wget http://mirrors.cnnic.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz

阅读全文…

分类: 大数据 标签: 393 views

hadoop–基于unix的简单权限控制

2016年11月3日 没有评论

我们当前的系统之前是没有考虑权限控制体系的,最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案,一种是Kerberos认证,另一种就是基于linux的简单认证。
考虑到实现陈本的问题,后来选择了使用基于linux的简单认证

阅读全文…

分类: 未分类 标签: 328 views