主要是解决了lzo文件没有找到的错误，查了了tez自己的引擎不会加载hadoop的一些包，导致一些特殊的配置不会生效，例如lzo
阅读全文…
月度存档: 十一月 2016
tez com.hadoop.compression.lzo.LzoCodec 问题排查
作者: inter12
日期: 23 十一月, 2016
没有评论 | 7,982 views
spark运行在yarn中 ClassNotFoundException
作者: inter12
日期: 23 十一月, 2016
没有评论 | 6,785 views
Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.
阅读全文…
tez整合hive笔记
作者: inter12
日期: 16 十一月, 2016
没有评论 | 3,772 views
下载并编译tez-0.8.4.tar.gz
1、下载地址wget http://mirrors.cnnic.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz
阅读全文…
hadoop–基于unix的简单权限控制
作者: inter12
日期: 3 十一月, 2016
没有评论 | 2,471 views
我们当前的系统之前是没有考虑权限控制体系的，最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案，一种是Kerberos认证，另一种就是基于linux的简单认证。
考虑到实现陈本的问题，后来选择了使用基于linux的简单认证
阅读全文…