最近跟一个小鲜肉程序员合作了下，给介绍了这个监控工具。确实很强大,可以替换掉top,iostat.mpstat,sar等命令。具体可以监控如下指标
阅读全文…
glances 简介
作者: inter12
日期: 20 一月, 2017
没有评论 | 3,012 views
dfs.datanode.max.xcievers 参数导致的MR失败
作者: inter12
日期: 19 一月, 2017
没有评论 | 8,350 views
线上一个任务跑着跑着报了一下错误：
阅读全文…
crontab的默认编辑器修改
作者: inter12
日期: 18 一月, 2017
没有评论 | 4,696 views
在一次无意中将crontab的默认编辑器设置为了nano。折腾了下，发现自己没天赋搞定了，就准备换成vim这种比较初级的编辑器。
阅读全文…
tez com.hadoop.compression.lzo.LzoCodec 问题排查
作者: inter12
日期: 23 十一月, 2016
没有评论 | 8,250 views
主要是解决了lzo文件没有找到的错误，查了了tez自己的引擎不会加载hadoop的一些包，导致一些特殊的配置不会生效，例如lzo
阅读全文…
spark运行在yarn中 ClassNotFoundException
作者: inter12
日期: 23 十一月, 2016
没有评论 | 7,133 views
Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.
阅读全文…
tez整合hive笔记
作者: inter12
日期: 16 十一月, 2016
没有评论 | 3,910 views
下载并编译tez-0.8.4.tar.gz
1、下载地址wget http://mirrors.cnnic.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz
阅读全文…
hadoop–基于unix的简单权限控制
作者: inter12
日期: 3 十一月, 2016
没有评论 | 2,572 views
我们当前的系统之前是没有考虑权限控制体系的，最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案，一种是Kerberos认证，另一种就是基于linux的简单认证。
考虑到实现陈本的问题，后来选择了使用基于linux的简单认证
阅读全文…