glances 简介

最近跟一个小鲜肉程序员合作了下,给介绍了这个监控工具。确实很强大,可以替换掉top,iostat.mpstat,sar等命令。具体可以监控如下指标

阅读全文…

dfs.datanode.max.xcievers 参数导致的MR失败

线上一个任务跑着跑着报了一下错误:

阅读全文…

crontab的默认编辑器修改

在一次无意中将crontab的默认编辑器设置为了nano。折腾了下,发现自己没天赋搞定了,就准备换成vim这种比较初级的编辑器。

阅读全文…

supervisor的使用

最近看到这个东西用的还是蛮多的,简单学习了下,确实很好用。

阅读全文…

hadoop生态组件

花点时间整理了整个hadoop生态圈中比较核心的开源组件

阅读全文…

tez com.hadoop.compression.lzo.LzoCodec 问题排查

主要是解决了lzo文件没有找到的错误,查了了tez自己的引擎不会加载hadoop的一些包,导致一些特殊的配置不会生效,例如lzo

阅读全文…

spark运行在yarn中 ClassNotFoundException

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

阅读全文…

一次线上hbase问题处理过程

晚上11点收到消息,说是hbase有个表查不了了。

阅读全文…

tez整合hive笔记

下载并编译tez-0.8.4.tar.gz

1、下载地址wget http://mirrors.cnnic.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz

阅读全文…

hadoop–基于unix的简单权限控制

我们当前的系统之前是没有考虑权限控制体系的,最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案,一种是Kerberos认证,另一种就是基于linux的简单认证。
考虑到实现陈本的问题,后来选择了使用基于linux的简单认证

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 25 26 27 Next