tez中比较重要的参数

整理了下tez中个人觉得比较重要的参数。

阅读全文…

tez 整合timeline server

第一步 修改tez-site.xml配置文件

要求是tez 0.6.0 版本以上

阅读全文…

glances 简介

最近跟一个小鲜肉程序员合作了下,给介绍了这个监控工具。确实很强大,可以替换掉top,iostat.mpstat,sar等命令。具体可以监控如下指标

阅读全文…

dfs.datanode.max.xcievers 参数导致的MR失败

线上一个任务跑着跑着报了一下错误:

阅读全文…

crontab的默认编辑器修改

在一次无意中将crontab的默认编辑器设置为了nano。折腾了下,发现自己没天赋搞定了,就准备换成vim这种比较初级的编辑器。

阅读全文…

supervisor的使用

最近看到这个东西用的还是蛮多的,简单学习了下,确实很好用。

阅读全文…

hadoop生态组件

花点时间整理了整个hadoop生态圈中比较核心的开源组件

阅读全文…

tez com.hadoop.compression.lzo.LzoCodec 问题排查

主要是解决了lzo文件没有找到的错误,查了了tez自己的引擎不会加载hadoop的一些包,导致一些特殊的配置不会生效,例如lzo

阅读全文…

spark运行在yarn中 ClassNotFoundException

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

阅读全文…

一次线上hbase问题处理过程

晚上11点收到消息,说是hbase有个表查不了了。

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next