hadoop优化总结

主要总结了下自己知道的一些hadoop优化建议。不全,对于操作系统,jvm层面的优化还未提及,待完善。

阅读全文…

自己关于hadoop的分享PPT



阅读全文…

tez中比较重要的参数

整理了下tez中个人觉得比较重要的参数。

阅读全文…

tez 整合timeline server

第一步 修改tez-site.xml配置文件

要求是tez 0.6.0 版本以上

阅读全文…

glances 简介

最近跟一个小鲜肉程序员合作了下,给介绍了这个监控工具。确实很强大,可以替换掉top,iostat.mpstat,sar等命令。具体可以监控如下指标

阅读全文…

dfs.datanode.max.xcievers 参数导致的MR失败

线上一个任务跑着跑着报了一下错误:

阅读全文…

crontab的默认编辑器修改

在一次无意中将crontab的默认编辑器设置为了nano。折腾了下,发现自己没天赋搞定了,就准备换成vim这种比较初级的编辑器。

阅读全文…

supervisor的使用

最近看到这个东西用的还是蛮多的,简单学习了下,确实很好用。

阅读全文…

hadoop生态组件

花点时间整理了整个hadoop生态圈中比较核心的开源组件

阅读全文…

tez com.hadoop.compression.lzo.LzoCodec 问题排查

主要是解决了lzo文件没有找到的错误,查了了tez自己的引擎不会加载hadoop的一些包,导致一些特殊的配置不会生效,例如lzo

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next