yarn-坏纪录过滤的相关配置

mapreduce.task.skip.start.attempts : 当任务失败次数达到该值时,启用跳过坏记录功能,默认值2
mapreduce.map.skip.proc-count.auto-incr : 是否开启skip数的统计信息,对于一些异步的实时流处理不允许设置为true
mapreduce.reduce.skip.proc-count.auto-incr : 是否开启skip数的统计信息,对于一些异步的实时流处理不允许设置为true
mapreduce.job.skip.outdir : 检测出的坏记录存放目录,默认值为输出目录的_logs/skip,设置为none表示不输出
mapreduce.map.skip.maxrecords : map task最多允许的跳过记录数,默认值0。 可以设置为Long.MAX_VALUE
mapreduce.reduce.skip.maxgroups : reduce task最多允许的跳过记录数,默认值0。 Long.MAX_VALUE

阅读全文…

hadoop-yarn内存和cpu的参数(不包含MR运行时参数)

yarn.nodemanager.resource.memory-mb : 节点上yarn可使用的内存大小,如果设置为-1,同时yarn.nodemanager.resource.detect-hardware-capabilities为true,会自动根据操作系统资源进行分配,默认是8G

阅读全文…

hadoop-日志相关参数解析

yarn.nodemanager.local-dirs : application 计算过程的中间数据存储,建议分为多个盘来存储
yarn.nodemanager.localizer.cache.cleanup.interval-ms : deletion server多长时间做一次检测,并且清除缓存目录直到目录大小低于target-size-mb的配置
yarn.nodemanager.localizer.cache.target-size-mb : 中间结果数据最大存储空间

阅读全文…

缓存穿透及雪崩的办法

方法一 空对象
增加空对象,查询缓存没有命中,查询数据库时候,没有该值,那么新增一个空对象到缓存中

阅读全文…

hadoop 2.8.0的新特性

hadoop 2.8.0 发布了,主要感觉都是在安全方面加强了很多。

阅读全文…

MapReduce监控指标

终于有时间写关于hadoop中map reduce的内部监控了。恰好就在这里整理下自己的监控指标

阅读全文…

甲方乙方论

这是一个管理的方法论。

阅读全文…

nio的一些特性解析

最近在回顾以前学过的知识,看到了nio,想想有必要再重新整理一下。这里说的NIO,指的是JDK1.4种的NIO,非NIO2.

阅读全文…

hadoop优化总结

主要总结了下自己知道的一些hadoop优化建议。不全,对于操作系统,jvm层面的优化还未提及,待完善。

阅读全文…

自己关于hadoop的分享PPT



阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next