mapreduce.task.skip.start.attempts : 当任务失败次数达到该值时，启用跳过坏记录功能，默认值2
mapreduce.map.skip.proc-count.auto-incr ： 是否开启skip数的统计信息，对于一些异步的实时流处理不允许设置为true
mapreduce.reduce.skip.proc-count.auto-incr ： 是否开启skip数的统计信息，对于一些异步的实时流处理不允许设置为true
mapreduce.job.skip.outdir ： 检测出的坏记录存放目录，默认值为输出目录的_logs/skip，设置为none表示不输出
mapreduce.map.skip.maxrecords ： map task最多允许的跳过记录数，默认值0。 可以设置为Long.MAX_VALUE
mapreduce.reduce.skip.maxgroups ： reduce task最多允许的跳过记录数，默认值0。 Long.MAX_VALUE
阅读全文…
yarn-坏纪录过滤的相关配置
作者: inter12
日期: 6 四月, 2017
没有评论 | 920 views
hadoop-yarn内存和cpu的参数(不包含MR运行时参数)
作者: inter12
日期: 6 四月, 2017
没有评论 | 1,865 views
yarn.nodemanager.resource.memory-mb : 节点上yarn可使用的内存大小，如果设置为－1，同时yarn.nodemanager.resource.detect-hardware-capabilities为true,会自动根据操作系统资源进行分配，默认是8G
阅读全文…
hadoop-日志相关参数解析
作者: inter12
日期: 5 四月, 2017
没有评论 | 1,333 views
yarn.nodemanager.local-dirs : application 计算过程的中间数据存储，建议分为多个盘来存储
yarn.nodemanager.localizer.cache.cleanup.interval-ms ： deletion server多长时间做一次检测，并且清除缓存目录直到目录大小低于target-size-mb的配置
yarn.nodemanager.localizer.cache.target-size-mb ： 中间结果数据最大存储空间
阅读全文…
缓存穿透及雪崩的办法
作者: inter12
日期: 31 三月, 2017
没有评论 | 864 views
方法一 空对象
增加空对象，查询缓存没有命中，查询数据库时候，没有该值，那么新增一个空对象到缓存中
阅读全文…
hadoop 2.8.0的新特性
作者: inter12
日期: 29 三月, 2017
没有评论 | 1,171 views
hadoop 2.8.0 发布了，主要感觉都是在安全方面加强了很多。
阅读全文…
MapReduce监控指标
作者: inter12
日期: 27 三月, 2017
没有评论 | 828 views
终于有时间写关于hadoop中map reduce的内部监控了。恰好就在这里整理下自己的监控指标
阅读全文…
nio的一些特性解析
作者: inter12
日期: 3 二月, 2017
没有评论 | 1,034 views
最近在回顾以前学过的知识，看到了nio,想想有必要再重新整理一下。这里说的NIO，指的是JDK1.4种的NIO，非NIO2.
阅读全文…
hadoop优化总结
作者: inter12
日期: 3 二月, 2017
没有评论 | 1,236 views
主要总结了下自己知道的一些hadoop优化建议。不全，对于操作系统，jvm层面的优化还未提及，待完善。
阅读全文…