首页 > 大数据 > hadoop-日志相关参数解析

hadoop-日志相关参数解析

yarn.nodemanager.local-dirs : application 计算过程的中间数据存储,建议分为多个盘来存储
yarn.nodemanager.localizer.cache.cleanup.interval-ms : deletion server多长时间做一次检测,并且清除缓存目录直到目录大小低于target-size-mb的配置
yarn.nodemanager.localizer.cache.target-size-mb : 中间结果数据最大存储空间

yarn.nodemanager.log-dirs : nodemanager 上 container 运行的本地日志
yarn.nodemanager.log.retain-seconds : nodemanager 本地日志保留时间,只有不开启日志聚合时候才生效
yarn.nodemanager.log-aggregation.compression-type : 日志聚合的压缩

yarn.log-aggregation-enable : 是否开启日志聚合
yarn.log-aggregation.retain-seconds : 在hdfs上 日志保留时间
yarn.log-aggregation-status.time-out.ms : nodemanager 上报到resourcemanager 中的等待时间,在压力大的情况下超市的话,会造成数据的丢失
yarn.nodemanager.remote-app-log-dir : hdfs 上聚合日志的存放目录
yarn.nodemanager.remote-app-log-dir-suffix : 日志存放的后缀

yarn.nodemanager.delete.debug-delay-sec : yarn 的DeletionService 在任务结束多长时间后,删除本地化的日志(yarn.nodemanager.local-dirs)和container的运行日志(yarn.nodemanager.log-dirs)。 这个时间最好设置的大一点。

tips:

在这些参数里面有几个参数有比较有意思的,在yarn.nodemanager.delete.debug-delay-sec 代表任务多长时间后,删除日志,yarn.nodemanager.localizer.cache.cleanup.interval-ms 又表示多长间隔检查本地化日志的大小,那么在yarn.nodemanager.localizer.cache.cleanup.interval-ms 参数检测到时间到后,那么会删除yarn.nodemanager.delete.debug-delay-sec  还未来得及删除的数据

 

 

分类: 大数据 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.