首页 > 大数据 > tez中比较重要的参数

tez中比较重要的参数

2017年1月24日 发表评论 阅读评论

整理了下tez中个人觉得比较重要的参数。

timeline server 配置 ,默认是org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService

tez.history.logging.service.class

jobhistory搭建的地址,需要独立的ui-war部署

tez.tez-ui.history-url.base

是否开启推测执行,默认是false,在出现最后一个任务很慢的情况下,建议把这个参数设置为true

tez.am.speculation.enabled

分配的内存,默认1024 ,出现内存不够时候,设置更大点

tez.task.resource.memory.mb

分配的vcores 默认是1  ,一般不需要改

tez.task.resource.cpu.vcores

日志级别,默认info

tez.task.log.level

启动的JVM参数 ,默认-XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC

tez.task.launch.cmd-opts

在yarn中的默认执行队列

tez.queue.name

依赖的hadoop相关包

tez.lib.uris.classpath

运行依赖的自身包,这个参数设置比较麻烦,很容易出错

tez.lib.uris

自己定义的UDF 相关包

tez.aux.uris

基于yarn提供的内存,分配给java进程的百分比,默认是0.8,具体大小取决于mapreduce.reduce.memory.mb和mapreduce.map.memory.mb。一般不用变即可

tez.container.max.java.heap.fraction

任务中attempts失败的最大重试次数,默认跟yarn一样是4次 ,在不稳定集群可以设置大一点

tez.am.task.max.failed.attempts

am自己失败的最大重试次数,默认是2次。这里并不是说am自己挂了,只是因为一些系统原因导致失联了

tez.am.max.app.attempts

am分配的cpu个数,默认1

tez.am.resource.cpu.vcores

am分配的内存大小,默认1024

tez.am.resource.memory.mb

任务进程重用是否开启,默认是true

tez.am.container.reuse.enabled

更多详细的配置 :

https://tez.apache.org/releases/0.8.4/tez-api-javadocs/configs/TezConfiguration.html

分类: 大数据 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.