hadoop-yarn内存和cpu的参数(不包含MR运行时参数)

yarn.nodemanager.resource.memory-mb : 节点上yarn可使用的内存大小,如果设置为-1,同时yarn.nodemanager.resource.detect-hardware-capabilities为true,会自动根据操作系统资源进行分配,默认是8G

yarn.nodemanager.resource.system-reserved-memory-mb: 非yarn进程的资源预留,只有yarn.nodemanager.resource.detect-hardware-capabilities 设置为true情况下才生效,预留的内存大小是 : 20% of (system memory – 2*HADOOP_HEAPSIZE)

yarn.nodemanager.pmem-check-enabled : 是否开启物理内存检查

yarn.nodemanager.vmem-check-enabled : 是否开启虚拟内存检查

yarn.nodemanager.vmem-pmem-ratio : 虚拟内存和物理内存使用比

yarn.nodemanager.resource.cpu-vcores : 节点上yarn可使用的cpu大小

yarn.nodemanager.resource.count-logical-processors-as-cores : 是否适用操作系统的cpu个数

yarn.nodemanager.resource.pcores-vcores-multiplier : 真实cpu和虚拟cpu之间的兑换比。

yarn.nodemanager.resource.percentage-physical-cpu-limit : 每个cpu可以使用的百分比

yarn.nodemanager.resource.detect-hardware-capabilities : 是否自动检测操作系统的cpu和内存,一般不建议开启

yarn.scheduler.minimum-allocation-mb : 允许分配给一个container的最小内存大小

yarn.scheduler.maximum-allocation-mb : 允许分配给一个container的最大内存大小

yarn.scheduler.minimum-allocation-vcores : 允许分配给一个container的最小cpu大小

yarn.scheduler.maximum-allocation-vcores : 允许分配给一个container的最大cpu大小

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>