首页 > 大数据 > hadoop-yarn内存和cpu的参数(不包含MR运行时参数)

hadoop-yarn内存和cpu的参数(不包含MR运行时参数)

yarn.nodemanager.resource.memory-mb : 节点上yarn可使用的内存大小,如果设置为-1,同时yarn.nodemanager.resource.detect-hardware-capabilities为true,会自动根据操作系统资源进行分配,默认是8G

yarn.nodemanager.resource.system-reserved-memory-mb: 非yarn进程的资源预留,只有yarn.nodemanager.resource.detect-hardware-capabilities 设置为true情况下才生效,预留的内存大小是 : 20% of (system memory – 2*HADOOP_HEAPSIZE)

yarn.nodemanager.pmem-check-enabled : 是否开启物理内存检查

yarn.nodemanager.vmem-check-enabled : 是否开启虚拟内存检查

yarn.nodemanager.vmem-pmem-ratio : 虚拟内存和物理内存使用比

yarn.nodemanager.resource.cpu-vcores : 节点上yarn可使用的cpu大小

yarn.nodemanager.resource.count-logical-processors-as-cores : 是否适用操作系统的cpu个数

yarn.nodemanager.resource.pcores-vcores-multiplier : 真实cpu和虚拟cpu之间的兑换比。

yarn.nodemanager.resource.percentage-physical-cpu-limit : 每个cpu可以使用的百分比

yarn.nodemanager.resource.detect-hardware-capabilities : 是否自动检测操作系统的cpu和内存,一般不建议开启

yarn.scheduler.minimum-allocation-mb : 允许分配给一个container的最小内存大小

yarn.scheduler.maximum-allocation-mb : 允许分配给一个container的最大内存大小

yarn.scheduler.minimum-allocation-vcores : 允许分配给一个container的最小cpu大小

yarn.scheduler.maximum-allocation-vcores : 允许分配给一个container的最大cpu大小

分类: 大数据 标签:
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.