MapReduce的类型和格式

MapReduce的类型和格式
一 类型
map的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
combiner的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
reduce的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型

阅读全文…

hadoop性能优化

里面一些参数由于版本不同,参数有些变化,这里不得步吐槽下hadoop的参数在不同版本变化之大,就不能好好长远的规划下,而不是一个版本变化一下

阅读全文…

hadoop大集群的建议配置

节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
----------------
机柜: 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架

阅读全文…