MapReduce的类型和格式
一 类型
map的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
combiner的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
reduce的接口是由四个参数：输入key类型，输入value类型，输出key类型，输出valuel类型
阅读全文…
月度存档: 九月 2016
MapReduce的类型和格式
作者: inter12
日期: 29 九月, 2016
没有评论 | 3,811 views
hadoop性能优化
作者: inter12
日期: 29 九月, 2016
没有评论 | 4,304 views
里面一些参数由于版本不同，参数有些变化，这里不得步吐槽下hadoop的参数在不同版本变化之大，就不能好好长远的规划下，而不是一个版本变化一下
阅读全文…
hadoop大集群的建议配置
作者: inter12
日期: 20 九月, 2016
没有评论 | 3,931 views
节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
－－－－－－－－－－－－－－－－
机柜： 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架
阅读全文…
hive 1.2.1 的手工安装
作者: inter12
日期: 9 九月, 2016
没有评论 | 2,933 views
1.安装mysql
sudo apt-get install mysql-server-5.6
阅读全文…
hive 增量新增数据的几种方式
作者: inter12
日期: 6 九月, 2016
没有评论 | 8,400 views
现在主流的大数据采集方案基本就是
1.通过flume 采集数据到 hdfs ,或则是 到过kafka中专再写入 hdfs
2.再通过外置表的方式加载数据到hive 中
阅读全文…