存档

2016年9月 的存档

MapReduce的类型和格式

2016年9月29日 没有评论

MapReduce的类型和格式
一 类型
map的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
combiner的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型
reduce的接口是由四个参数:输入key类型,输入value类型,输出key类型,输出valuel类型

阅读全文…

分类: 大数据 标签: 355 views

hadoop性能优化

2016年9月29日 没有评论

里面一些参数由于版本不同,参数有些变化,这里不得步吐槽下hadoop的参数在不同版本变化之大,就不能好好长远的规划下,而不是一个版本变化一下

阅读全文…

分类: 大数据 标签: 586 views

hive的查询语句分析

2016年9月22日 没有评论

连接服务

阅读全文…

分类: 大数据 标签: 409 views

hadoop大集群的建议配置

2016年9月20日 没有评论

节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
----------------
机柜: 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架

阅读全文…

分类: 大数据 标签: 432 views

spark 安装及客户端配置

2016年9月18日 没有评论

scala 下载: 

阅读全文…

分类: 大数据 标签: 499 views

hive 1.2.1 的手工安装

2016年9月9日 没有评论

1.安装mysql
sudo apt-get install mysql-server-5.6

阅读全文…

分类: 大数据 标签: 394 views

Hadoop 2.5.2的手工安装

2016年9月7日 没有评论

之前用过CDH来安装的,这次记录下手工安装的过程及遇见的坑。

阅读全文…

分类: 大数据 标签: 496 views

hive 增量新增数据的几种方式

2016年9月6日 没有评论

现在主流的大数据采集方案基本就是
1.通过flume 采集数据到 hdfs ,或则是 到过kafka中专再写入 hdfs
2.再通过外置表的方式加载数据到hive 中

阅读全文…

分类: 大数据 标签: 467 views

hive 动态分区表实践

2016年9月6日 没有评论

具体概念的东西就不在这描述了,只罗列如何创建动态分区表。

阅读全文…

分类: 大数据 标签: 358 views