hive的查询语句分析

连接服务

阅读全文…

hadoop大集群的建议配置

节点分布
Masters — HDFS NameNode, YARN ResourceManager, and HBase Master.
Slaves — HDFS DataNodes, YARN NodeManagers, and HBase RegionServers.
两者在物理部署上要隔离
slave 节点的机器配置建议
----------------
机柜: 1U or 2U 都可以。具体看机器配置 一个机柜一般可以存放19个机架

阅读全文…

spark 安装及客户端配置

scala 下载: 

阅读全文…

hive 1.2.1 的手工安装

1.安装mysql
sudo apt-get install mysql-server-5.6

阅读全文…

Hadoop 2.5.2的手工安装

之前用过CDH来安装的,这次记录下手工安装的过程及遇见的坑。

阅读全文…

hive 增量新增数据的几种方式

现在主流的大数据采集方案基本就是
1.通过flume 采集数据到 hdfs ,或则是 到过kafka中专再写入 hdfs
2.再通过外置表的方式加载数据到hive 中

阅读全文…

hive 动态分区表实践

具体概念的东西就不在这描述了,只罗列如何创建动态分区表。

阅读全文…

服务降级的方案

服务降级

阅读全文…

Twitter机器学习平台的设计与搭建

内容摘自twitter的郭晓江在深圳架构师大会上的分享。

阅读全文…

如何查看CMS 的gc日志

最近在重新整理JVM方面的知识,看到很久以前的一篇对于CMS GC解读的日志,这篇博客地址是 https://blogs.oracle.com/poonam/entry/understanding_cms_gc_logs 。现在看来还是很有收获,就决定放出来。
以下是个人整理的翻译
————————————————————————————
CMS GC with -XX:+PrintGCDetails and -XX:+PrintGCTimeStamps prints a lot of information. Understanding this information can help in fine tuning various parameters of the application and CMS to achieve best performance.
Let’s have a look at some of the CMS logs generated with 1.4.2_10:
39.910: [GC 39.910: [ParNew: 261760K->0K(261952K), 0.2314667 secs] 262017K->26386K(1048384K), 0.2318679 secs]
Young generation (ParNew) collection. Young generation capacity is 261952K and after the collection its occupancy drops down from 261760K to 0. This collection took 0.2318679 secs.
## 新生代GC,新生代大小是262017K,一次GC,新生代从261760K降到了0K。花费了0.2318679 s

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next