spark 安装及客户端配置

scala 下载: 

阅读全文…

hive 1.2.1 的手工安装

1.安装mysql
sudo apt-get install mysql-server-5.6

阅读全文…

Hadoop 2.5.2的手工安装

之前用过CDH来安装的,这次记录下手工安装的过程及遇见的坑。

阅读全文…

hive 增量新增数据的几种方式

现在主流的大数据采集方案基本就是
1.通过flume 采集数据到 hdfs ,或则是 到过kafka中专再写入 hdfs
2.再通过外置表的方式加载数据到hive 中

阅读全文…

hive 动态分区表实践

具体概念的东西就不在这描述了,只罗列如何创建动态分区表。

阅读全文…

服务降级的方案

服务降级

阅读全文…

Twitter机器学习平台的设计与搭建

内容摘自twitter的郭晓江在深圳架构师大会上的分享。

阅读全文…

如何查看CMS 的gc日志

最近在重新整理JVM方面的知识,看到很久以前的一篇对于CMS GC解读的日志,这篇博客地址是 https://blogs.oracle.com/poonam/entry/understanding_cms_gc_logs 。现在看来还是很有收获,就决定放出来。
以下是个人整理的翻译
————————————————————————————
CMS GC with -XX:+PrintGCDetails and -XX:+PrintGCTimeStamps prints a lot of information. Understanding this information can help in fine tuning various parameters of the application and CMS to achieve best performance.
Let’s have a look at some of the CMS logs generated with 1.4.2_10:
39.910: [GC 39.910: [ParNew: 261760K->0K(261952K), 0.2314667 secs] 262017K->26386K(1048384K), 0.2318679 secs]
Young generation (ParNew) collection. Young generation capacity is 261952K and after the collection its occupancy drops down from 261760K to 0. This collection took 0.2318679 secs.
## 新生代GC,新生代大小是262017K,一次GC,新生代从261760K降到了0K。花费了0.2318679 s

阅读全文…

温昱版的架构设计

花了两天时间,看完了软件架构设计--温昱编著。整理了下面的脑图,感觉作者还是写的很赞的。


阅读全文…

21世纪资本论学习笔记一

这个主要是对于托马斯.皮凯蒂的著作《21世纪资本论》的学习笔记
收入和产出
财富分配一般包含两个维度:
1.要素分配,要素分为:劳动力和资本
2.个体分配,不同的各位由于职位等不同,获得不同的分配

阅读全文…

Pages: Prev 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next