hadoop中使用到的设计模式

设计模式(Design pattern)的官方定义是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。解决的是代码可重用、代码更容易被他人理解、保证代码可靠性的问题。
Hadoop作为一个06年开始开源走到现在的框架,已经是一个非常成熟和经典的系统了。这个里面对于设计模式的使用也是非常的经典,本篇主要介绍一下Hadoop中使用到的设计模式,非常值得学习。额外需要提到的是这里的设计模式特指:四人帮23种模式.
关于设计模式的详细介绍可见:http://www.runoob.com/design-pattern/design-pattern-tutorial.html
1.创建型模式
1.1 单例模式 单例模式(Singleton Pattern)
RMPolicyProvider : 双重锁的形式单例实现。
NMPolicyProvider,HDFSPolicyProvider : 饿汉式的单例实现。
一般是要求全局单例的要求。

阅读全文…

学习一个新的开源框架的方法论

1. 明确开源框架的第一原则
例如HBase提供的是大数据量下的高性能随机读写。官方的首页就是如此描述的:Use Apache HBase™ when you need random, realtime read/write access to your Big Data
这个就是学习一个新东西时候的第一原则,把握住第一原则后,你会发现这个开源组件的很多设计思想和解决方案都是围绕这个第一原则来实现的。
再举个例子:Dubbo,这个开源框架主要是为了解决搭建一个SOA的服务治理。不是一个简单的RPC框架,很多人误解了Dubbo是一个RPC框架,这个是错误的。
2.跑下它quick start .
这个主要是为了了解有一个感性的认识,对于一个新东西而言。
不需要很深入,能跑通即可。
 
3.查看架构图及它的配置文件
这个环节主要是让你对整个框架有一个很宏观的认识,这个框架包含了那些模块,每个模块的分工是如何。之间的的核心流程的数据流是如何流转的。这样有一个整体的任务后,再对其中的一些关键模块再做细节的了解。
看配置文件是从另一个角度的理解系统的模块划分,同时配置文件会包含了很多关键有用的细节。
例如hadoop的配置文件分为了
核心的HDFS配置:core-site.xml,主要是命名空间,基本权限等信息
hdfs的相关配置:hdfs-site.xml ,如何做HA,其中namenode和datenode的配置 
调度系统:yarn-site.xml,如何调度,分配资源
调度运行时配置:mapred-site.xml 在具体运行过程中的配置,如何重试,调度端口等。
从几个文件就可以即整体又细节的了解整个系统。
再看spark的配置分为:整体配置,运行时配置,shuffle配置,安全配置,UI配置,压缩和序列化配置,内存管理配置等,从这几个方面基本就可以知道spark的整体了。
 
4.看源码
到了这个环节,基本对于系统是怎么运转有了一个外部的认识,那么具体要深入优化的话,就必须看源码了。查找一些根源的问题。


阅读全文…

BAT发展的思考

最近BAT的话题变的越来越热,估计现在也将会是这个词热度的最高峰了。百度的日薄西山连中关村扫大街的大妈都知道,将来很难再同AT并驾齐驱。这篇文章主要是对于BAT三家的发展给出一些自己浅薄,不严谨的看法。

阅读全文…

21世纪资本论学习笔记一

这个主要是对于托马斯.皮凯蒂的著作《21世纪资本论》的学习笔记
收入和产出
财富分配一般包含两个维度:
1.要素分配,要素分为:劳动力和资本
2.个体分配,不同的各位由于职位等不同,获得不同的分配

阅读全文…

软件敏捷面面谈

到今天才来写敏捷,从时间角度看是有点晚了,整个行业中对于敏捷的热度已经过去,对于敏捷讨论也不像前几年那么火热。
或者换个角度看,整个行业对于敏捷是否都已经有了一些自己的体会和心得,已经不需要通过社区的讨论和分享。这也是一个很值得玩味的问题,通过敏捷解决了我们的问题吗?

阅读全文…

美学时代

写在前面
拖到今天,终于有时间和心情来写2014年的年终总结。随着年纪的增长,伴随着事情也是随之增加,好在今天终于可以敲下第一个字。
2014年有部电影叫《黄金时代》,许鞍华执导,李樯编剧,汤唯主演。故事的发生背景是在民国时期,以左翼传奇女作家萧红波澜起伏的人生为主线,为我们拨开了那个民气十足、海阔天空年代下青年们的热血故事,有人在流离中追求刻骨铭心的爱情,有人在国难中追寻民族未来。那是一个战乱纷争的年代,那也是一个理想主义者追求自由的黄金年代。
回首2014,我们现在又是处在一个如何精彩的时代,恰好最近刚翻完詹伟雄的《美学的经济》,顺应当下,想想就把美学时代作为14年总结的题目。
时代的变迁
美学的生活,就是把自己的身体、行为、感觉和激情,把自己不折不扣的存在,都变成一件艺术品 — 米歇尔.福柯
把过去的一年就简单的归结于一个时代,是有些草率的。整体时代的变迁是一个漫长的过程,需要十年,甚至几十年的时间,但是个人对应时代的变迁,有时候需要的只是一个契机,一个顿悟。因为很多时候,时代先于个人发生改变,只是我们不清楚它已经走在了我们前面。
14年的自己,总结的看是自我意识觉醒的一年,是挣脱过多束缚的一年。回看过去六年的年结,过多的还是纠结在个人的得与失,成与败,局限在家族,家庭,朋友,工作社交方面去努力,也不是说这个有错,只能说是特定背景下必须经历的过程,过去的那些年,很多时候并不是很清楚自己要的是什么。或者用几个常见的哲学问题看就是”我为什么活着?”,”我如何活着?”,”我最终要成为何种人?”,这些问题抽象且复杂,很难一言两语能说的清楚,但社会或者说掌控话语权的那些阶级已经帮我们想好了,帮我们塑造一个”理性型”的人物或者是生活风格来认同,借由每天朝这个认同的自我实践和准备,如此个人的生活也会逐渐稳定起来。有人想有车有房,有人想当马云,有人想当官,这些是我们主动或是被动接受的”理想型”人物或者人生。

阅读全文…

Pages: 1 2 3 4 5 Next