干程序员这行，一个很常见的工作就是需要给程序中的变量、方法、类命名，那么如何合理的取名字就是一个非常有意思和挑战的事情。通常来说，不好定义变量有以下几种风格。
阅读全文…
Hadoop中的类命名
作者: inter12
日期: 13 十一月, 2017
没有评论 | 1,991 views
学习一个新的开源框架的方法论
作者: inter12
日期: 20 十月, 2017
没有评论 | 1,881 views
1. 明确开源框架的第一原则
例如HBase提供的是大数据量下的高性能随机读写。官方的首页就是如此描述的：Use Apache HBase™ when you need random, realtime read/write access to your Big Data
这个就是学习一个新东西时候的第一原则，把握住第一原则后，你会发现这个开源组件的很多设计思想和解决方案都是围绕这个第一原则来实现的。
再举个例子：Dubbo，这个开源框架主要是为了解决搭建一个SOA的服务治理。不是一个简单的RPC框架，很多人误解了Dubbo是一个RPC框架，这个是错误的。
2.跑下它quick start .
这个主要是为了了解有一个感性的认识，对于一个新东西而言。
不需要很深入，能跑通即可。
3.查看架构图及它的配置文件
这个环节主要是让你对整个框架有一个很宏观的认识，这个框架包含了那些模块，每个模块的分工是如何。之间的的核心流程的数据流是如何流转的。这样有一个整体的任务后，再对其中的一些关键模块再做细节的了解。
看配置文件是从另一个角度的理解系统的模块划分，同时配置文件会包含了很多关键有用的细节。
例如hadoop的配置文件分为了
核心的HDFS配置：core-site.xml,主要是命名空间，基本权限等信息
hdfs的相关配置：hdfs-site.xml ,如何做HA，其中namenode和datenode的配置
调度系统：yarn-site.xml，如何调度，分配资源
调度运行时配置：mapred-site.xml 在具体运行过程中的配置，如何重试,调度端口等。
从几个文件就可以即整体又细节的了解整个系统。
再看spark的配置分为：整体配置，运行时配置，shuffle配置，安全配置，UI配置，压缩和序列化配置，内存管理配置等，从这几个方面基本就可以知道spark的整体了。
4.看源码
到了这个环节，基本对于系统是怎么运转有了一个外部的认识，那么具体要深入优化的话，就必须看源码了。查找一些根源的问题。
阅读全文…
spark-内存管理及配置
作者: inter12
日期: 10 十月, 2017
没有评论 | 3,719 views
hive on spark的几个参数调整
作者: inter12
日期: 25 八月, 2017
没有评论 | 6,321 views
spark.executor.cores ： 每个executor允许分配的cpu ，建议是在5-7之间
阅读全文…
spark简介
作者: inter12
日期: 27 七月, 2017
没有评论 | 2,147 views
一 核心术语
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
Application ： 运行在spark上的应用，包含了driver和executor
Application jar : 打包的可执行jar
Driver program ： 运行main函数的类
Cluster manager ：外部的资源调度，例如mesos,yarn
Deploy mode : 部署运行模式，例如local,client,yarn等
Worker node：具体的执行节点，例如yarn中的nodemanager
Executor : 在Worker node上运行的进程，例如yarn中的container
Task：最小可执行的单元
job：具体的某个操作行为，例如spark中的save,collector
Stage ：每个作业的执行阶段，类似于mr中的map, reduce
二 整体架构图：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
spark = 一个driver + 少量的executor + 大量的task组成
driver : 打的可执行spark包
executor : 一个独立的jvm进程，在spark on yarn中，executor ＝ container
task : 独立jvm进程中的线程
阅读全文…
mongo-命令行安装 -replSet
作者: inter12
日期: 25 七月, 2017
没有评论 | 2,816 views
1.增加源
echo “deb http://repo.mongodb.org/apt/debian jessie/mongodb-org/3.4 main” | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
阅读全文…
BAT发展的思考
作者: inter12
日期: 1 七月, 2017
没有评论 | 2,279 views
最近BAT的话题变的越来越热，估计现在也将会是这个词热度的最高峰了。百度的日薄西山连中关村扫大街的大妈都知道，将来很难再同AT并驾齐驱。这篇文章主要是对于BAT三家的发展给出一些自己浅薄，不严谨的看法。
阅读全文…
近期在公司内部的一些分享
作者: inter12
日期: 22 六月, 2017
没有评论 | 2,409 views
mysql的分享：http://www.doc88.com/p-8445678045103.html
阅读全文…