干程序员这行,一个很常见的工作就是需要给程序中的变量、方法、类命名,那么如何合理的取名字就是一个非常有意思和挑战的事情。通常来说,不好定义变量有以下几种风格。
阅读全文…
Hadoop中的类命名
学习一个新的开源框架的方法论
阅读全文…
spark-内存管理及配置
hive on spark的几个参数调整
spark.executor.cores : 每个executor允许分配的cpu ,建议是在5-7之间
阅读全文…
spark简介
一 核心术语
----------------------------------------
Application : 运行在spark上的应用,包含了driver和executor
Application jar : 打包的可执行jar
Driver program : 运行main函数的类
Cluster manager :外部的资源调度,例如mesos,yarn
Deploy mode : 部署运行模式,例如local,client,yarn等
Worker node:具体的执行节点,例如yarn中的nodemanager
Executor : 在Worker node上运行的进程,例如yarn中的container
Task:最小可执行的单元
job:具体的某个操作行为,例如spark中的save,collector
Stage :每个作业的执行阶段,类似于mr中的map, reduce
二 整体架构图:
----------------------------------------
spark = 一个driver + 少量的executor + 大量的task组成
driver : 打的可执行spark包
executor : 一个独立的jvm进程,在spark on yarn中,executor = container
task : 独立jvm进程中的线程
阅读全文…
mongo-命令行安装 -replSet
1.增加源
echo “deb http://repo.mongodb.org/apt/debian jessie/mongodb-org/3.4 main” | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
阅读全文…
BAT发展的思考
最近BAT的话题变的越来越热,估计现在也将会是这个词热度的最高峰了。百度的日薄西山连中关村扫大街的大妈都知道,将来很难再同AT并驾齐驱。这篇文章主要是对于BAT三家的发展给出一些自己浅薄,不严谨的看法。
阅读全文…
近期在公司内部的一些分享
mysql的分享:http://www.doc88.com/p-8445678045103.html
阅读全文…