spark.executor.cores ： 每个executor允许分配的cpu ，建议是在5-7之间
阅读全文…
hive on spark的几个参数调整
作者: inter12
日期: 25 八月, 2017
没有评论 | 3,605 views
spark简介
作者: inter12
日期: 27 七月, 2017
没有评论 | 1,487 views
一 核心术语
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
Application ： 运行在spark上的应用，包含了driver和executor
Application jar : 打包的可执行jar
Driver program ： 运行main函数的类
Cluster manager ：外部的资源调度，例如mesos,yarn
Deploy mode : 部署运行模式，例如local,client,yarn等
Worker node：具体的执行节点，例如yarn中的nodemanager
Executor : 在Worker node上运行的进程，例如yarn中的container
Task：最小可执行的单元
job：具体的某个操作行为，例如spark中的save,collector
Stage ：每个作业的执行阶段，类似于mr中的map, reduce
二 整体架构图：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
spark = 一个driver + 少量的executor + 大量的task组成
driver : 打的可执行spark包
executor : 一个独立的jvm进程，在spark on yarn中，executor ＝ container
task : 独立jvm进程中的线程
阅读全文…
mongo-命令行安装 -replSet
作者: inter12
日期: 25 七月, 2017
没有评论 | 1,831 views
1.增加源
echo “deb http://repo.mongodb.org/apt/debian jessie/mongodb-org/3.4 main” | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
阅读全文…
BAT发展的思考
作者: inter12
日期: 1 七月, 2017
没有评论 | 1,589 views
最近BAT的话题变的越来越热，估计现在也将会是这个词热度的最高峰了。百度的日薄西山连中关村扫大街的大妈都知道，将来很难再同AT并驾齐驱。这篇文章主要是对于BAT三家的发展给出一些自己浅薄，不严谨的看法。
阅读全文…
近期在公司内部的一些分享
作者: inter12
日期: 22 六月, 2017
没有评论 | 1,832 views
mysql的分享：http://www.doc88.com/p-8445678045103.html
阅读全文…
kylin-关键配置
作者: inter12
日期: 25 四月, 2017
没有评论 | 4,400 views
自身的配置
kylin.properties
kylin.cube.algorithm : 建立cube的算法，默认是auto , 可以选择的是 “layer” or “inmem” ，“inmem”更快，但是更消耗内存。
kylin.hbase.region.cut ： hbase 的每个region 大小，默认是5G
kylin.hbase.default.compression.codec ： 在hbase中的压缩方式。
hadoop 相关的配置
kylin_job_conf.xml & kylin_job_conf_inmem.xml 文件
kylin.job.mr.config.override.mapreduce.map.java.opts=-Xmx7g
kylin.job.mr.config.override.mapreduce.map.memory.mb=8192
kylin.job.mr.config.override.mapreduce.job.queuename=myQueue
hive 相关的配置
kylin_hive_conf.xml
默认情况下 ，这三个配置文件是一样的，配置在哪个文件中都可以，只是名字上做了区分。
若是想开启压缩的话：
hive要开启压缩，修改 kylin_hive_conf.xml
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
MR作业想开启压缩的话： 修改kylin_job_conf.xml & kylin_job_conf_inmem.xml
阅读全文…