存档

作者存档

hive on spark的几个参数调整

2017年8月25日 没有评论

spark.executor.cores : 每个executor允许分配的cpu ,建议是在5-7之间

阅读全文…

分类: 大数据 标签: 106 views

机器学习之路

2017年8月24日 没有评论

使用了阿里云上的机器学习,整理了以下的关于机器学习的脑图。

阅读全文…

分类: 机器学习 标签: 125 views

spark简介

2017年7月27日 没有评论

一 核心术语
----------------------------------------
Application : 运行在spark上的应用,包含了driver和executor
Application jar : 打包的可执行jar
Driver program : 运行main函数的类
Cluster manager :外部的资源调度,例如mesos,yarn
Deploy mode : 部署运行模式,例如local,client,yarn等
Worker node:具体的执行节点,例如yarn中的nodemanager
Executor : 在Worker node上运行的进程,例如yarn中的container
Task:最小可执行的单元
job:具体的某个操作行为,例如spark中的save,collector
Stage :每个作业的执行阶段,类似于mr中的map, reduce
二 整体架构图:
----------------------------------------
spark = 一个driver + 少量的executor + 大量的task组成
driver : 打的可执行spark包
executor : 一个独立的jvm进程,在spark on yarn中,executor = container
task : 独立jvm进程中的线程

阅读全文…

分类: 大数据 标签: 149 views

mongo-命令行安装 -replSet

2017年7月25日 没有评论

1.增加源
echo “deb http://repo.mongodb.org/apt/debian jessie/mongodb-org/3.4 main” | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list

阅读全文…

分类: DB, 大数据 标签: 153 views

BAT发展的思考

2017年7月1日 没有评论

最近BAT的话题变的越来越热,估计现在也将会是这个词热度的最高峰了。百度的日薄西山连中关村扫大街的大妈都知道,将来很难再同AT并驾齐驱。这篇文章主要是对于BAT三家的发展给出一些自己浅薄,不严谨的看法。

阅读全文…

分类: 且行且思 标签: 271 views

近期在公司内部的一些分享

2017年6月22日 没有评论

mysql的分享:http://www.doc88.com/p-8445678045103.html

阅读全文…

分类: 且行且思 标签: , 262 views

滴滴hbase常见的rowkey设计

2017年5月26日 没有评论

订单状态表

阅读全文…

分类: 大数据 标签: 452 views

kylin 使用单独hbase问题

2017年5月3日 没有评论
分类: 大数据 标签: 579 views

kylin-关键配置

2017年4月25日 没有评论

自身的配置
kylin.properties
kylin.cube.algorithm : 建立cube的算法,默认是auto , 可以选择的是 “layer” or “inmem” ,“inmem”更快,但是更消耗内存。
kylin.hbase.region.cut : hbase 的每个region 大小,默认是5G
kylin.hbase.default.compression.codec : 在hbase中的压缩方式。
hadoop 相关的配置
kylin_job_conf.xml & kylin_job_conf_inmem.xml 文件
kylin.job.mr.config.override.mapreduce.map.java.opts=-Xmx7g
kylin.job.mr.config.override.mapreduce.map.memory.mb=8192
kylin.job.mr.config.override.mapreduce.job.queuename=myQueue
hive 相关的配置
kylin_hive_conf.xml
默认情况下 ,这三个配置文件是一样的,配置在哪个文件中都可以,只是名字上做了区分。
若是想开启压缩的话:
hive要开启压缩,修改 kylin_hive_conf.xml
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
MR作业想开启压缩的话: 修改kylin_job_conf.xml & kylin_job_conf_inmem.xml

阅读全文…

分类: 大数据 标签: 513 views

《人性的弱点》学习笔记-与人相处的诀窍

2017年4月10日 没有评论
分类: 且行且思 标签: , , 330 views
Pages: 1 2 3 4 5 6 7 8 9 10 ... 21 22 23 Next