分类存档: 大数据

Presto内存分配机制

1.预留系统内存:SYSTEM_POOL= Runtime.getRuntime().maxMemory() * 0.4

阅读全文…

YARN-ResourceManager的整体剖析

最近在查YARN的一些问题,就总结一下YARN中RM的整体代码模块

阅读全文…

hadoop namenode rpc explode

一 背景

阅读全文…

spark各类节点启动JVM设置

最近遇到的一个问题,spark job history 经常很卡,看了下内存情况。默认是看了1G,-Xmx1g.

阅读全文…

使用maven编译pb

最近一个项目要使用grpc来做通信,这个玩意底层用的是pb格式做序列,在网上查了些资料,发现很多资料都过时了,编译的时候出现各种。

阅读全文…

Presto的安装手记

一 下载安装包
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.192/presto-server-0.192.tar.gz

阅读全文…

phoenix安装手记

1.下载代码

阅读全文…

crate 集群搭建

crate 的介绍可见:https://crate.io/

阅读全文…

spark核心要点

整理一份关于spark核心的脑图,这基本涵盖了spark中比较关键的东西了。

阅读全文…

hadoop中使用到的设计模式

设计模式(Design pattern)的官方定义是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。解决的是代码可重用、代码更容易被他人理解、保证代码可靠性的问题。
Hadoop作为一个06年开始开源走到现在的框架,已经是一个非常成熟和经典的系统了。这个里面对于设计模式的使用也是非常的经典,本篇主要介绍一下Hadoop中使用到的设计模式,非常值得学习。额外需要提到的是这里的设计模式特指:四人帮23种模式.
关于设计模式的详细介绍可见:http://www.runoob.com/design-pattern/design-pattern-tutorial.html
1.创建型模式
1.1 单例模式 单例模式(Singleton Pattern)
RMPolicyProvider : 双重锁的形式单例实现。
NMPolicyProvider,HDFSPolicyProvider : 饿汉式的单例实现。
一般是要求全局单例的要求。

阅读全文…

Pages: 1 2 3 4 5 Next