yarn-label Scheduler

需要对于yarn集群进行实时和离线作业的分离,就单独搞一个yarn,实时对于资源的竞争比较敏感,所以用了标签来做机器上的隔离来保证资源的隔离性

阅读全文…

spark streaming作业心跳异常

问题现场

阅读全文…

kafka2.0源码计划之-broker clusterId

_clusterId 生成规则
在KafkaServer中调用的方式是getOrGenerateClusterId,生成唯一值

阅读全文…

kafka2.0源码计划之-broker总览

用了近两年的kafka 0.10.1.1版本后,我们终于要废弃它了。在这个版本上,可以说是吃尽了苦头,其中的问题有自身对于kafka的理解不深入,也有kafka自己的bug问题。当流量小的时候,一切看起来都是那么美好,当流量到千亿级别时候,就是另一回事情。

阅读全文…

Presto内存分配机制

1.预留系统内存:SYSTEM_POOL= Runtime.getRuntime().maxMemory() * 0.4

阅读全文…

YARN-ResourceManager的整体剖析

最近在查YARN的一些问题,就总结一下YARN中RM的整体代码模块

阅读全文…

hadoop namenode rpc explode

一 背景

阅读全文…

spark各类节点启动JVM设置

最近遇到的一个问题,spark job history 经常很卡,看了下内存情况。默认是看了1G,-Xmx1g.

阅读全文…

sysbench-初体验

因为想尝试一下 TIDB,那么用了sysbench来做压测。

阅读全文…

物流(快递)行业浅析

物流这个词是从平台的角度去看,从消费者的角度看叫快递可能更合适。

阅读全文…

Pages: 1 2 3 4 5 6 7 8 9 10 ... 23 24 25 Next