整个namenode之间的ha保证是通过ZKFC这个组件来完成的。
阅读全文…
标签存档: 大数据
hdfs-namenode之间自动ha切换过程
作者: inter12
日期: 17 四月, 2019
没有评论 | 4,890 views
kafka2.0源码计划之－broker clusterId
作者: inter12
日期: 13 十一月, 2018
没有评论 | 3,863 views
_clusterId 生成规则
在KafkaServer中调用的方式是getOrGenerateClusterId,生成唯一值
阅读全文…
kafka2.0源码计划之－broker总览
作者: inter12
日期: 12 十一月, 2018
3 条评论 | 4,326 views
用了近两年的kafka 0.10.1.1版本后，我们终于要废弃它了。在这个版本上，可以说是吃尽了苦头，其中的问题有自身对于kafka的理解不深入，也有kafka自己的bug问题。当流量小的时候，一切看起来都是那么美好，当流量到千亿级别时候，就是另一回事情。
阅读全文…
Presto内存分配机制
作者: inter12
日期: 18 九月, 2018
没有评论 | 6,570 views
1.预留系统内存：SYSTEM_POOL＝ Runtime.getRuntime().maxMemory() * 0.4
阅读全文…
YARN－ResourceManager的整体剖析
作者: inter12
日期: 1 九月, 2018
没有评论 | 5,671 views
最近在查YARN的一些问题，就总结一下YARN中RM的整体代码模块
阅读全文…
spark各类节点启动JVM设置
作者: inter12
日期: 31 七月, 2018
没有评论 | 6,385 views
最近遇到的一个问题，spark job history 经常很卡，看了下内存情况。默认是看了1G，-Xmx1g.
阅读全文…
微信小程序的简单看法
作者: inter12
日期: 3 四月, 2018
没有评论 | 2,518 views
刚一个多年的老友打电话来说，想聊聊看是否在小程序上是否有机会创业走出一条路，就顺便记录一下自己对于小程序的看法。
阅读全文…