存档

‘未分类’ 分类的存档

spark运行在yarn中 ClassNotFoundException

2016年11月23日 没有评论

Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

阅读全文…

分类: 未分类 标签: , , 427 views

hadoop–基于unix的简单权限控制

2016年11月3日 没有评论

我们当前的系统之前是没有考虑权限控制体系的,最近遇到其他部门的人也希望能够有权限使用hadoop.
基本上社区有两种实现方案,一种是Kerberos认证,另一种就是基于linux的简单认证。
考虑到实现陈本的问题,后来选择了使用基于linux的简单认证

阅读全文…

分类: 未分类 标签: 323 views

如何查看CMS 的gc日志

2016年4月26日 没有评论

最近在重新整理JVM方面的知识,看到很久以前的一篇对于CMS GC解读的日志,这篇博客地址是 https://blogs.oracle.com/poonam/entry/understanding_cms_gc_logs 。现在看来还是很有收获,就决定放出来。
以下是个人整理的翻译
————————————————————————————
CMS GC with -XX:+PrintGCDetails and -XX:+PrintGCTimeStamps prints a lot of information. Understanding this information can help in fine tuning various parameters of the application and CMS to achieve best performance.
Let’s have a look at some of the CMS logs generated with 1.4.2_10:
39.910: [GC 39.910: [ParNew: 261760K->0K(261952K), 0.2314667 secs] 262017K->26386K(1048384K), 0.2318679 secs]
Young generation (ParNew) collection. Young generation capacity is 261952K and after the collection its occupancy drops down from 261760K to 0. This collection took 0.2318679 secs.
## 新生代GC,新生代大小是262017K,一次GC,新生代从261760K降到了0K。花费了0.2318679 s

阅读全文…

分类: 未分类 标签: 894 views

温昱版的架构设计

2016年3月26日 没有评论

花了两天时间,看完了软件架构设计--温昱编著。整理了下面的脑图,感觉作者还是写的很赞的。


阅读全文…

分类: 未分类 标签: 625 views

框架设计原则及实践

2016年1月13日 没有评论
分类: 未分类 标签: 541 views

线程池的一些使用经验

2015年5月12日 没有评论

所有的性能优化大体脱离不了以下几个字:降、疏、缓、堵、调、冗。而这几个性能优化的方法中以疏字用的最多。

阅读全文…

分类: 未分类 标签: 1,266 views

idea 在 Mac 下的快捷键

2015年5月7日 没有评论

视图查看

阅读全文…

分类: 未分类 标签: 1,513 views

字符集及编码方式

2015年4月17日 没有评论
碰到个问题,中文解析乱码,顺手查了些资料,就记在这里了。
自己以前也写过一篇类型的文章:http://www.inter12.org/archives/622

一 基本概念:

字符集(Charset):是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。
字符编码(Character Encoding):是一套法则,使用该法则能够对自然语言的字符的一个集合(如字母表或音节表),与其他东西的一个集合(如号码或电脉冲)进行配对。
常见字符集:ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集
常见字符编码:ASCII编码、GB2312编码、BIG5编码、GB18030编码、Unicode编码
一般所说的UTF-8,包含了
unicode:为表达任意语言的任意字符而设计。它使用4字节的数字来表达每个字母、符号,或者表意文字(ideograph)。每个数字代表唯一的至少在某种语言中使用的符号。
Unicode是字符集,UTF-32/ UTF-16/ UTF-8是三种字符编码方案
 
通常所见的utf-8:指的是unicode字符集,utf-8编码方式
 

二 常见解释:

Accept-Charset:浏览器申明自己接收的字符集,这就是本文前面介绍的各种字符集和字符编码,如gb2312,utf-8(通常我们说Charset包括了相应的字符编码方案);

阅读全文…

分类: 工具, 未分类 标签: 786 views

布隆过滤器 (Bloom Filter)的实现

2013年6月21日 没有评论

布隆过滤器,先看看维基百科的解释:是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。

阅读全文…

分类: 未分类 标签: 3,829 views

Btrace实战

2013年2月5日 没有评论

最早接触的是btrace,那会在2010年就听说了,后来又看到了Dtrace,今天放假回来就总结总结这两个线上调试利器。
源码下载地址是:http://kenai.com/projects/btrace/downloads 看主页上的最近更新时间都是2年前了,release的更新更是在三年前,好东西虽然不常更新,但确经久待用。在iteye上搜索可下btrace,发现几篇老东家同事写的:
http://www.iteye.com/topic/1005918
http://www.iteye.com/topic/586630
都写的很好,从实现原理到代码级别的解读,我这里就不做重复的事情了,只写点自己的感受!

阅读全文…

分类: 未分类 标签: , 4,429 views
Pages: 1 2 Next