大数据处理概述

大数据是时下的热门话题,你不说几句大数据都不好意思出门跟人打招呼,今天就抽空理理自己对于大数据处理的理解吧。
大数据,顾名思义就是一堆非常非常大的东西丢在那边,一堆杂乱,原始的数据,然后要求我们根据自己的业务要求,抽取并分析出价值来。看起来很简单的事情吧,是的,若是时间足够的话,我们可以慢慢的处理,最简单的就是线性的,之后是就二分,树结构查找,再快点就哈希。但是,在大数据面前,简单的使用上面的手段是不能满足实际的业务要求的。只好继续探索探索。

阅读全文…

布隆过滤器 (Bloom Filter)的实现

布隆过滤器,先看看维基百科的解释:是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。

阅读全文…

Exchanger的简单示例

在JDK5之后,提供了很多写并发程序的API,降低了我们写多线程程序的难度,大致上有:Semaphore,CountDownLatch,Exchanger,CyclicBarrier 四个!
四者中对于Exchanger相对陌生,今天突然看到,觉得有点意思,查了网上的资料,写的demo都不是很好,就写个demo玩玩,它的作用是负责两组线程间的通信问题(数据交换),很明显的一个例子就是生产者和消费者可用Exchanger来实现!具体代码如下所示吧:

阅读全文…

编程语言浅谈

写在前面

本来不想起起这么大名字的,因为语言层面的东西我现在去谈,去说,还是有些为时过早,毕竟在这个行业的浸泡还不够深,但是昨晚在跟以前同事交流该去学什么语言的时候,突然冒出来这个想法,为什么不趁机记录下自己现在对于编程语言的一些理解和一些看法,在以后有深入研究后,再回过头来看看。于是就有了这篇博文,自己获取信息有限。难免会有差错之言,就拿出来贻笑大方吧!

阅读全文…