随着现实业务变的更加复杂，业务数据量变的更加庞大，我们的软件架构也变的非常庞大，动辄上百台服务器节点的业务也开始随处可见，特别是在一些大型公司。
加上随着现在对于用户行为数据的重视度越来越高，日志的价值也越来越被大家所重视，那么随之而来的问题是，我们需要一个简单，快速，稳定，可靠的日志收集工具，能够收集散落在几百台服务器，不同目录下的日志数据。
这样的日志收集中间件在各大公司都已经成为必不可少的组件，例如linkin的kafka ,cloudera的flume,facebook的scribe.国内做的较好的阿里云已经将这种数据收集服务做到了SAAS层，整合到云主机中做为一个公共服务对外提供。网易杭研中的对比产品就是Datastream。
阅读全文…
月度存档: 九月 2015
大数据传输服务简介
作者: inter12
日期: 28 九月, 2015
没有评论 | 4,258 views
Mac 下 折腾 Kerberos的一些基础东西
作者: inter12
日期: 10 九月, 2015
没有评论 | 11,080 views
第一次搞Kerberos，这个被很多人深恶痛绝的东西。还好有人问，少走了很多弯路，主要是在mac 下搞Kerberos配置。希望这个是自己的第一篇大数据方面的博文。
阅读全文…