随着现实业务变的更加复杂,业务数据量变的更加庞大,我们的软件架构也变的非常庞大,动辄上百台服务器节点的业务也开始随处可见,特别是在一些大型公司。
加上随着现在对于用户行为数据的重视度越来越高,日志的价值也越来越被大家所重视,那么随之而来的问题是,我们需要一个简单,快速,稳定,可靠的日志收集工具,能够收集散落在几百台服务器,不同目录下的日志数据。
这样的日志收集中间件在各大公司都已经成为必不可少的组件,例如linkin的kafka ,cloudera的flume,facebook的scribe.国内做的较好的阿里云已经将这种数据收集服务做到了SAAS层,整合到云主机中做为一个公共服务对外提供。网易杭研中的对比产品就是Datastream。
阅读全文…
月度存档: 九月 2015
大数据传输服务简介
作者: inter12
日期: 28 九月, 2015
没有评论 | 4,258 views
Mac 下 折腾 Kerberos的一些基础东西
作者: inter12
日期: 10 九月, 2015
没有评论 | 11,080 views
第一次搞Kerberos,这个被很多人深恶痛绝的东西。还好有人问,少走了很多弯路,主要是在mac 下搞Kerberos配置。希望这个是自己的第一篇大数据方面的博文。
阅读全文…