大数据传输服务简介

随着现实业务变的更加复杂,业务数据量变的更加庞大,我们的软件架构也变的非常庞大,动辄上百台服务器节点的业务也开始随处可见,特别是在一些大型公司。
加上随着现在对于用户行为数据的重视度越来越高,日志的价值也越来越被大家所重视,那么随之而来的问题是,我们需要一个简单,快速,稳定,可靠的日志收集工具,能够收集散落在几百台服务器,不同目录下的日志数据。
这样的日志收集中间件在各大公司都已经成为必不可少的组件,例如linkin的kafka ,cloudera的flume,facebook的scribe.国内做的较好的阿里云已经将这种数据收集服务做到了SAAS层,整合到云主机中做为一个公共服务对外提供。网易杭研中的对比产品就是Datastream。

阅读全文…