Kafka

  kafka 官网地址:http://kafka.apache.org,是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。

  消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。

  多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。

  producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。

  broker端不维护数据的消费状态,提升了性能。

  直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。

  Kafka使用scala编写,可以运行在JVM上。