- Kafka
- 分类
- Apr 10, 2018
Kafka quickstart
kafka底层有用到zookeeper，之前有看过； 下载、安装、启动直接参考官网就行，QuickStart 启动zookeeper 在解压出来的压缩包根路径下执行bin/zookeeper-server-start.sh config/zookeeper.properties,即可启动zk；zk和kafka都是java写的，有java环境就行 执行以上命令，切勿ctrl c 结束zk服务，之后流程需要用到 启动kafka服务 在开启一个终端，在解压出来的压缩包根路径下执行bin/zookeeper-server-start.sh config/zookeeper.properties 同样不能结束服务，为了执行其他命令，再开启一个终端；也可以nohup ‘command’ &执行，不过这样看日志方便点 创建主题（创建主题有点慢，这一步发生了什么，以后看看） 再另一个终端的解压目录下执行bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 上面的命令指定了副本因子为1，暂时不知道有什么用 该命令只是创建一个主题，不会一直输出log，所以可以执行bin/kafka-topics.sh --list --zookeeper localhost:2181来查看创建的主题；...
Read More - Apr 10, 2018
Kafka 介绍
kafka的介绍，照搬官网，自己在翻译一下…… 是时候展现我英语水平技术的时候了…… 特征 作为一个流处理平台，其三个关键能力： 流记录的发布和订阅，与MQ、企业消息系统相似 流记录的容错存储方式 动态处理流记录 运用场景 kafka的常见运用场景：一是实时将批量（管道）数据可靠地从系统和应用之间获取；二是实时地在应用上转换、响应流数据。 底层实现思路 为了理解上述的情况，从底层上解释了kafka的实现思路： kafka作为一个簇运行，其底下可能有若干个（至少一个）服务；使其能横盖多个数据中心（有点像区块链去中心化……） kafka的簇存储的流记录，按类型区分后，就是一个topic（类似于MQ中的topic） 每一条记录，是一个entry结构，有个key有个value一一对应，并且会有一个时间戳。 核心API Producer API ，顾名思义，生产者的Api，可以发布一系列的主题 Consumer API ，消费者Api，收到Producer发布的topic以后，可以对其进行处理 Streams API ，可以将应用作为一个消息处理者，消费接受到的若干主题，并将处理完的结果作为主题输出，高效的转换接收和输出流信息。 Connector API，已经存在的应用，其topic可以被消费者和生产者重用；就像是关系型数据库可以捕捉到每个表的变化。
Read More