Python中使用Kafka

感觉python连接kafka比Scala(java)方便多了，但是总有遇到奇怪需求的时候（白身后的部门经理一眼）：Java连接Kafka的方法与demo

---

操作步骤：

1.安装依赖包
python连接kafka需要额外的依赖包，幸运的是python有提供，直接通过pip安装pykafka即可。
2.producer：

>>> from pykafka import KafkaClient>>> client = KafkaClient(hosts="192.168.1.1:9092, 192.168.1.2:9092") # 可接受多个Client这是重点>>> client.topics  # 查看所有topic>>> topic = client.topics['my.test'] # 选择一个topic>>> producer = topic.get_producer()>>> producer.produce(['test message ' + str(i ** 2) for i in range(4)]) 

3.consumer：

>>> balanced_consumer = topic.get_balanced_consumer(    consumer_group='testgroup',    auto_commit_enable=True,  # 设置为Flase的时候不需要添加 consumer_group    zookeeper_connect='myZkClusterNode1.com:2181,myZkClusterNode2.com:2181/myZkChroot' # 这里就是连接多个zk)