對(duì)python操作kafka寫入json數(shù)據(jù)的簡單demo分享

更新時(shí)間：2018年12月27日 10:00:23 作者：Liu-YanLin

今天小編就為大家分享一篇對(duì)python操作kafka寫入json數(shù)據(jù)的簡單demo，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

如下所示：

安裝kafka支持庫pip install kafka-python

from kafka import KafkaProducer
import json
 
'''
 生產(chǎn)者demo
 向test_lyl2主題中循環(huán)寫入10條json數(shù)據(jù)
 注意事項(xiàng)：要寫入json數(shù)據(jù)需加上value_serializer參數(shù)，如下代碼
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()

from kafka import KafkaConsumer
import json
 
'''
 消費(fèi)者demo
 消費(fèi)test_lyl2主題中的數(shù)據(jù)
 注意事項(xiàng)：如需以json格式讀取數(shù)據(jù)需加上value_deserializer參數(shù)
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上這篇對(duì)python操作kafka寫入json數(shù)據(jù)的簡單demo分享就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

模擬瀏覽器的Python爬蟲工具全面深入探索
Python爬蟲是獲取網(wǎng)頁信息的重要工具,但有時(shí)網(wǎng)站對(duì)爬蟲有限制,要求模擬瀏覽器行為,本文將深入探討如何使用Python模擬瀏覽器行為進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)抓取,我們將介紹相關(guān)工具和技術(shù),提供詳細(xì)的示例代碼和解釋
2024-01-01
詳解python實(shí)現(xiàn)小波變換的一個(gè)簡單例子
這篇文章主要介紹了詳解python實(shí)現(xiàn)小波變換的一個(gè)簡單例子，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-07-07
python數(shù)學(xué)建模(SciPy+?Numpy+Pandas)
這篇文章主要介紹了python數(shù)學(xué)建模(SciPy+?Numpy+Pandas),文章基于python的相關(guān)資料緊接上一篇文章內(nèi)容展開主題詳情，需要的小伙伴可以參考一下
2022-07-07
Python探索之Metaclass初步了解
本文先簡單介紹了Python中的類，然后是主要內(nèi)容，涉及Metaclass的相關(guān)內(nèi)容，還是不錯(cuò)的，這里分享給大家，供需要的朋友參考。
2017-10-10
Python多線程爬蟲實(shí)戰(zhàn)_爬取糗事百科段子的實(shí)例
下面小編就為大家分享一篇Python多線程爬蟲實(shí)戰(zhàn)_爬取糗事百科段子的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2017-12-12
python模型集成知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給大家整理了一篇關(guān)于python模型集成知識(shí)點(diǎn)總結(jié)，有需要的朋友們可以學(xué)習(xí)參考下。
2021-08-08
保留已有python安裝Anaconda的方法推薦
在安裝Anaconda之前,有的已經(jīng)安裝過一個(gè)Python版本了,但是又不想刪除這個(gè)Python版本,該怎么辦呢??這篇文章主要給大家介紹了關(guān)于保留已有python安裝Anaconda的幾種法推薦,需要的朋友可以參考下
2023-12-12
Python實(shí)現(xiàn)識(shí)別圖片為文字的示例代碼
這篇文章主要為大家詳細(xì)介紹了Python如何不調(diào)用三方收費(fèi)接口，照樣實(shí)現(xiàn)識(shí)別圖片為文字的功能。文中的示例代碼講解詳細(xì)，感興趣的可以了解一下
2022-08-08
Python繪制數(shù)據(jù)動(dòng)態(tài)圖的方法詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Python語言繪制好看的數(shù)據(jù)動(dòng)態(tài)圖，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起動(dòng)手嘗試一下
2022-07-07
記一次Django響應(yīng)超慢的解決過程
這篇文章主要介紹了記一次Django響應(yīng)超慢的解決過程，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-09-09