淺談python處理json和redis hash的坑
1、使用MySQLdb讀取出來(lái)的數(shù)據(jù)是unicode字符串,如果要寫(xiě)入redis的hash中會(huì)變成
"{u'eth0_outFlow': 2.5, u'eth1_inFlow': 3.44}"
無(wú)法使用json.loads,需要提前將unicode轉(zhuǎn)成str:
str(eth0_outFlow)
2、單引號(hào)包圍的key不是規(guī)范的json格式
"{'eth0_outFlow': 2.5, 'eth1_inFlow': 3.44}"
需要轉(zhuǎn)成規(guī)范的格式才能使用json.loads()
replace('\'', '"') => '{"eth0_outFlow": 2.5, "eth1_inFlow": 3.44}'
3、None寫(xiě)入redis的hash是直接變成 'None',需要轉(zhuǎn)成'null' 才能使用 json.loads()
"{'eth0_outFlow': None, 'eth1_inFlow': None}"
replace('\'', '"').replace("None", "null") => '{"eth0_outFlow": null, "eth1_inFlow": null}'
4、json.loads()會(huì)把key的類型從str轉(zhuǎn)成unicode,之后寫(xiě)進(jìn)redis后就變成了
"{u'eth0_outFlow': None, u'eth1_inFlow': None}"
需要將其轉(zhuǎn)成str的key才能寫(xiě)進(jìn)redis
value = json.loads(cache)
items = value.iteritems()
value = {k.encode('utf8'): v for k, v in items}
redisCli.hmset(key, value)
5、json.loads如果要保持字典的順序則可以使用
from collections import OrderedDict
json.loads(data, object_pairs_hook=OrderedDict)
6、json.dumps中文亂碼解決方法
>>> js = json.loads('{"haha": "哈哈"}')
>>> print json.dumps(js)
{"haha": "\u54c8\u54c8"}
>>> print json.dumps(js, ensure_ascii=False)
{"haha": "哈哈"}
7、解碼出錯(cuò),使用json.loads會(huì)報(bào)錯(cuò) 'utf8' codec can't decode byte ...則使用忽略錯(cuò)誤的方法
json.loads(unicode( str, errors='ignore'))
8、redis hash在存入redis后所有key都會(huì)變成字符串
9、使用redis的時(shí)候盡量減少網(wǎng)絡(luò)IO操作,有時(shí)候可以使用hash代替 key-value字符串,會(huì)得到事半功倍的效果
10、redis最大內(nèi)存 maxmemory達(dá)到設(shè)置的最大值時(shí)會(huì)隨機(jī)刪除設(shè)置了expire時(shí)間的key,這個(gè)讓我調(diào)試了幾個(gè)鐘
補(bǔ)充知識(shí):redis的hash與string區(qū)別
Redis hash 是一個(gè) string 類型的 field 和 value 的 映射表。它的添加、刪除操作都是 0(1)(平均操作)。
hash 特別 適合用于存儲(chǔ)對(duì)象。相較于將對(duì)象的每個(gè)字段存成單個(gè) string 類型(string 類型可以存儲(chǔ)對(duì)象序列化)。
將一個(gè)對(duì)象存儲(chǔ)在 hash 類型中會(huì)占用更少的內(nèi)存,并且可以更方便的存取整個(gè)對(duì)象。
(省內(nèi)存的原因是新建一個(gè) hash 對(duì)象時(shí)開(kāi)始是用 zipmap(又稱為 small hash)來(lái)存儲(chǔ)的。
這個(gè) zipmap 其實(shí)并不是 hash table,但是 zipmap 相比正常的 hash 實(shí)現(xiàn)可以節(jié)省不少 hash 本身需要的一些元數(shù)據(jù)存儲(chǔ)開(kāi)銷(xiāo)。
對(duì)比軟件:Beyond Compare 3
以上這篇淺談python處理json和redis hash的坑就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python按行讀取文件,去掉每行的換行符\n的實(shí)例
下面小編就為大家分享一篇python按行讀取文件,去掉每行的換行符\n的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
pycharm社區(qū)版安裝django并創(chuàng)建一個(gè)簡(jiǎn)單項(xiàng)目的全過(guò)程
社區(qū)版的pycharm跟專業(yè)版的pycharm應(yīng)用差別還是不太大,下面這篇文章主要給大家介紹了關(guān)于pycharm社區(qū)版安裝django并創(chuàng)建一個(gè)簡(jiǎn)單項(xiàng)目的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
Python中多繼承與菱形繼承問(wèn)題的解決方案與實(shí)踐
在Python這個(gè)靈活且功能強(qiáng)大的編程語(yǔ)言中,多繼承是一個(gè)既強(qiáng)大又復(fù)雜的概念,它允許一個(gè)類繼承自多個(gè)父類,從而能夠復(fù)用多個(gè)父類的屬性和方法,本文將深入解釋Python中的多繼承概念,詳細(xì)剖析菱形繼承問(wèn)題,并探討Python是如何解決這一難題的,需要的朋友可以參考下2024-07-07
python去除字符strip方法的實(shí)現(xiàn)
Python中strip()方法用于去除字符串首尾的空白字符,包括空格、制表符和換行符,可以確保字符串沒(méi)有多余的空白字符,感興趣的可以了解一下2024-11-11
python實(shí)現(xiàn)報(bào)表自動(dòng)化詳解
這篇文章主要介紹了python實(shí)現(xiàn)報(bào)表自動(dòng)化詳解,涉及python讀,寫(xiě)excel—xlwt常用功能,xlutils 常用功能,xlwt寫(xiě)Excel時(shí)公式的應(yīng)用等相關(guān)內(nèi)容,具有一定參考價(jià)值,需要的朋友可以了解下。2017-11-11
pyinstaller將python程序打包為可執(zhí)行文件
這篇文章主要介紹了pyinstaller將python程序打包為可執(zhí)行文件,pyinstaller是一個(gè)python打包工具,它將python程序及所需依賴都打包成一個(gè)可執(zhí)行文件2022-08-08
Pytest?fixture及conftest相關(guān)詳解
這篇文章主要介紹了Pytest?fixture及conftest相關(guān)詳解,fixture是在測(cè)試函數(shù)運(yùn)行前后,由pytest執(zhí)行的外殼函數(shù),更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-09-09
使用wxPython實(shí)現(xiàn)Windows11任務(wù)欄通知功能
這篇文章主要為大家詳細(xì)介紹了如何使用 wxPython 模塊,在 Windows 11 中實(shí)現(xiàn)任務(wù)欄通知功能,文中的示例代碼簡(jiǎn)潔易懂,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-10-10
Python3爬蟲(chóng)中Selenium的用法詳解
在本篇內(nèi)容里小編給大家分享了關(guān)于Python3爬蟲(chóng)中Selenium的用法詳解內(nèi)容,需要的朋友們可以參考下。2020-07-07

