解決Pymongo insert時會自動添加_id的問題
更新時間：2020年12月05日 10:56:14 作者：microfat992
這篇文章主要介紹了解決Pymongo insert時會自動添加_id的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在使用pymongo時遇到了一個小坑：
在Flask框架中，將字典插入mongodb后再返回就報錯
@app.route('xxxx')
def main():
...
data = {
'a':'a',
'b':'b'
}
mycol.insert_one(data)
return data
Traceback (most recent call last): File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2464, in __call__ return self.wsgi_app(environ, start_response) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2450, in wsgi_app response = self.handle_exception(e) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1867, in handle_exception reraise(exc_type, exc_value, tb) File "/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise raise value File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2447, in wsgi_app response = self.full_dispatch_request() File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1953, in full_dispatch_request return self.finalize_request(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1968, in finalize_request response = self.make_response(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2112, in make_response rv = jsonify(rv) File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 370, in jsonify dumps(data, indent=indent, separators=separators) + "\n", File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 211, in dumps rv = _json.dumps(obj, **kwargs) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py", line 412, in dumps **kw).encode(obj) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 298, in encode chunks = list(chunks) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 696, in _iterencode for chunk in _iterencode_dict(o, _current_indent_level): File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 652, in _iterencode_dict for chunk in chunks: File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 716, in _iterencode o = _default(o) File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 100, in default return _json.JSONEncoder.default(self, o) File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 273, in default o.__class__.__name__) TypeError: Object of type ObjectId is not JSON serializable
這是由于pymongo在進行插入操作時，如果字典中沒有‘_id'，會自動添加‘_id'，而它的值為ObjectId實例，flask在對返回值進行編碼時無法編碼ObjectId類型實例，所以報錯，解決辦法就是去掉‘_id'或者mycol.insert_one(data.copy())
補充知識：pymongo去重: 插入數(shù)據(jù)時,不存在則插入,存在則不執(zhí)行
爬蟲想把爬取的數(shù)據(jù)存入到mongoDB中, 這時候經(jīng)常遇到的一個需求就是插入的數(shù)據(jù)已經(jīng)存在數(shù)據(jù)庫中, 因此插入前去重就是一個經(jīng)常性的課題.
我的想法是：
如果數(shù)據(jù)庫中已經(jīng)存在這個數(shù)據(jù), 那么就什么也不操作
如果數(shù)據(jù)不存在, 則插入這個數(shù)據(jù)
為了實現(xiàn)這個想法, 查了很多文獻, 發(fā)現(xiàn)使用update 可以實現(xiàn)
下面就是我測試的代碼
# 首先在數(shù)據(jù)中插入一條數(shù)據(jù)
document = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負擔がかかっていたと思われます。'],
'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
collection.insert(document)
通過mongoDB可視化工具查看數(shù)據(jù)庫,發(fā)現(xiàn)數(shù)據(jù)已經(jīng)存在
要實現(xiàn)如果不存在就插入，如果存在就不插入的要求，我們需要用到 update的一個參數(shù)：‘$setOnInsert'
通過閱讀官方文檔我們可以發(fā)現(xiàn) 與$setOnInsert方法想配合的最重要的參數(shù)就是 upsert:True
update源碼中的upsert參數(shù)默認為False，只需要將update方法的upsert參數(shù)修改為True是否就能達到需要的效果呢？
現(xiàn)在我們執(zhí)行相同數(shù)據(jù)的插入看看效果
# 首先需要限定一個重復的條件,比如我們想除了gmt_create參數(shù)以外,全部不一樣就算不重復, 先限定一個條件
result_find = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので',
'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負擔がかかっていたと思われます。']
}
# 執(zhí)行 update
collection.update(
result_find,
{'$setOnInsert': document},
upsert=True
)
執(zhí)行完之后, 去數(shù)據(jù)庫中查看,發(fā)現(xiàn)還是原來的那條數(shù)據(jù), 并沒有多出一條來, 說明可以實現(xiàn) 如果存在就不操作的要求
那么能實現(xiàn) 如果不存在就插入的要求嗎?
我們去數(shù)據(jù)庫可視化工具中 把數(shù)據(jù)庫中的數(shù)據(jù)刪除, 然后執(zhí)行下面操作
document = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負擔がかかっていたと思われます。'],
'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
result_find = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので',
'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負擔がかかっていたと思われます。']
}
# collection.insert(document)
collection.update(
result_find,
{'$setOnInsert': document},
upsert=True
)
然后我們發(fā)現(xiàn)數(shù)據(jù)中出現(xiàn)了我們想看到的這條數(shù)據(jù)
所以, 實現(xiàn)了我們的要求: 存在則不操作, 不存在則插入.
以上這篇解決Pymongo insert時會自動添加_id的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Tensorflow使用tfrecord輸入數(shù)據(jù)格式
這篇文章主要介紹了Tensorflow使用tfrecord輸入數(shù)據(jù)格式,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了Python無損壓縮圖片的方法，簡單的代碼即可實現(xiàn)壓縮圖片，感興趣的朋友可以了解下2020-08-08
提取PDF文檔中的圖片是一項常見的任務，本文將介紹如何使用PyPDF2和pdfminer.six這兩個庫來提取PDF文檔中的圖片，感興趣的可以了解一下2023-06-06
這篇文章主要為大家詳細介紹了如何基于python實現(xiàn)開箱一個即用的桌面時鐘,文中的示例代碼講解詳細,具有一定的借鑒價值,需要的小伙伴可以參考下2023-12-12
基于python的socket實現(xiàn)單機五子棋到雙人對戰(zhàn)
這篇文章主要為大家詳細介紹了基于python的socket實現(xiàn)單機五子棋到雙人對戰(zhàn)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
這篇文章主要介紹了Python sys.argv用法實例,sys.argv[]是用來獲取命令行參數(shù)的,sys.argv[0]表示代碼本身文件路徑,其它則用來表示獲取輸入?yún)?shù),需要的朋友可以參考下2015-05-05
今天小編就為大家分享一篇對python3中的RE(正則表達式)-詳細總結，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
Python+Selenium實現(xiàn)短視頻熱點爬取
隨著短視頻的大火，不僅可以給人們帶來娛樂，還有熱點新聞時事以及各種知識，刷短視頻也逐漸成為了日常生活的一部分。本文將通過Pyhton依托Selenium來爬取短視頻熱點，需要的可以參考一下2022-04-04![Pandas庫中iloc[]函數(shù)的使用方法](http://img.jbzj.com/images/xgimg/bcimg8.png)
在數(shù)據(jù)分析過程中,很多時候需要從數(shù)據(jù)表中提取出相應的數(shù)據(jù),而這么做的前提是需要先“索引”出這一部分數(shù)據(jù),下面這篇文章主要給大家介紹了關于Pandas庫中iloc[]函數(shù)的使用方法,需要的朋友可以參考下2023-01-01
解決django.db.utils.IntegrityError:(1048, Column las
這篇文章主要介紹了解決django.db.utils.IntegrityError:(1048, Column last_login cannot be null)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01