django批量導入xml數(shù)據(jù)
更新時間：2016年10月16日 09:44:28 投稿：hebedich
從網(wǎng)上下載的一些數(shù)據(jù)，excel表格，xml文件，txt文件等有時候我們想把它導入數(shù)據(jù)庫，應該如何操作呢？下面我們就來詳細討論下。
django后臺批量導入數(shù)據(jù)
在生產(chǎn)環(huán)境中，往往數(shù)據(jù)不是幾條或者幾百條，那么舉個例子，將公司所有員工員工號或者帳號密碼導入進后臺，那就不建議你去后臺一條條記錄去添加了
如何從xml中批量導入svn記錄
第一步：
為數(shù)據(jù)建立模型
@python_2_unicode_compatible
class SVNLog(models.Model):
vision = models.IntegerField(verbose_name=u"修訂版本", blank=False, null=False,)
author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)
date = models.DateTimeField(verbose_name=u"修訂時間",null=True )
msg = models.TextField(verbose_name=u"注釋消息", blank=False, null=False, default=u"")
paths = models.TextField(verbose_name=u"影響的文件", blank=False, null=False, default=u"")
created_time = models.DateTimeField(verbose_name=u"創(chuàng)建時間", auto_now_add=True, )
update_time = models.DateTimeField(verbose_name=u"修改時間", auto_now=True, )
class Meta:
ordering = ['revision']
def __str__(self):
return u'r%s' % (self.revision or u"", )
既然建立好了模型，那我們再去建立接受我們xml文件的models
@python_2_unicode_compatible
class ImportLogFile(models.Model):
LogFile = models.FileField(upload_to='LogFile')
FileName = models.CharField(max_length=50, verbose_name=u'文件名')
class Meta:
ordering = ['FileName']
def __str__(self):
return self.FileName
ok,以上代碼我們定義好了數(shù)據(jù)和上傳文件的model
同步數(shù)據(jù)庫
python manage.py makemigrations python manage.py migrate
接著我們?nèi)バ薷腶dmin.py 讓我們可以從后臺上傳文件，
class ImportLogAdmin(admin.ModelAdmin):
list_display = ('LogFile','FileName',)
list_filter = ['FileName',]
def save_model(self, request, obj, form, change):
re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)
update_svn_log(self, request, obj, change)
return re
注意上面代碼里的save_model,這里才是關鍵，在這里我重寫了ModelAdmin里的save_model方法
因為我們要把上傳文件，讀取文件，解析文件，操作數(shù)據(jù)庫合為一步來操作，大家可以打開debug，在上傳文件的時候，返回參數(shù)的obj里包括了文件上傳的路徑，這個路徑也是下一步我們操作解析文件的關鍵，好了我們在這個app文件夾下新建一個utils.py 用來操作我們操作文件和數(shù)據(jù)庫的工具類，為了簡單我寫成了函數(shù)如下
先貼一下我們要測試的xml文件
<?xml version="1.0" encoding="UTF-8"?> <log> <logentry revision="2"> <author>qwert</author> <date>2016-09-27T07:16:37.396449Z</date> <paths> <path action="A" prop-mods="false" text-mods="true" kind="file">/aaa/README </path> </paths> <msg>20160927 151630</msg> </logentry> <logentry revision="1"> <author>VisualSVN Server</author> <date>2016-09-20T05:03:12.861315Z</date> <paths> <path action="A" prop-mods="false" text-mods="false" kind="dir">/branches</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/tags</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/trunk</path> </paths> <msg>hello word</msg> </logentry> </log>
輸出結果格式
r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line
Changed paths:
A /xxx/README
20160927 151630
------------------------------------------------------------------------
r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line
Changed paths:
A /branches
A /tags
A /trunk
Initial structure.
from .models import SVNLog
import xmltodict
def update_svn_log(self, request, obj, change):
headers = ['r','a','d','m','p']
filepath = obj.LogFile.path
xmlfile = xmltodict.parse(open(filepath, 'r'))
xml_logentry = xml.get('log').get('logentry')
info_list = []
pathlist = []
sql_insert_list = []
sql_update_list = []
for j in xml:
data_dict = {}
# get path
paths = j.get('paths').get('path')
if isinstance(paths,list):
for path in paths:
action = path.get('@action')
pathtext = path.get('#text')
pathtext = action + ' ' + pathtext
pathlist.append(pathtext)
_filelist = u'\n'.join(pathlist)
_paths = u"Changed paths:\n {}".format(_filelist)
print _paths
else:
_filelist = paths.get('@action') + ' ' + paths.get('#text')
_paths = u"Changed paths:\n {}".format(_filelist)
print _paths
# get revision
vision = j.get('@vision')
# get auth
author = j.get('author')
#get date
date = j.get('date')
#get msg
msg = j.get('msg')
data_dict[headers[0]] = int(vision)
data_dict[headers[1]] = author
data_dict[headers[2]] = date
data_dict[headers[3]] = msg
data_dict[headers[4]] = _paths
info_list.append(data_dict)
_svnlog = SVNLog.objects.filter().order_by('-vision').first()
_last_version = _svnlog.vision if _svnlog else 0
for value in info_list:
vision = value['r']
author = value['a']
date = value['d']
msg = value['m']
paths = value['p']
print vision,author
_svnlog = YDSVNLog.objects.filter().order_by('-revision').first()
_last_version = _svnlog.revision if _svnlog else 0
if vision > _last_version:
sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
else:
sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
SVNLog.objects.bulk_create(sql_insert_list)
SVNLog.objects.bulk_create(sql_update_list)
我們使用的xmltodict這個第三方庫來解析xml，他把內(nèi)容解析成了高效率的orderdict類型，就是有序列的字典
這個xml中比較復雜的是那個paths里的path，因為這個xml中包含兩個元素，第一個元素的path只含有一個path，第二個元素中的paths包含有三個path，因此我們在解析獲取的時候需要判斷一下
paths = j.get('paths').get('path')
if isinstance(paths,list):
pass
我們判斷這個path是不是一個list類型的，如果是，那我們就按照list的方式來處理，如果不是，那我們就按單個的方式來處理,獲取之后按照輸出結果格式處理下結果然后獲取其他內(nèi)容
revision = j.get('@vision')
# get auth
author = j.get('author')
#get date
date = j.get('date')
#get msg
msg = j.get('msg')
最后我們將獲取到的元素存在字典里
在循環(huán)中判斷當前的版本號和數(shù)據(jù)庫中的版本號，
如果比原來的小，那么我們執(zhí)行更新操作，反之執(zhí)行插入操作
最后使用了bulk_create來操作數(shù)據(jù)庫，這樣避免了循環(huán)中每次都進行數(shù)據(jù)庫操作造成的資源浪費
相關文章
這篇文章主要介紹了python調用opencv實現(xiàn)貓臉檢測功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01
本篇文章主要介紹了python音頻處理用到的操作的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-10-10
Python XML模塊數(shù)據(jù)解析與生成利器的使用掌握
這篇文章主要為大家介紹了Python XML模塊數(shù)據(jù)解析與生成利器的使用實例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
解決python字典對值(值為列表)賦值出現(xiàn)重復的問題
今天小編就為大家分享一篇解決python字典對值(值為列表)賦值出現(xiàn)重復的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
AMP?Tensor?Cores節(jié)省內(nèi)存PyTorch模型詳解
這篇文章主要為大家介紹了AMP?Tensor?Cores節(jié)省內(nèi)存PyTorch模型詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-10-10
這篇文章主要介紹了Python Django搭建網(wǎng)站流程圖解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
python里有json這個庫，但并沒有json這個類，所以所謂的json對象本質上就是一個dict；而json這個庫，用于實現(xiàn)dict到string、string到dict的互轉，這篇文章主要介紹了Python中的json對象與string相互轉換教程,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了Python pymongo模塊常用操作,結合實例形式分析了pymongo模塊的導入、連接MongoDB數(shù)據(jù)以及插入、更新、刪除、查詢等操作相關實現(xiàn)技巧,需要的朋友可以參考下2018-09-09
這篇文章主要介紹了python實現(xiàn)加密的方式總結，文中給大家提到了python中加密的注意點，通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
本文主要介紹了python定位棋子位置及識別棋子顏色，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-07-07