python 實(shí)現(xiàn)讀取csv數(shù)據(jù),分類求和再寫(xiě)進(jìn) csv

更新時(shí)間：2020年05月18日 10:30:31 作者：liujingqiu

這篇文章主要介紹了python 實(shí)現(xiàn)讀取csv數(shù)據(jù),分類求和再寫(xiě)進(jìn) csv，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

這兩天在測(cè)試過(guò)程中，遇到這樣的問(wèn)題：

數(shù)據(jù)量很大，一份csv文件的數(shù)據(jù)與另外一個(gè)文件的數(shù)據(jù)進(jìn)行對(duì)比，但是csv中的文件數(shù)據(jù)量很大，并且進(jìn)行統(tǒng)計(jì) ，如果手動(dòng)單個(gè)去對(duì)比，會(huì)很花時(shí)間，吃力不討好，還容易出錯(cuò)。

比如說(shuō)，這樣的數(shù)據(jù)

需要對(duì)AskPrice值相同對(duì)應(yīng)的AskQuantity 統(tǒng)計(jì)出來(lái)。

直接上腳本：

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv')

然后運(yùn)行得到：

這對(duì)于大數(shù)據(jù)量的處理特別方便。

補(bǔ)充知識(shí)：python處理csv文件（場(chǎng)景分類）

最近做一個(gè)關(guān)于場(chǎng)景分類的比賽，總共有20類，不到2萬(wàn)張圖片，首先要做的就是把20類圖片分到每個(gè)文件夾下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比賽\未來(lái)杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比賽\未來(lái)杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比賽\未來(lái)杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升級(jí)pip python -m pip install --upgrade pip

2:改python文件內(nèi)容：找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

將‘utf-8'改成'gbk'

以上這篇python 實(shí)現(xiàn)讀取csv數(shù)據(jù),分類求和再寫(xiě)進(jìn) csv就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python實(shí)現(xiàn)遍歷目錄的兩張方法總結(jié)
我們有時(shí)想直接查看文件夾里的所有文件,但使用正常的方法太麻煩了,于是本文開(kāi)發(fā)出了兩個(gè)python程序,可以遍歷目錄,有需要的小伙伴可以參考下
2024-02-02
django 常用orm操作詳解
下面小編就為大家?guī)?lái)一篇django 常用orm操作詳解。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-09-09
Pandas —— resample()重采樣和asfreq()頻度轉(zhuǎn)換方式
今天小編就為大家分享一篇Pandas —— resample()重采樣和asfreq()頻度轉(zhuǎn)換方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)
本文將結(jié)合實(shí)例代碼，介紹Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-06-06
Python GUI教程之在PyQt5中使用數(shù)據(jù)庫(kù)的方法
Qt平臺(tái)對(duì)SQL編程有著良好的支持，PyQt5也一并繼承了過(guò)來(lái)，這篇文章主要介紹了Python GUI教程之在PyQt5中使用數(shù)據(jù)庫(kù)的方法,需要的朋友可以參考下
2021-09-09
Python字符串中出現(xiàn)的次數(shù)統(tǒng)計(jì)多種方法
這篇文章主要介紹了Python字符串中出現(xiàn)的次數(shù)統(tǒng)計(jì)多種方法,使用內(nèi)置的count()方法、正則表達(dá)式、列表推導(dǎo)式、循環(huán)和條件判斷以及字符串分割,每種方法都有其適用的場(chǎng)景和優(yōu)缺點(diǎn),選擇合適的方法取決于具體的需求和場(chǎng)景,需要的朋友可以參考下
2024-12-12
python中常用的九種預(yù)處理方法分享
這篇文章給大家分享了python中常用的九種預(yù)處理方法，對(duì)大家學(xué)習(xí)或使用python具有一定的參考價(jià)值，有需要的朋友們可以一起來(lái)看看。
2016-09-09
python實(shí)現(xiàn)定時(shí)器的5種方法
本文主要介紹了python實(shí)現(xiàn)定時(shí)器的5種方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2023-03-03
Dephi逆向工具Dede導(dǎo)出函數(shù)名MAP導(dǎo)入到IDA中的實(shí)現(xiàn)方法
這篇文章主要介紹了Dephi逆向工具Dede導(dǎo)出函數(shù)名MAP導(dǎo)入到IDA中,通過(guò)這個(gè)腳本，我們就可以把專業(yè)dephi程序分析的結(jié)果，轉(zhuǎn)移到IDA專業(yè)逆向代碼分析的平臺(tái)，實(shí)現(xiàn)聯(lián)動(dòng)，需要的朋友可以參考下
2022-08-08
python字符串不可變數(shù)據(jù)類型
這篇文章主要介紹了python字符串不可變數(shù)據(jù)類型,下文關(guān)于python字符串不可變數(shù)據(jù)類型相關(guān)資料展開(kāi)的內(nèi)容主要有查找子串及數(shù)量、字符串的替換、分割以及合并、刪除側(cè)邊的空白等內(nèi)容，需要的小伙伴可以參考一下
2022-02-02