Python DataFrame實(shí)現(xiàn)固定周期內(nèi)統(tǒng)計(jì)每列的非零值

更新時(shí)間：2024年09月12日 07:37:09 作者：南洲.

在數(shù)據(jù)處理中,使用DataFrame統(tǒng)計(jì)固定周期內(nèi)每列的非零值數(shù)量是一種常見需求,通過將數(shù)據(jù)分組并使用計(jì)數(shù)函數(shù),可以方便地實(shí)現(xiàn)此目標(biāo),具體方法包括首先計(jì)算每列的0值個(gè)數(shù),然后通過總數(shù)減去0值個(gè)數(shù)得到非零值的數(shù)量

DataFrame實(shí)現(xiàn)固定周期內(nèi)統(tǒng)計(jì)每列的非零值

1、概述

最近做一個(gè)數(shù)值統(tǒng)計(jì)，統(tǒng)計(jì)固定周期內(nèi)（比如100行統(tǒng)一次）每列的非零值，實(shí)現(xiàn)不難，先統(tǒng)計(jì)0值個(gè)數(shù)，再計(jì)算非零值個(gè)數(shù)，主要是有些關(guān)于dataframe的操作技巧可以作為以后的參考。

data.csv文件數(shù)據(jù)示例格式如下：

想要得到的結(jié)果為：

2、代碼

import pandas as pd

def non_zeros_count(df):
    s = 0
    calc_interval = 5   # 統(tǒng)計(jì)周期數(shù)
    new_columns = []
    for i in range(len(df.columns)):
        new_columns.append(df.columns[i]+'_non_zero_count') # 重新組織列名
    non_zeros_count = pd.DataFrame(columns=df.columns[1:])  # 新建dataframe 儲(chǔ)存最后統(tǒng)計(jì)結(jié)果(沒有計(jì)算第一列“時(shí)間”）

    # 對(duì)所有數(shù)據(jù)按照每 “calc_interval” 計(jì)算每個(gè)字段中的非0個(gè)數(shù)
    while s + calc_interval <= df.shape[0]:
        data_piece = df.iloc[s:s + calc_interval, 1:]
        count_zero = data_piece.apply(lambda x: x.value_counts().get(0.0, 0.0))  # 0值個(gè)數(shù)
        # np.count_nonzero(data_piece,axis = 0)   #這種方法也可以得到，但是得到的是類型是ndarray
        non_zeros = calc_interval - count_zero  # 非零值個(gè)數(shù)(每列計(jì)算周期內(nèi)的總數(shù)-每列的0值數(shù)）
        non_zeros_to_frame = non_zeros.to_frame()  # series轉(zhuǎn)dataframe
        non_zeros_transp = pd.DataFrame(non_zeros_to_frame.values.T,
                                        index=non_zeros_to_frame.columns,
                                        columns=non_zeros_to_frame.index)  # 取轉(zhuǎn)置
        non_zeros_count = pd.concat([non_zeros_count, non_zeros_transp])  # 數(shù)據(jù)合并
        s = s + calc_interval

    non_zeros_count.index = [i for i in range(non_zeros_count.shape[0])]
    # non_zeros_count.values.reshape(30,24) # dataframe
    non_zeros_count.columns = new_columns[1:] # 重新修改列名
    non_zeros_count.to_csv('./non_zeros_count.csv',encoding= 'utf-8')

if __name__=='__main__':

    sv_data = pd.read_csv('data.csv',encoding='utf-8')
    non_zeros_count(sv_data)