Pandas搭配lambda組合使用詳解
導入模塊與讀取數(shù)據(jù)
我們第一步需要導入模塊以及數(shù)據(jù)集
import pandas as pd
df = pd.read_csv("IMDB-Movie-Data.csv")
df.head()
創(chuàng)建新的列
一般我們是通過在現(xiàn)有兩列的基礎(chǔ)上進行一些簡單的數(shù)學運算來創(chuàng)建新的一列,例如
df['AvgRating'] = (df['Rating'] + df['Metascore']/10)/2
但是如果要新創(chuàng)建的列是經(jīng)過相當復雜的計算得來的,那么lambda方法就很多必要被運用到了,我們先來定義一個函數(shù)方法
def custom_rating(genre,rating):
if 'Thriller' in genre:
return min(10,rating+1)
elif 'Comedy' in genre:
return max(0,rating-1)
elif 'Drama' in genre:
return max(5, rating-1)
else:
return rating
我們對于不同類別的電影采用了不同方式的評分方法,例如對于“驚悚片”,評分的方法則是在“原來的評分+1”和10分當中取一個最小的,而對于“喜劇”類別的電影,則是在0分和“原來的評分-1”當中取一個最大的,然后我們通過apply方法和lambda方法將這個自定義的函數(shù)應用在這個DataFrame數(shù)據(jù)集當中
df["CustomRating"] = df.apply(lambda x: custom_rating(x['Genre'], x['Rating']), axis = 1)
我們這里需要說明一下axis參數(shù)的作用,其中axis=1代表跨列而axis=0代表跨行,如下圖所示

篩選數(shù)據(jù)
在pandas當中篩選數(shù)據(jù)相對來說比較容易,可以用到& | ~這些操作符,代碼如下
# 單個條件,評分大于5分的 df_gt_5 = df[df['Rating']>5] # 多個條件: AND - 同時滿足評分高于5分并且投票大于100000的 And_df = df[(df['Rating']>5) & (df['Votes']>100000)] # 多個條件: OR - 滿足評分高于5分或者投票大于100000的 Or_df = df[(df['Rating']>5) | (df['Votes']>100000)] # 多個條件:NOT - 將滿足評分高于5分或者投票大于100000的數(shù)據(jù)排除掉 Not_df = df[~((df['Rating']>5) | (df['Votes']>100000))]
這些都是非常簡單并且是常見的例子,但是要是我們想要篩選出電影的影名長度大于5的部分,要是也采用上面的方式就會報錯
df[len(df['Title'].split(" "))>=5]
output
AttributeError: 'Series' object has no attribute 'split'
這里我們還是采用apply和lambda相結(jié)合,來實現(xiàn)上面的功能
#創(chuàng)建一個新的列來存儲每一影片名的長度
df['num_words_title'] = df.apply(lambda x : len(x['Title'].split(" ")),axis=1)
#篩選出影片名長度大于5的部分
new_df = df[df['num_words_title']>=5]
當然要是大家覺得上面的方法有點繁瑣的話,也可以一步到位
new_df = df[df.apply(lambda x : len(x['Title'].split(" "))>=5,axis=1)]
例如我們想要篩選出那些影片的票房低于當年平均水平的數(shù)據(jù),可以這么來做。
我們先要對每年票房的的平均值做一個歸總,代碼如下
year_revenue_dict = df.groupby(['Year']).agg({'Revenue(Millions)':np.mean}).to_dict()['Revenue(Millions)']
然后我們定義一個函數(shù)來判斷是否存在該影片的票房低于當年平均水平的情況,返回的是布爾值
def bool_provider(revenue, year):
return revenue<year_revenue_dict[year]
然后我們通過結(jié)合apply方法和lambda方法應用到數(shù)據(jù)集當中去
new_df = df[df.apply(lambda x : bool_provider(x['Revenue(Millions)'],x['Year']),axis=1)]
我們篩選數(shù)據(jù)的時候,主要是用.loc方法,它同時也可以和lambda方法聯(lián)用,例如我們想要篩選出評分在5-8分之間的電影以及它們的票房,代碼如下
df.loc[lambda x: (x["Rating"] > 5) & (x["Rating"] < 8)][["Title", "Revenue (Millions)"]]
轉(zhuǎn)變指定列的數(shù)據(jù)類型
通常我們轉(zhuǎn)變指定列的數(shù)據(jù)類型,都是調(diào)用astype方法來實現(xiàn)的,例如我們將“Price”這一列的數(shù)據(jù)類型轉(zhuǎn)變成整型的數(shù)據(jù),代碼如下
df['Price'].astype('int')
會出現(xiàn)如下所示的報錯信息
ValueError: invalid literal for int() with base 10: '12,000'
因此當出現(xiàn)類似“12,000”的數(shù)據(jù)的時候,調(diào)用astype方法實現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換就會報錯,因此我們還需要將到apply和lambda結(jié)合進行數(shù)據(jù)的清洗,代碼如下
df['Price'] = df.apply(lambda x: int(x['Price'].replace(',', '')),axis=1)
方法調(diào)用過程的可視化
有時候我們在處理數(shù)據(jù)集比較大的時候,調(diào)用函數(shù)方法需要比較長的時間,這個時候就需要有一個要是有一個進度條,時時刻刻向我們展示數(shù)據(jù)處理的進度,就會直觀很多了。
這里用到的是tqdm模塊,我們將其導入進來
from tqdm import tqdm, tqdm_notebook tqdm_notebook().pandas()
然后將apply方法替換成progress_apply即可,代碼如下
df["CustomRating"] = df.progress_apply(lambda x: custom_rating(x['Genre'],x['Rating']),axis=1)
output

當lambda方法遇到if-else
當然我們也可以將if-else運用在lambda自定義函數(shù)當中,代碼如下
Bigger = lambda x, y : x if(x > y) else y Bigger(2, 10)
output
10
當然很多時候我們可能有多組if-else,這樣寫起來就有點麻煩了,代碼如下
df['Rating'].apply(lambda x:"低分電影" if x < 3 else ("中等電影" if x>=3 and x < 5 else("高分電影" if x>=8 else "值得觀看")))
看上去稍微有點凌亂了,這個時候,小編這里到還是推薦大家自定義函數(shù),然后通過apply和lambda方法搭配使用。
到此這篇關(guān)于Pandas搭配lambda組合使用詳解的文章就介紹到這了,更多相關(guān)Python Pandas 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python使用Selenium批量自動化獲取并下載圖片的方法
在現(xiàn)代的Web開發(fā)中,自動化測試和數(shù)據(jù)抓取已經(jīng)成為不可或缺的一部分,Selenium作為一款強大的自動化測試工具,可以用于批量獲取網(wǎng)頁上的圖片,所以本文給大家介紹了Python如何使用Selenium批量自動化獲取并下載圖片的方法2024-11-11
Python利用pandas進行數(shù)據(jù)合并詳解
當使用Python中的pandas庫時,merge函數(shù)是用于合并(或連接)兩個數(shù)據(jù)框(DataFrame)的重要工具。它類似于SQL中的JOIN操作,下面我們就來看看它的具體操作吧2023-11-11
django 解決model中類寫不到數(shù)據(jù)庫中,數(shù)據(jù)庫無此字段的問題
這篇文章主要介紹了django 解決model中類寫不到數(shù)據(jù)庫中,數(shù)據(jù)庫無此字段的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨想過來看看吧2020-05-05
win10下opencv-python特定版本手動安裝與pip自動安裝教程
這篇文章主要介紹了win10下opencv-python特定版本手動安裝與pip自動安裝教程,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
Python中用memcached來減少數(shù)據(jù)庫查詢次數(shù)的教程
這篇文章主要介紹了Python中用memcached來減少數(shù)據(jù)庫查詢次數(shù)的教程,memcached是一種分布式的內(nèi)存緩存工具,使用后可以減少對硬盤的I/O次數(shù),需要的朋友可以參考下2015-04-04

