Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例分析
說明
1、將原始數(shù)據(jù)轉(zhuǎn)換為均值為0,標(biāo)準(zhǔn)差在1范圍內(nèi)。
2、對(duì)標(biāo)準(zhǔn)化而言:如果出現(xiàn)異常點(diǎn),由于有一定數(shù)據(jù)量,少量異常點(diǎn)對(duì)平均值的影響不大,因此方差變化不大。
實(shí)例
def stand_demo():
"""
標(biāo)準(zhǔn)化
:return:
"""
# 1. 獲取數(shù)據(jù)
data = pd.read_csv('dating.txt')
data = data.iloc[:, :3]
print('data:\n', data)
# 2.實(shí)例化一個(gè)轉(zhuǎn)換器類
transfer = StandardScaler()
# 3.調(diào)用fit_transform()
data_new = transfer.fit_transform(data)
print('data_new:\n', data_new)
return None
知識(shí)點(diǎn)擴(kuò)充:
幾種標(biāo)準(zhǔn)化方法:
歸一化Max-Min
min-max標(biāo)準(zhǔn)化方法是對(duì)原始數(shù)據(jù)進(jìn)行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值,將A的一個(gè)原始值x通過min-max標(biāo)準(zhǔn)化映射成在區(qū)間[0,1]中的值x',其公式為:
新數(shù)據(jù)=(原數(shù)據(jù)-最小值)/(最大值-最小值)
這種方法能使數(shù)據(jù)歸一化到一個(gè)區(qū)域內(nèi),同時(shí)不改變?cè)瓉淼臄?shù)據(jù)結(jié)構(gòu)。
實(shí)現(xiàn)中心化Z-Score
這種方法基于原始數(shù)據(jù)的均值(mean)和標(biāo)準(zhǔn)差(standard deviation)進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。將A的原始值x使用z-score標(biāo)準(zhǔn)化到x'。
z-score標(biāo)準(zhǔn)化方法適用于屬性A的最大值和最小值未知的情況,或有超出取值范圍的離群數(shù)據(jù)的情況。
新數(shù)據(jù)=(原數(shù)據(jù)-均值)/標(biāo)準(zhǔn)差
這種方法適合大多數(shù)類型數(shù)據(jù),也是很多工具的默認(rèn)標(biāo)準(zhǔn)化方法。標(biāo)準(zhǔn)化之后的數(shù)據(jù)是以0為均值,方差為以的正太分布。但是Z-Score方法是一種中心化方法,會(huì)改變?cè)袛?shù)據(jù)的分布結(jié)構(gòu),不適合用于對(duì)稀疏數(shù)據(jù)做處理。
很多時(shí)候數(shù)據(jù)集會(huì)存在稀疏特征,表現(xiàn)為標(biāo)準(zhǔn)差小,很多元素值為0,最常見的稀疏數(shù)據(jù)集是用來做協(xié)同過濾的數(shù)據(jù)集,絕大部分?jǐn)?shù)據(jù)都是0。對(duì)稀疏數(shù)據(jù)做標(biāo)準(zhǔn)化,不能采用中心化的方式,否則會(huì)破壞稀疏數(shù)據(jù)的結(jié)構(gòu)。
用于稀疏數(shù)據(jù)的MaxAbs
最大值絕對(duì)值標(biāo)準(zhǔn)化(MaxAbs)即根據(jù)最大值的絕對(duì)值進(jìn)行標(biāo)準(zhǔn)化,假設(shè)原轉(zhuǎn)換的數(shù)據(jù)為x,新數(shù)據(jù)為x',那么x'=x/|max|,其中max為x鎖在列的最大值。
該方法的數(shù)據(jù)區(qū)間為[-1, 1],也不破壞原數(shù)據(jù)結(jié)構(gòu)的特點(diǎn),因此也可以用于稀疏數(shù)據(jù),一些稀疏矩陣。
針對(duì)離群點(diǎn)的RobustScaler
有些時(shí)候,數(shù)據(jù)集中存在離群點(diǎn),用Z-Score進(jìn)行標(biāo)準(zhǔn)化,但是結(jié)果不理想,因?yàn)殡x群點(diǎn)在標(biāo)準(zhǔn)化后喪失了利群特性。
RobustScaler針對(duì)離群點(diǎn)做標(biāo)準(zhǔn)化處理,該方法對(duì)數(shù)據(jù)中心化的數(shù)據(jù)的縮放健壯性有更強(qiáng)的參數(shù)控制能力。
到此這篇關(guān)于Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例分析的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)標(biāo)準(zhǔn)化是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python中的數(shù)據(jù)標(biāo)準(zhǔn)化與反標(biāo)準(zhǔn)化全面指南
- Python3 常用數(shù)據(jù)標(biāo)準(zhǔn)化方法詳解
- 詳解python實(shí)現(xiàn)數(shù)據(jù)歸一化處理的方式:(0,1)標(biāo)準(zhǔn)化
- python數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)標(biāo)準(zhǔn)化的幾種處理方式
- python數(shù)據(jù)分析數(shù)據(jù)標(biāo)準(zhǔn)化及離散化詳解
- python三種數(shù)據(jù)標(biāo)準(zhǔn)化方式
相關(guān)文章
python3操作redis實(shí)現(xiàn)List列表實(shí)例
本文主要介紹了python3操作redis實(shí)現(xiàn)List列表實(shí)例,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-08-08
python中pandas.DataFrame排除特定行方法示例
這篇文章主要給大家介紹了關(guān)于python中pandas.DataFrame排除特定行的方法,文中給出了詳細(xì)的示例代碼,相信對(duì)大家的理解和學(xué)習(xí)具有一定的參考價(jià)值,需要的朋友們下面來一起看看吧。2017-03-03
python實(shí)現(xiàn)會(huì)員管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)會(huì)員管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03
Python實(shí)現(xiàn)斐波那契數(shù)列的示例代碼
斐波那契數(shù)列是一種經(jīng)典的數(shù)學(xué)問題,在計(jì)算機(jī)科學(xué)和編程中經(jīng)常被用來演示算法和遞歸的概念,本文將詳細(xì)介紹斐波那契數(shù)列的定義、計(jì)算方法以及如何在Python中實(shí)現(xiàn)它,需要的可以參考下2024-01-01
單身狗福利?Python爬取某婚戀網(wǎng)征婚數(shù)據(jù)
今天我就當(dāng)回媒婆,給男性程序員來點(diǎn)福利.今天目標(biāo)爬取征婚網(wǎng)上呈現(xiàn)出來的女生信息保存成excel表格供大家篩選心儀的女生,需要的朋友可以參考下2021-06-06
小學(xué)生也能看懂的python語法之循環(huán)語句精解
這篇文章主要介紹了詳解Python中的條件,循環(huán)語句,包括while循環(huán)for循環(huán),循環(huán)語句是學(xué)習(xí)各個(gè)編程語言的最基本的基礎(chǔ)知識(shí),需要的朋友可以參考下2021-09-09

