python實現(xiàn)的分層隨機抽樣案例
昨天寫了一段用來做分層隨機抽樣的代碼,很粗糙,不過用公司的2萬名導購名單試了一下,結果感人,我覺得此刻的我已經要上天了,哈哈哈哈哈哈
代碼如下:
#分層隨機抽樣 stratified sampling
import xlrd, xlwt, time, random
xl = xlrd.open_workbook(r'C:\Users\Administrator\Desktop\分層抽樣.xlsx')
xl_sht1 = xl.sheets()[0]
xl_sht1_nrows = xl_sht1.nrows
#表頭
title = xl_sht1.row_values(0)
#把樣本寫進列表 sample
sample = []
for i in range(xl_sht1_nrows):
sample.append(xl_sht1.row_values(i))
#打亂樣本
random.shuffle(sample)
#把層的內容寫進列表 col
col = xl_sht1.col_values(0)
#對col中的內容進行計數(shù),獲得每一類的名稱對應個數(shù)的字典
col_dict = {}
for i in col:
col_dict[i] = col_dict.get(i, 0) + 1
p = eval(input('每層抽取的比例(小數(shù)):'))
#獲得每一類的名稱對應抽取個數(shù)的字典
col_p = {}
k = 0
for i in col_dict.keys():
col_p[i] = int(round(col_dict[i] * p)) #round用來四舍五入,不加int結果會變成無數(shù)個p
#開始抽樣,把抽取結果寫進result_l列表
result_l = []
for i in sample:
if col_p.get(i[0], 0) > 0:
result_l.append(i)
col_p[i[0]] -= 1
#新建文檔,寫入結果
f = xlwt.Workbook()
f_sht1 = f.add_sheet('result')
n = 0
for i in title:
f_sht1.write(0, n, i)
n += 1
r = 1
for i in result_l:
c = 0
for k in i:
f_sht1.write(r, c, k)
c += 1
r += 1
nowtime = time.strftime("%Y%m%d_%H%M%S", time.localtime())
f.save(r'C:\Users\Administrator\Desktop\Result_{0}.xls'.format(nowtime))
print('\n抽樣成功!')
input()
原理思路如下:
1、首先數(shù)據(jù)的形式如下

數(shù)據(jù)自帶層標簽,我只需要從每層抽取一定比例的數(shù)據(jù)就可以了
2、第一步:先將源數(shù)據(jù)按行存入一個列表,然后打亂行的順序
3、第二步:對層標簽進行計數(shù),獲取每一個層標簽的總數(shù),并將結果存進字典
4、第三步:根據(jù)抽樣比例p,計算出每層實際應抽取的個數(shù),并存入一個新的字典
5、第四步:從源數(shù)據(jù)列表中抽取出目標數(shù)據(jù),每層抽取的個數(shù)由第三步的字典進行指定
小白剛剛起步,實現(xiàn)的時候發(fā)現(xiàn)自己對數(shù)據(jù)結構和算法一點也不懂。。。。結果就寫了一堆的for循環(huán)。。。。
大神們如果看到這段代碼,還請不吝賜教,看看代碼可以怎樣優(yōu)化,或者有更好的設計思路
補充拓展:pandas實現(xiàn)對dataframe抽樣的實現(xiàn)
隨機抽樣
import pandas as pd #對dataframe隨機抽取2000個樣本 pd.sample(df, n=2000)
分層抽樣
利用sklean中的函數(shù)靈活進行抽樣
from sklearn.model_selection import train_test_split #y是在X中的某一個屬性列 X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2, stratify=y)
以上這篇python實現(xiàn)的分層隨機抽樣案例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
Python?Pipeline處理數(shù)據(jù)工作原理探究
如果你是一個Python開發(fā)者,你可能聽過"pipeline"這個術語,但?pipeline?到底是什么,它又有什么用呢?在這篇文章中,我們將探討?Python?中的?pipeline?概念,它們是如何工作的,以及它們如何幫助你編寫更清晰、更高效的代碼2024-01-01
用python生成(動態(tài)彩色)二維碼的方法(使用myqr庫實現(xiàn))
今天小編就為大家分享一篇用python生成(動態(tài)彩色)二維碼的方法(使用myqr庫實現(xiàn)),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
window環(huán)境pip切換國內源(pip安裝異常緩慢的問題)
這篇文章主要介紹了window環(huán)境pip切換國內源(pip安裝異常緩慢的問題),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-12-12

