基于python進(jìn)行抽樣分布描述及實(shí)踐詳解

更新時(shí)間：2019年09月02日 09:52:43 作者：Vicky_1ecd

這篇文章主要介紹了基于python進(jìn)行抽樣分布描述及實(shí)踐詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

本次選取泰坦尼克號(hào)的數(shù)據(jù)，利用python進(jìn)行抽樣分布描述及實(shí)踐。

備注：數(shù)據(jù)集的原始數(shù)據(jù)是泰坦尼克號(hào)的數(shù)據(jù)，本次截取了其中的一部分?jǐn)?shù)據(jù)進(jìn)行學(xué)習(xí)。Age:年齡，指登船者的年齡。Fare:價(jià)格，指船票價(jià)格。Embark:登船的港口。

1、按照港口分類，使用python求出各類港口數(shù)據(jù) 年齡、車票價(jià)格的統(tǒng)計(jì)量（均值、方差、標(biāo)準(zhǔn)差、變異系數(shù)等）。

import pandas as pd
df = pd.read_excel('/Users/Downloads/data.xlsx',usecols = [1,2,3] )
#拿到港口'Embarked'、年齡'Age'、價(jià)格'Fare'的數(shù)據(jù)
df2 = df.groupby(['Embarked'])
#按照港口'Embarked'分類后，查看 年齡、車票價(jià)格的統(tǒng)計(jì)量。
# 變異系數(shù) = 標(biāo)準(zhǔn)差/平均值
def cv(data):
  return data.std()/data.var()

df2 = df.groupby(['Embarked']).agg(['count','min','max','median','mean','var','std',cv])
df2 = df2.apply(lambda x:round(x,2))
df2_age = df2['Age']
df2_fare = df2['Fare']

分類后年齡及價(jià)格統(tǒng)計(jì)量描述數(shù)據(jù)如下圖：

年齡統(tǒng)計(jì)量

價(jià)格統(tǒng)計(jì)量

2、畫出價(jià)格的分布圖像，驗(yàn)證數(shù)據(jù)服從何種分布（正態(tài)？卡方？還是T?）

2.1 畫出船票的直方圖：

plt.hist(df['Fare'],20,normed=1, alpha=0.75)
plt.title('Fare')
plt.grid(True)

船票價(jià)格的直方圖及概率分布

2.2 驗(yàn)證是否符合正態(tài)分布？

#分別用kstest、shapiro、normaltest來(lái)驗(yàn)證分布系數(shù)
ks_test = kstest(df['Fare'], 'norm')
#KstestResult(statistic=0.99013849978633, pvalue=0.0)

shapiro_test = shapiro(df['Fare'])
#shapiroResult(0.5256513357162476, 7.001769945799311e-40)

normaltest_test = normaltest(df['Fare'],axis=0) 
#NormaltestResult(statistic=715.0752414548335, pvalue=5.289130045259168e-156)

以上三種檢測(cè)結(jié)果表明 p<5%,因此船票數(shù)據(jù)不符合正態(tài)分布。

繪制擬合正態(tài)分布曲線:

fare = df['Fare']

plt.figure()
fare.plot(kind = 'kde')   #原始數(shù)據(jù)的正態(tài)分布

M_S = stats.norm.fit(fare)  #正態(tài)分布擬合的平均值loc，標(biāo)準(zhǔn)差 scale
normalDistribution = stats.norm(M_S[0], M_S[1])  # 繪制擬合的正態(tài)分布圖
x = np.linspace(normalDistribution.ppf(0.01), normalDistribution.ppf(0.99), 100)
plt.plot(x, normalDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on NormalDistribution', size=20)
plt.legend(['Origin', 'NormDistribution'])

船票擬合正態(tài)分布曲線

2.3 驗(yàn)證是否符合T分布？

T_S = stats.t.fit(fare)
df = T_S[0] 
loc = T_S[1] 
scale = T_S[2] 
x2 = stats.t.rvs(df=df, loc=loc, scale=scale, size=len(fare))
D, p = stats.ks_2samp(fare, x2) # (0.25842696629213485 2.6844476044528504e-21)

p = 2.6844476044528504e-21 ，p < alpha，拒絕原假設(shè)，價(jià)格數(shù)據(jù)不符合t分布。

對(duì)票價(jià)數(shù)據(jù)進(jìn)行T分布擬合：

plt.figure()
fare.plot(kind = 'kde') 
TDistribution = stats.t(T_S[0], T_S[1],T_S[2])  # 繪制擬合的T分布圖
x = np.linspace(TDistribution.ppf(0.01), TDistribution.ppf(0.99), 100)
plt.plot(x, TDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on TDistribution', size=20)
plt.legend(['Origin', 'TDistribution'])

票價(jià)擬合T分布

2.4 驗(yàn)證是否符合卡方分布？

chi_S = stats.chi2.fit(fare)
df_chi = chi_S[0] 
loc_chi = chi_S[1] 
scale_chi = chi_S[2] 
x2 = stats.chi2.rvs(df=df_chi, loc=loc_chi, scale=scale_chi, size=len(fare))
Df, pf = stats.ks_2samp(fare, x2) # (0.16292134831460675, 1.154755913291936e-08)

p = 1.154755913291936e-08 ，p < alpha，拒絕原假設(shè)，價(jià)格數(shù)據(jù)不符合卡方分布。

對(duì)票價(jià)數(shù)據(jù)進(jìn)行卡方分布擬合

plt.figure()
fare.plot(kind = 'kde') 
chiDistribution = stats.chi2(chi_S[0], chi_S[1],chi_S[2])  # 繪制擬合的正態(tài)分布圖
x = np.linspace(chiDistribution.ppf(0.01), chiDistribution.ppf(0.99), 100)
plt.plot(x, chiDistribution.pdf(x), c='orange')
plt.xlabel('Fare about Titanic')
plt.title('Titanic[Fare] on chi-square_Distribution', size=20)
plt.legend(['Origin', 'chi-square_Distribution'])

票價(jià)擬合卡方分布

3、按照港口分類，驗(yàn)證S與Q兩個(gè)港口間的價(jià)格之差是否服從某種分布

S_fare = df[df['Embarked'] =='S']['Fare']
Q_fare = df[df['Embarked'] =='Q']['Fare']
C_fare = df[df['Embarked'] =='C']['Fare']
S_fare.describe()
count  554.000000
mean   27.476284
std    36.546362
min    0.000000
25%    8.050000
50%    13.000000
75%    27.862500
max   263.000000
Q_fare.describe()
count  28.000000
mean   18.265775
std   21.843582
min    6.750000
25%    7.750000
50%    7.750000
75%   18.906250
max   90.000000
C_fare.describe()
count  130.000000
mean   68.296767
std    90.557822
min    4.012500
25%    14.454200
50%    36.252100
75%    81.428100
max   512.329200

按照港口分類后，S港口樣本數(shù)<=554,Q港口樣本數(shù)<=28,C港口樣本數(shù)<=130。

總體不服從正態(tài)分布，所以需要當(dāng)n比較大時(shí)，一般要求n>=30，兩個(gè)樣本均值之差的抽樣分布可近似為正態(tài)分布。X2的總體容量為28，其樣本容量不可能超過(guò)30，故其S港和Q港兩個(gè)樣本均值之差（E(X1)-E(X2)）的抽樣分布不服從正態(tài)分布。

S港和C港兩個(gè)樣本均值之差（E(X1)-E(X3)）的抽樣分布近似服從正態(tài)分布，其均值和方差分別為E(E(X1) - E(X3)) = E(E(X1)) - E(E(X3)) = μ1 - μ3；D(E(X1) + E(X3)) = D(E(X1)) + D(E(X3)) = σ1²/n1 + σ3²/n3 。繪圖如下：

miu = np.mean(S_fare) - np.mean(C_fare)
sig = np.sqrt(np.var(S_fare, ddof=1)/len(S_fare) + np.var(C_fare, ddof=1)/len(C_fare))

x = np.arange(- 110, 50)
y = stats.norm.pdf(x, miu, sig)
plt.plot(x, y)
plt.xlabel("S_Fare - C_Fare")
plt.ylabel("Density")
plt.title('Fare difference between S and C')
plt.show()