運籌模拟的時候,我們通常會給定,某事件服從正态分布/指數分布之類。問題是,我們通常隻能觀察到樣本數據,沒有辦法觀察到其具體服從的分布。所謂服從什麼分布,是需要我們從樣本數據推測的。
那麼問題來了,怎樣從數據推測出其所服從的分布(goodness of fit)呢?
2. 分析市面上有一些專業的統計軟件,可以做到從數據到分布的推測。比如Stat::Fit。但289美元的價格可着實不低。所以我們需要另想辦法。
常見分布匹配的方法有很多,比如
- Bayesian information criterion
- Kolmogorov–Smirnov test
- Cramér–von Mises criterion
- Anderson–Darling test
- Shapiro–Wilk test
- Chi-squared test
我們以 KS 測試為例。KS 具體理論很多書籍都有詳細解釋,這裡不再重複。有興趣的朋友可以關注後回複 ks 獲取相關資料。
Scipy 的統計模塊 stats,可以做 ks 測試。但有個問題是,分布參數需要我們提供。比如指數分布,其概率密度函數為
這裡的 lambda就需要我們自己提供。好在scipy裡面有現成的方法可以從數據估算參數,就是用分布函數的fit方法。
于是,我們可以用 fit() 從數據裡面先估出分布的參數,然後再用ks test測試其是否滿足分布,就可以得出數據到底服從什麼分布了。
舉個例子。現有一家水煮魚飯館,觀察到了顧客到來的時間間隔見 data.txt,老闆想知道它服從什麼分布。
importscipy.statsasstats
importnumpyasnp
importmatplotlib.pyplotasplt
data=np.loadtxt('data.txt',delimiter=',',encoding='utf8')
dists={'norm':stats.norm,'lognorm':stats.lognorm,'expon':stats.expon}
fordindists:
paras=dists[d].fit(data)
test=stats.kstest(data,dists[d].cdf,paras)
print('{:1}\tpvalue:{:2}'.format(d,test[-1]))
可以得出結果
norm pvalue:0.18025230160179895
lognorm pvalue:0.703843693432498
expon pvalue:0.705389895669437
可見,這個最可能服從指數分布,其 loc = 0.1076,scale = 5.56。
打印其結果如下
x = np.arange(0, 20, 0.01)
paras = stats.norm.fit(data)
ynorm = stats.norm.pdf(x, paras[0], paras[1])
paras = stats.lognorm.fit(data)
ylognorm = stats.lognorm.pdf(x, paras[0], paras[1], paras[2])
paras = stats.expon.fit(data)
yexpon = stats.expon.pdf(x, paras[0], paras[1])
fig, ax = plt.subplots()
ax.plot(x, ynorm, label='norm')
ax.plot(x, ylognorm, label='lognorm')
ax.plot(x, yexpon, label='expon')
ax.legend()
結果為
今天我們大緻讨論了如何用 scipy 模塊判斷樣本數據所服從的分布。通過上面的例子我們可以看到,在 70% 左右的置信度上,數據既可能服從指數分布,也可能服從對數正态分布。
其實這也正常。理論分布是我們用來解釋世界的一種手段,我們的真是世界到底服從什麼分布,從樣本是無法确定的。就像上面的圖形,expon 和 lognorm 長得也真挺像。
另外,所謂一力降十會,咱有了一個 Python,就可以看淡世間所有繁華。就像有了劉亦菲,還要什麼楊幂和阿嬌?
4. 交流獨學而無友則孤陋寡聞。現有「數據與統計科學」微信交流群,内有數據行業資深從業人員、海外博士、碩士等,歡迎對數據科學、數據分析、機器學習、人工智能有興趣的朋友加入,一起學習讨論。
大家可以掃描下面二維碼,添加荔姐微信邀請加入,暗号:機器學習加群。
Lily
5. 延伸閱讀- Numpy 中如何對矩陣的特征對排序
- Python 中怎樣合并數據
- NumPy 運算規則總結
- W. McKinney, Python for Data Analysis. Beijing: O’Reilly, 2017.
- J. VanderPlas, Python Data Science Handbook. Beijing: O’Reilly, 2016.
Data2Science
,