如何使用python數(shù)據(jù)處理解決數(shù)據(jù)沖突和樣本的選取

內(nèi)容介紹

將日常工作中遇到的數(shù)數(shù)據(jù)沖突和樣本源的方法進(jìn)行總結(jié)，其中主要包括實(shí)際業(yè)務(wù)數(shù)據(jù)沖突、樣本選取問(wèn)題、數(shù)據(jù)共線性 等思路，并且長(zhǎng)期更新。

實(shí)際業(yè)務(wù)數(shù)據(jù)沖突

多業(yè)務(wù)數(shù)據(jù)源沖突是指來(lái)自多個(gè)或具有相同業(yè)務(wù)邏輯但結(jié)果不同的系統(tǒng)，環(huán)境，平臺(tái)和工具的數(shù)據(jù)。

沖突的不同特征

一般數(shù)據(jù)沖突類型：

• 數(shù)據(jù)類型：同字段數(shù)據(jù)的格式不同。例如注冊(cè)日期的字段包含字符串。數(shù)
• 據(jù)結(jié)構(gòu)沖突：同一數(shù)據(jù)主體的描述結(jié)構(gòu)存在沖突。
• 記錄粒度不同：訂單記錄的粒度可以基于ID存儲(chǔ)在一條數(shù)據(jù)中。
• 數(shù)據(jù)范圍定義：提取的數(shù)據(jù)字段含義不同發(fā)生沖突。
• 數(shù)據(jù)值不同：一般發(fā)生情況是格式問(wèn)題。

一般數(shù)據(jù)沖突原因：

內(nèi)部工具和第三方工具之間的數(shù)據(jù)沖突。

為什么獲得的數(shù)據(jù)與代理商或廣告媒體提供的廣告數(shù)據(jù)之間存在差異，有時(shí)差異會(huì)特別大？

網(wǎng)站分析工具獲得的數(shù)據(jù)與廣告媒體和代理商提供的數(shù)據(jù)之間不可避免地存在差異。

指標(biāo)的不同定義，不同的收集邏輯，系統(tǒng)過(guò)濾規(guī)則不同，不同的更新時(shí)間，不同的監(jiān)控位置等等不同步的原因都會(huì)產(chǎn)生這些問(wèn)題。

一般數(shù)據(jù)處理方法：

目前來(lái)說(shuō)沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，根據(jù)實(shí)際需要進(jìn)行處理即可。

• 形成唯一數(shù)據(jù)：如果要進(jìn)行總體摘要統(tǒng)計(jì)，則需要以某種方式消除沖突以便報(bào)告一個(gè)數(shù)據(jù)。
• 不消除沖突：而要使用所有沖突的數(shù)據(jù)。如果在進(jìn)行整體流程統(tǒng)計(jì)分析時(shí)使用不同業(yè)務(wù)流程的不同數(shù)據(jù)，則不同的指標(biāo)將具有更好的渠道轉(zhuǎn)換效果。要保證處理后的結(jié)果差異可解釋，且客觀穩(wěn)定。

樣本的選擇

數(shù)據(jù)抽樣還是全量基于已經(jīng)有的數(shù)據(jù)來(lái)說(shuō)，肯定是數(shù)據(jù)越全越好，但是實(shí)際情況并不是那么理想，我們只能利用統(tǒng)計(jì)學(xué)的方法使用抽樣的方式進(jìn)行取樣比較理想。

一般數(shù)據(jù)采樣方法：

抽樣方法通常分為非概率抽樣和概率抽樣。非概率采樣不是基于均等概率原理，而是基于人類的主觀經(jīng)驗(yàn)和狀態(tài)。概率抽樣基于數(shù)學(xué)概率論，而抽樣則基于隨機(jī)性原理。

• 簡(jiǎn)單隨機(jī)抽樣：抽樣方法是根據(jù)等概率原理直接從總數(shù)中抽取n個(gè)樣本。這種隨機(jī)采樣方法簡(jiǎn)單易操作；但這并不能保證樣本可以完美地代表總體。此方法適用于均勻分布的場(chǎng)景。
• 等距采樣：等距采樣是首先對(duì)總體中的每個(gè)個(gè)體進(jìn)行編號(hào)，然后計(jì)算采樣間隔，然后根據(jù)固定的采樣間隔對(duì)個(gè)體進(jìn)行采樣。適用于分布均勻或顯示明顯均勻分布規(guī)律，沒(méi)有明顯趨勢(shì)或周期性規(guī)律的數(shù)據(jù)。
• 分層抽樣：分層抽樣是根據(jù)某些特征將所有單個(gè)樣本劃分為幾個(gè)類別，然后從每個(gè)類別中使用隨機(jī)抽樣或等距抽樣來(lái)選擇個(gè)體以形成樣本。此方法適用于具有特征（例如屬性和分類邏輯標(biāo)簽）的數(shù)據(jù)。
• 整群抽樣：整群抽樣是先將所有樣本分成幾個(gè)小組，然后再隨機(jī)抽樣幾個(gè)小組來(lái)代表總體。該方法適用于特征差異相對(duì)較小的小組，對(duì)劃分小組的要求更高。

注意的幾個(gè)問(wèn)題：

數(shù)據(jù)采樣必須反映操作的背景，不存在業(yè)務(wù)隨機(jī)性及業(yè)務(wù)數(shù)據(jù)可行性問(wèn)題，最重要的數(shù)據(jù)采樣必須滿足數(shù)據(jù)分析和建模的需求

數(shù)據(jù)的共線性

所謂共線性（也稱為多重共線性）問(wèn)題是指輸入自變量之間的高線性相關(guān)性。共線性問(wèn)題將大大降低回歸模型的穩(wěn)定性和準(zhǔn)確性。例如具有明顯共線性的數(shù)據(jù)：訪問(wèn)和頁(yè)面瀏覽量；頁(yè)面瀏覽量和訪問(wèn)時(shí)間；訂單數(shù)量和銷售等。

一般產(chǎn)生原因：

• 數(shù)據(jù)樣本不足，這實(shí)際上反映了缺乏數(shù)據(jù)對(duì)數(shù)據(jù)建模的影響的一部分。
• 許多變量具有基于時(shí)間的共同或相反的演變趨勢(shì)。
• 多個(gè)變量間存在一定的關(guān)系但是發(fā)生節(jié)點(diǎn)不一致，總體上變量之間的趨勢(shì)是一致的。
• 多個(gè)變量之間存在近似線性關(guān)系。簡(jiǎn)單理解為一個(gè) y=ax + b 這么一個(gè)關(guān)系。

檢驗(yàn)共線性： 共線性通常由公差，方差因子和特征值的特征數(shù)據(jù)確定，做出判斷。

解決共線性的5種常用方法：

增大樣本量：

通過(guò)增加樣本消除由于數(shù)據(jù)量不足而出現(xiàn)的偶然共線性現(xiàn)象，也可能無(wú)法解決共線性問(wèn)題，原因是很可能變量間確實(shí)存在這個(gè)問(wèn)題。

嶺回歸（Ridge Regression）：

嶺回歸分析是專用于共線性問(wèn)題的有偏估計(jì)回歸方法，本質(zhì)上是一種改進(jìn)的最小二乘估計(jì)方法。

逐步回歸：

一次引入一個(gè)自變量并進(jìn)行統(tǒng)計(jì)檢驗(yàn)，然后逐步引入其他變量，同時(shí)測(cè)試所有變量的回歸系數(shù)。

主成分回歸（Principal Components Regression）：

可以基于主成分進(jìn)行回歸分析在不丟失重要數(shù)據(jù)特征的情況下避免共線性問(wèn)題。

手動(dòng)刪除：

覺(jué)得麻煩的話直接結(jié)合了手動(dòng)經(jīng)驗(yàn)刪了就是了。
完全解決共線性問(wèn)題是不可能的，因?yàn)樗惺挛镏g都有一定的聯(lián)系。

在解決共線性問(wèn)題的相關(guān)主題中，我們僅解決嚴(yán)重的共線性問(wèn)題，而不是所有共線性問(wèn)題。

以上就是如何使用python數(shù)據(jù)處理解決數(shù)據(jù)沖突和樣本的選取的詳細(xì)內(nèi)容，更多關(guān)于python數(shù)據(jù)處理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！