数据篇:难以解释的数据异样
本文摘要:订阅专栏撤销订阅 你怎么界说自己,就怎么界说这个世界;你怎么界说这个世界,就怎么界说你的产品。24643在分析网站数据的时分,总有那些一些数据异常无法找到适当的理由进行合了解释,也答应以换个角度来看待这些异常。为何明明数据发生较大的崎岖动摇,我们
订阅专栏撤销订阅 你怎么界说自己,就怎么界说这个世界; 你怎么界说这个世界,就怎么界说你的产品。

2464

3

在分析网站数据的时分,总有那些一些数据异常无法找到适当的理由进行合了解释,也答应以换个角度来看待这些异常。为何明明数据发生较大的崎岖动摇,我们费尽心机仍是无法找到合理的原因,这些究竟是怎样的异常,是否是存在一些共性,或者这些异常是否是我们往常所说的异常,抑或是应该归到其他类别,无妨先叫它们“难以解释的异常”。

在读《考虑,快与慢》这本书,作者卡尼曼的观念似乎可以给我们一些答案。卡尼曼是心思学和决策学方面的大师,他通知我们怎么避开大脑考虑的误区,从而更加理性地进行认知和决策。这里引述书中提及的与上面“难以解释的异常”这个问题相关的两个观念:


回归均值效应:事物会阅历好坏的随机动摇,但最终会回归到均匀水平。 用因果关系解释随机工作:人们总是试图为一些变化寻找可以解释的原因。
迪马特奥和贝尼特斯

关于回归均值效应(Mean reversion),卡尼曼举了一些与体育相关的例子,确实这个现象在体育竞技中较为常见:高尔夫球手为何第二天无法打出前一天的好成果,球员为何第二个赛季无法复制前一个赛季的辉煌……这让我联想到了近期切尔西的换帅工作。

其实迪马特奥和贝尼特斯之间存在一些风趣的一同点:1) 都是欧冠的冠军教头,2) 能力都没有被完全认可。假如说迪马特奥是没有足够的时间来证明自己的执教能力无可非议的话,那么贝尼特斯显然是自己的选择形成了外界对其能力的质疑。

迪马特奥在上赛季中后段从助理教练接手切尔西,并以看守主教练的身份一路过关斩将,最终攫取欧冠冠军,成功带回球队前史上第一座大耳朵杯足够让其能在赛季末被扶正,但因为缺乏执教经历一直无法让挑剔的老板对其有足够的信赖,于是当球迷和俱乐部还沉溺在上赛季欧冠的荣耀光环下,而球队的体现却无法延续“应有”的辉煌时,迪马特奥下课的命运是注定的。在竞争如此剧烈的英超联赛,切尔西无法脱节回归效应,假如说上个赛季切尔西在诸多有利因素的一同作用,再加上一些命运成分的基础上成功加冕欧冠的话,那么这个赛季这些有利因素不再集中地作用于他们,而他们的命运也似乎“用完了”,成果回归之前的均匀水平实属正常现象,而在昔日光环下的球迷和俱乐部显然认为这是“异常工作”,于是迪马特奥成了回归效应的受害者。

其实这类工作在足球界不足为奇,世界杯的98法国,02五星巴西,06意大利都难逃回归效应,夺冠之后成果下滑,而很多教练也在夺冠之后纷繁辞去职务,因为他们也理解再续辉煌(脱节回归效应)是如此之难,斯科拉里、里皮等都做出了明智的选择,而这些冠军球队的替任教练又往往是命运最为坎坷的,毕竟能像博斯克这样让西班牙不断延续辉煌的教练真的不多,而贝尼特斯恰恰当了回悲催的替任者。

2010年贝尼特斯接替穆里尼奥成为三冠王国际米兰的主教练,三冠王的光环太过耀眼,而阵型老化加引援晦气,注定让国米走上回归效应的路途,于是赛季不到半程,贝帅即被辞退。其实贝尼特斯之前执教生涯的战绩其实不是太差,成名于张狂的“伊斯坦布尔之夜”,但也正是因为这传奇一战成了一座无法逾越的丰碑,即便之后协助利物浦夺得诸多赛事的冠亚军,也无法让俱乐部和球迷真实的满意,而贝帅的决策失误在于其没有在任何一个辉煌或几近辉煌(07年虽然被米兰复仇雅典,但至少也是个欧冠亚军)的时刻选择退出,直到终究利物浦战绩真实看不下去了才以失败者的身份脱离。贝帅真的应该向老辣的银狐里皮或者奸刁的穆里尼奥学习下什么叫做功遂身退。

而这次,贝帅又一次选择了欧冠冠军光环下的切尔西,虽然这个光环已逐渐褪去,我们也只能祝他好运了。

坍毁的桥梁与俄然安静的教室

共振(Resonance)催生了宇宙大爆炸,构成了星斗日月和世间万物,共振现象是天然界最遍及的现象之一。一群士兵骑马通过法国昂热市的某座桥时,共振现象导致了桥梁的坍毁,这个例子被引入初中物理教科书,从而成了我们知道共振原理的启蒙记忆。可是什么原因引发了共振,进而发生桥梁坍毁这类异常工作,正常状况下相同一群士兵相同行军通过相同的桥,可能几万次中才会呈现一次桥梁坍毁,士兵是普通的士兵,桥是正常的桥,发生共振完满是一个随机工作,但正是因为这类工作概率太小,所以人们总是试图从士兵或者桥的身上找原因(可是有时分确实是因为桥存在问题 ;- ) )。

然后是一个在知乎上看到的问题:为何本来我们都在评论,声音嘈杂的教室会俄然安静下来?这个也许我们都遇到过,也是一个类似的小概率工作,教室里每一个人都在断断续续地说话,正常状况下声音的巨细总是坚持在一个水平动摇,但可能俄然有一个时刻同时说话的人数减少了,声音也随机地动摇到了一个最低点,这个时分我们就会认为是否是发生了什么事情,老师来了?于是纷繁不说话,教室俄然万籁俱寂,一片幽静。我们都感觉到了教室声音的“异常”,而试图为这个异常寻找可能的原因。

什么形成了这些“异常”

首要来看回归均值效应,一般体现为事物在某段时间体现得十分好,之后回归到正常水平的一个过程。这个按理来说是一个正常的过程,因为事物在诸多因素的一同影响下总有一些随机的动摇,要害在于人们总是期望好的状态可以延续,而当事物从一个极好的状态呈现下滑时,因为落差较大,所以很容易把回归均值之后的状态作为一种“异常”。如下图:

A段的曲线即便有上下动摇,但一般不会被认为有异常,但C段曲线很容易被误认为是异常,因为我们很容易将C段与B段进行比较,而不是A段的均值水平(绿线所示,C段与A段均值差异其实不大)。因为这里给出了完好的曲线变化趋势,所以犯这种过错的可能性会下降,但当我们比较短时间内的数据变化,或者简略看数据同环比的时分,就很容易误把回归均值作为一种异常。所以分析数据要结合长时间趋势,当事物状态未发生质变而数据显着上升一个台阶的状况下,不要认为好的数据体现总可以继续,因为好的数据体现也只是一个正常的随机动摇引起的。

解释了回归均值效应,还需要搞清楚的是虽然事物大部分时间都有小幅的随机动摇,但偶尔也会呈现较大的动摇,即极好或者极差的状态,正如上图的B段状态,我们怎么认定这个状态也是随机的,而不是异常呢,不能因为难以解释而不把过大的数据动摇作为一种异常来看?

这个问题仍是可以从物理学的角度开始解释,先看下波的叠加原理(Superposition Principle):

左图的下面2个波在叠加之后组成了更大的振幅,而右图的下面2个波彼此干与,组成后振幅消减为零。引申到数据变化的情境下,一般一个指标会遭到多个因素的影响,比如网站的拜访量会受多个渠道数据动摇的影响,查找引擎、外部链接、社交前语、付费广告等这些外部渠道带来的流量总是在变化的,如下图:

当某个渠道的流量异常的时分,如A线所示,或者因为外界因素的影响,如春节或节假期所有渠道的流量都可能遍及下降,如B线所示,这些都可能导致整体拜访量的异常,这些异常是可以解释的。C线中每一个渠道的数据都未呈现显着异常,但因为多个渠道的流量因为随机动摇可巧同时都到了一个较低的点,这个时分整体拜访量也会呈现显着低于正常水平的状况,于是就呈现了“难以解释的异常”。

所以,这些“难以解释的异常”之谜可以揭晓了,当很多因素同时作用于某个指标的时分,即便所有的影响因素都没有呈现显著的异常,指标数据仍然可能体现异常,虽然这个概率十分低,但确实会发生,这是因为多个因素一同作用下的叠加效应导致的,假如通过细分指标的影响因素没有发现显着的异常,那么不要试图为这个“难以解释的异常”寻找看上去可以解释的原因。

来历:


订阅专栏撤销订阅 你怎么界说自己,就怎么界说这个世界; 你怎么界说这个世界,就怎么界说你的产品。
人人都是产品主管(woshipm)是以产品主管、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位效劳产品人和运营人,建立9年举行在线讲座500+期,线下分享会300+场,产品主管大会、运营大会20+场,掩盖北上广深杭成都等15个城市,内行业有较高的影响力和知名度。平台集合了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一同生长。

相关内容