数极客首页

A/B测试中的因果推断——随机化分流

A/B测试中的因果推断——随机化分流

摘要:往常

我们来看看在统计推断中怎样
应用这个模型,对实验
的因果效果中止

估量

分流机制前面我们说过,关于
因果效果的估量
,我们需求
比较

多个个体的理论

观测到的潜在结果,其中一部分

个体和另外一部分

分别接受

不同的处置
,观测到不同的潜在结果。假定

我们有两个用户参与这个雾霾小实验
:小强和小明,观测到如下的结果。

A/B测试中的因果推断——随机化分流A/B测试中的因果推断——随机化分流表面

上来看,小强不戴口罩咳嗽 100 分钟,小明戴口罩也是咳嗽 100 分钟,我们或许
就简单地得出一个结论:雾霾时戴口罩没有用,咳嗽不会少。但是真实状况

可能是:小强对雾霾的抵御
力比小明好很多,所以他不戴口罩咳嗽 100 分钟,戴口罩只咳嗽 10 分钟;而身体较弱的小明不戴口罩会咳嗽 200 分钟,戴口罩咳嗽 100 分钟。那么真实的因果效果应该是戴口罩少咳嗽 100 分钟左右,我们从数据表面

得出的戴口罩无用的结论是错误的。上面给出的是一个只需

两个个体的简单例子,假定

参与实验
的个体很多,同样可能呈现
这样的状况

问题出在哪里?显然,个体之间是存在差别

的,假定

我们把抵御
力强的分派在一组,把抵御
力差的分派到另外一组,然后中止

对比

,结果就会和真实状况

倾向

很大,从而得出错误的结论。

问题的关键在于参与实验
的用户中止

分组的办法

,也就是哪些用户观测到戴口罩的潜在结果,哪些用户观测到不戴口罩的潜在结果,这是对实验
比较

的结果影响很大的重要要素
我们把这个分组的过程称为用户分流/分派机制 (assignment mechanism)。也就是说,多个个体参与实验
并缺乏
以保证我们中止

有效的因果推断,我们必需
控制
个体的分流机制这个关键信息或者对其中止

有计划

的控制。分流机制和因果效果的定义没有关系,但是它是潜在结果模型应用过程中的关键一步,是决议
效果估量
精确

性的重要要素
。我们通常需求
在实验
设计当选

择一个好的分流计划

,以使得因果效果的估量
接近于它的定义,并且尽可能提升实验
的统计效果

。因果效果是经过
潜在结果(只能观测到其中一个)的比较

来定义的,和理论

接受

到的处置
无关。但是,由于
我们只能观测到一半的潜在结果,无法得知个体的因果效果,在评价
因果效果时就存在一个因果推断的艰难

:数据缺失问题,个体没有接受

到的处置
所对应的潜在结果的数据是缺失的。因而

,处置

问题的关键就是缺失数据的处置
机制,在因果推断中就是分流机制。哪些个体应该接受

哪些处置
,或者说哪些潜在结果应该被观测到?分流机制的这些分派决议
是十分

关键的。我们再看看有 4 个用户参与雾霾小实验
的例子,这次实验
增加了用户小芳和小刚,小芳和小强在一组,不戴口罩;小刚和小明在一组,戴口罩。观测到数据如下:

A/B测试中的因果推断——随机化分流A/B测试中的因果推断——随机化分流这次从数据上看,不戴口罩咳嗽 150 分钟(平均

),戴口罩咳嗽 55 分钟(平均

),结论是戴口罩能够

减少咳嗽时间 95 分钟(平均

)。和真实的个体因果效果对比

我们能够

看出,这个估量
结果是很精确

的。这次实验
为什么能够

推断出正确的结论呢?由于
我们增加了实验
用户小芳和小刚,而小芳的雾霾抵御
力和小明接近(相同),小刚的抵御
力和小强接近(相同),从而处置

了数据缺失的问题:你能够

把小芳的结果看作是小明没有观测到的不戴口罩状况

下的潜在结果,把小刚的结果看作是小强没有观测到的戴口罩状况

下的潜在结果。这里分流的关键在于把用户属性(抵御
力)差不多的小强 vs 小刚,以及小明 vs 小芳,分派到两个不同的组,接受

不同的处置
。假定

反过来,把属性差不多的用户都放在同一个组,那么数据缺失问题还是没有得四处

,实验
结论和上面两个用户状况

下的实验
一样依然

是错的。从这两个例子我们能够

看出:我们不能脱离个体的分流机制而仅仅由个体观测到的潜在结果来中止

因果推断,有效的推断央求

我们必需
思索
这个问题:为什么这些用户接受

这个处置
,另外的用户接受

另一个处置

随机化实验
采用随机化分流方式的实验
设计就是随机化实验
(Randomized Experiments),它是我们在 A/B 测试中中止

统计推断的基础

。传统的随机化实验
主要有三种类

型:

  • 伯努利 (Bernoulli)随机化实验
  • 完好

    随机化实验
    (Completely Randomized Experiments)

  • 分层随机化实验
    (Stratified Randomized Experiments)

最简单的 Bernoulli 实验
以相似

于抛硬币的方式来决议
每一个个体的分派;完好

随机化实验
中每个 treatment 分派到的个体数据量
是固定的,但个体的分派是随机的;分层随机化则是在完好

随机化的基础

上,先经过
协变量对总体中止

分层,然后在层内随机化分派。不同的随机化实验
类型(随机化分流方式)招致
不同的分派概率散布

。以完好

随机化实验
为例,其个体概率如下:

A/B测试中的因果推断——随机化分流依据

这个概率散布

,我们就能够

对总体的平均

因果效果中止

统计推断和估量
了。

平均

因果效果的估量
让我们先从数学上正式地定义平均

因果效果 (Average Causal Effect),它是我们实验
和剖析

的最终目的
。第一
把总体中一切
的个体编号为 i = 1, …, N,N 是总体的容量。每个个体可接受

一组处置
中的一个,我们用 Ti 来表示个体 i 可接受

的处置
的汇合

。大多数状况

下,这个汇合

对一切
个体都是相同的。在我们的小实验
中,Ti 包括两个处置
水平

:0 表示不戴口罩(control 组),1 表示戴口罩(treatment 组)。

A/B测试中的因果推断——随机化分流每个个体可接受

的处置
水平

都有一个对应的潜在效果,Yi(0) 和 Yi(1),Yi(1) 和 Yi(0) 的比较

(通常是差值),就是个体 i 的因果效果了。

A/B测试中的因果推断——随机化分流个体的因果效果我们是无法直接得知的,也不是我们的关注重点。我们通常关怀

的是总体中一切
个体的因果效果的平均

值,即平均

因果效果。

A/B测试中的因果推断——随机化分流其中

A/B测试中的因果推断——随机化分流分别是一切
个体不戴口罩(0)的平均

潜在结果,和一切
个体戴口罩(1)的平均

潜在结果。ACE 就是我们实验
剖析

的目的
,它等于“戴口罩(1)的平均

潜在结果 – 不戴口罩(0)的平均

潜在结果”。我们前面曾经
说过,每个个体的两个潜在结果只能观测到其中一个,另外一个是不知道

的,所以 Yi(0) 和 Yi(1) 里面有一半是没有观测值的,我们不能由 ACE 的定义公式直接计算出它的值。对 ACE 的一个很自然的估量
量就是“treatment 组观测到的平均

潜在结果 – control 组观测到的平均

潜在结果”

A/B测试中的因果推断——随机化分流假定
参与实验
的 N 个用户中有 Nt 个分派到 treatment 组,Nc 个在 control 组,那么 treatment 组和 control 组的平均

潜在结果分别是

A/B测试中的因果推断——随机化分流A/B测试中的因果推断——随机化分流我们需求
评价
一下这个估量
量的精确

性,最基本

的权衡
规范

就是它能否
ACE 的无偏估量
,即该估量
量的希冀
能否
等于 ACE。令指示变量 Wi 表示个体 i 被分派的处置
(取值 0 或 1),估量
量可改写为:

A/B测试中的因果推断——随机化分流其希冀

A/B测试中的因果推断——随机化分流假定

分派机制 W 是完好

随机化分派,那么随机变量 Wi 的希冀

A/B测试中的因果推断——随机化分流因而

可得,

A/B测试中的因果推断——随机化分流可知,在完好

随机化实验
中,我们依据

直观得到的简单估量
量是 ACE 的无偏估量
,是基本

可用的。从上面的推断过程能够

看出,个体的完好

随机化分派机制在其中扮演了十分

重要的角色,正是由于随机变量 Wi 的概率散布

的特性
,使得 ACE 的这个简单估量
量是无偏估量
。往常

我们来看看这个 ACE 估量
量的精确

性,也就是其抽样方差。依据

随机变量 Wi 的概率散布

的特性
,经过
相似

的办法

,可得到 ACE 估量
量的方差为:

A/B测试中的因果推断——随机化分流其中

A/B测试中的因果推断——随机化分流分别是潜在结果 Yi(0) 和 Yi(1) 的样本方差,而

A/B测试中的因果推断——随机化分流则是个体因果效果 Yi(1) – Yi(0) 的样本方差。假定

总体中的个体因果效果为常量(例如,戴口罩的效果对一切
人都是少咳嗽 100 分钟),那么该项为 0,我们得到:

A/B测试中的因果推断——随机化分流以观测到的组内样本方差近似替代
总体的样本方差可得到一个方差估量
量:

A/B测试中的因果推断——随机化分流分别

平均

因果效果的估量
量和抽样方差估量
量可得到假定
检验统计量为:

A/B测试中的因果推断——随机化分流是不是看起来很眼熟?嗯,其实就是我们常用的独立双样本状况

下的 z 检验量的计算公式:

A/B测试中的因果推断——随机化分流大家往常

是不是对躲藏
在这个公式里的因果效果有所了解

了?!作者:钟书毅

发表评论

评论已关闭。

相关文章