干货！因果推理的应用与发展 | PhD Debate-7

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

2021年诺贝尔经济学奖部分授予了从事因果方面研究的两位学者，因果推理引起了各界广泛的关注。同时，近年来，基于关联关系的深度学习飞速发展取得了极大的成功，但同时渐渐展现了系列问题，引起了超越关联迈向因果深度学习探索。因果推理与深度学习二者碰撞出了怎样的火花？

2021年10月23号，AI TIME PhD Debate第7期“因果推理的应用与发展”举行，特别邀请了卡耐基梅隆大学黄碧微、马普所与ETH联培博士生金致静、南洋理工大学王谭、中国科学技术大学张洋，新加坡国立大学王文杰作为嘉宾，以及来自山东大学刘美珍与嘉宾王文杰一起作为主持人。

什么是因果推理？

黄碧微提到因果的概念在2000多年前亚里士多德就已经提出来了，且最近几十年得到极大的关注与发展。但是，因果的严格定义一直有纷争，目前有两种主流：

1）基于干预（intervention）的定义，如果X 导致（causes） Y，干预X将会改变Y的分布（If X causes Y, intervene X will change the distribution of Y）；

2）基于反事实推理（counterfactual reasoning）定义，例如小明沉迷于游戏没有通过考试，如果小明没有沉迷游戏能否通过考试？即改变某些特征结果是否会发生改变？此外，她举例阐述不能区分因果关系与相关关系将会导致的错误结论，强调了因果推理的重要性。

金致静从如何科学家如何做因果推理的角度阐述。首先，有两种类型数据，即观测性数据与（随机对照试验得到）干预数据，然后基于这两种数据使用因果发现算法推测变量之间因果关系。

然后，在Machine Learning（ML）情况下，因果推理类似人思考，如判断图中动物的种类，动物本身是做出判断的依据而背景是关联，即对于一个变量预测时候，使用其对应的父结点（因）来做预测。

张洋从应用研究的角度发表了观点，首先，他认为因果推理是一种认知的工具，提醒人们关联关系与因果关系的区别，打破潜意识把条件概率认为是因果效应的错觉。

同时，他认为，因果推理是分析与解决问题的工具，知道因果关系后，可以基于因果推理：分析相互影响关系及其中稳定与不稳定的相关，来确定正确的估计目标，以及回答该目标是否可以估计以及怎么估计的问题。

王文杰提到研究方法主要有两类：第一类是实验性研究，做随机对照实验，控制一些变量来消除混杂之类的影响，但这样可能会涉及一些社会伦理问题。第二类工作直接基于观测数据研究，具有两个流派，一个是Judea pearl的因果图模型，一个Rubin的潜在结果框架。也有部分结合实验与观测性研究。

王谭从实际CV问题中的体现来阐述，认为可以将数据增强就看成是一种干预，如图片中，假设object到label有因果关系，则改变颜色、旋转角度等不影响label来做数据增强，可以看成一种干预。

VAQ可以体现反事实推理，如改变图片中香蕉颜色从黄色到绿色，希望给出对应答案，实际上在回答一个反事实问题。或者在稳定学习、OOD学习中希望学习到stable的稳定的特征，其实也是一种因果推理。

深度学习时代的因果推理

深度学习模型已经在各个领域展现了巨大的优势，现有深度学习模型是否需要因果推理能力？因果推理还能给深度学习带来什么样的进步？

王谭认为深度学习需要因果推理能力，早年间深度学习追求准确率，近几年研究的领域慢慢转向了怎样达到更普适、更鲁棒的预测，产生了long-tail、debias、stable，few-shot learning等任务，这些任务不满足i.i.d. 假设，本质上是对于因果推理能力的需求；

同时人类学习是一种因果推理而非仅仅是观测，会做一些反事实与干预，如做些小实验。对于因果推理带来的进步，他认为可以更好地处理上述不满足i.i.d条件的任务，且可以帮助理解深度学习的技术，如数据增强。

张洋认为深度学习是否需要因果推理的能力取决于具体的评价体系以及问题是什么。在某些情况下，比如训练与测试完全一致，估计量与评估量一致时就没有必要考虑因果推理能力。

而对现实问题，以推荐系统为例提到，一方面，时间等会带来数据分布的变化，此时就需要捕捉一些稳定的或者因果的特征获得对未来数据的泛化能力；

另一方面，label不能够反映ground-truth，比如商品的点击（label）由用户兴趣（ground-truth）与曝光位置同时影响，导致点击不能用户兴趣，而深度学习一般基于label学习，此时学的模型不能反映用户的兴趣，需要借助因果来解决这一问题。借助因果推理，深度学习可以把上述问题解决的更好。

黄碧薇也认为需要，特别是在分布发生变化的情况下，不仅可助力可解释与泛化能力，也可以通过反事实来想象推理，避免风险等。为什么因果推理可以助力泛化能力等？

她提到，深度学习依赖于大数据，难应对环境改变，而人可以却可以很好地应对，因为人可以分析因果关系，鉴定发生变化的地方，并据此迅速调整策略。因果模型具有modularity等性质可协助实现类人的能力，modularity指大量变量的联合分布可据因果关系分解成一系列独立的条件分布，针对环境发生变化，只需要对于某些变化的模块进行调整，就可实现模型快速迁移，减少模型与数据的复杂度，且提高可解释性，知道哪一部分可以在新的环境中很好的适应。即从因果或生成过程出发，充分利用modularity可减小模型与数据复杂度。

金致静总结了前面嘉宾的观点并表示赞同。并补充两个分支：（1）预测accuracy与学习因果关系的trade-off。（2）从因果角度解释模型学习到了什么，解释模型因为什么做出了预测，如语言模型因为什么原因产生了性别偏差等。

王文杰也认为需要因果推理能力，从推荐系统的角度补充到，（1）进行A/B test 的时候需要考虑混淆因子等的影响。（2）追求一个环境准确度拟合，拟合关联关系就会好，但考虑公平性、泛化性、鲁棒、可解的推荐模型时，就需要考虑数据生成的因果关系，大多现有工作也是从这个角度出发，把因果结合到模型构建以及学习过程中去。即因果推理可以助力推荐系统选择决策以，助力模型构建以及学习。

因果推理的应用、发展现状以及面临的挑战

金致静从ML与NLP的角度进行了总结了三类工作：

1）利用因果的概念，知道不同变量之间的因果关系后，利用causal graph等，去提升模型的鲁棒性、解决domain shift问题等；Schoekopf & Bengio 的工作基本都是主要关注在这一领域。以及把因果概念放到nlp上把任务分成是causal与anti-causal。

2）ML技术来辅助提升causal inference算法，神经网路是估计一个universal function的估计器，而causal inference里面很多是要估计一个变量怎样影响另一个变量，因此可以利用ML。如MIT ICML2017的DeepIV，另外华为ICLR2020上一篇工作用RL来实现因果发现。

3）text作为一种新的数据形式。以前因果大多基于表格数据，但现在的因果需要文本数据，如什么样的论文标题更吸引人，所以需要用NLP去编码文本数据然后将其放入到观测数据中。两类工作：分析social 现象，如研究sentiment这样影响政策，用nlp去提取social sentiment，然后去做causal discovery等；分析语言现象，如分析俚语随着时间的evolve。

张洋从推荐系统角度介绍了几类工作：

1）使用IPS，在推荐系统中利用的最早且最广，ICML 2016 recommendation as treament 纠正曝光变差（显示反馈），2020 WSDM saito用IPS 解决隐反馈中的bias，另外20年的RecSys预测推荐操作本身的影响也比较有缺。分析类型工作，如把有工作把推荐系统算法本身作为影响数据生成的一个考量，发现其会带来混淆效应。

2）研究confounder的工作。对于不可观测的confounder，有工作估计一个变量去作为不可观测的confounder的替代。对于可观测的confounder，主要是基于SCM，引入后门调整，前门调整等。

3）基于counterfactual，如基于反事实来做数据增强。然后提到了两个挑战：a）最大的挑战在于测评，理想情况需要干预的数据来测试是否真的达到目标，但这种数据往往没有，另外可以基于A/B test来实现，但是对于学术研究不太现实。b）基于SCM的方法需要人为基于经验或者知识对于因果图进行假设。

王文杰对于推荐系统以及IR方面进行了补充，他认为因果推荐研究有两种类型：

1）推荐系的决策。做决策上线什么推荐系统，可以用因果来做，比如用A/B test，在推荐领域做随机/对照实验相对与容易，如现在已经有一些包含随机实验的数据集。另外，可以分析上线推荐系统本身的因果效应，某些商品无论是否推荐都会买，而有一些是推荐之后才会买，现有研究基于一些强假设，或者合成数据。

2）怎么构建更好的推荐系统，研究主要集中在fairness，de-biasing，explainability，robust等。现有工作包括何向南老师组做popularity bias的工作；文杰KDD 缓解推荐系统bias放大的问题的工作，用后门调整处理混淆因子带来的问题等。

王谭从CV面，他认为领域是共通的，主要区别在于task的区别。然后他从挑战的角度说了几个点：

1）不变风险最小（Invariant risk minimization，IRM），思想认为因果是不变的东西，把数据分成不同的环境，要求在不同的环境下表现的好，即可以捕捉到因果。但一个问题是怎样分一个环境，随机分的bias与casual完全混在一起无法区分。

2）统计上的因果是基于变量来做的，而CV等领域是比较高维的场景，常常是representation的状态，很多因子都混在一起的。

3）评测领域，缺乏一个专门数据集以及对应的指标。

4）落地的问题，开发因果数据有帮助，还是多收集数据更有帮助。怎杨在实际场景发展因果推理是另外一挑战。

黄碧薇补充到：

1）关于因果图，除了可以利用领域知识来构建外，大家非常关注causal discovery，最近15年吸引了很多人的关注。

2）关于invariant，认为causal model相对其他模型是更稳定，但是在某些情况下是可能会变化的，此时可能需要利用modularity的性质，对于不变部分进行继承，变化的部分进行调整。

3）关于变量，传统因果基于因果变量研究，当对于图像场景，观测值不是因果变量，如何从高维度图像学习因果变量，如causal representation。面临的问题，学的解不唯一，怎样约束，或者怎样让这些结果与人的理解匹配。

畅想因果推理的未来

张洋从推荐系统上的未来发展讨论，认为需要解决以下问题：

1）评测技术需要发展。如开发一套模拟系统；

2）现在很多工作会对于因果关系基于几个变量假设，而实际场景的影响因子很多，变量维度高，且可能还需要自己定义变量。

3）同时处理多个问题，需要把多个问题结合起来考虑，比如不同的bias问题综合处理。

4) 推荐系统是一个动态运转的系统，推荐系统影响用户，用户也会影响推荐系统，此时无法用有向无环图。同时，人是不断成长，此时不仅需要捕捉不变信息，还需要结合变的兴趣，用因果方式来建模。

5）将因果推理与推荐系统的结合的过程变得更加智能。

黄碧薇从因果发现的角度发表了观点。对于自动学习因果图，传统的因果关系从随机对照实验发现，但成本大可行性低，所以大家关注在从观测数据学习，但是有很多强假设：比如说没有不可测的因子，data i.i.d., 无环，无selection bias等。所以研究方向就是如何弱化这些假设，包括：

1）分布发生变化时如何寻找因果图，她们发现有变化情况实际有助于寻找因果关系；

2）处理latent confounder/variable情况。关于latent confounder目前需要假设是线性的。对于latent variable包括两种情况：观测是变量是因果变量，同时有一些变量不可观测但会影响这些变量；观测变量类似图像这种仅仅是观测值不是因果变量，需要自动发现因果变量及因果关系。

3）如何处理有环的情况。目前若假设因关系线性，此情况可以鉴定因果关系。

4）如何处理data selection bias，观测截取了数据的一部分。

5）因为因果关系从观测数据中学习因果关系，如何验证学习的因果的图，如怎么用最少的干预实验来验证发现的因果图。

王谭总结了黄碧薇博士的发言，并补充到：

1）causal discovery在真实的场景下很难，传统方法主要依赖与独立性假设检测，但在高维数据（如图片）和representation上很难应用，首先很难在真实高维数据中直接去计算因为代价大，同时在representation来做检测可能没有意义。

2）causal中的 modularity 与disentanglement密不可分的，需要把causal 与 disentangle 结合在一起，如何在复杂场景先把因果变量如何解耦出来，是causal 技术应用的前提条件。

王文杰从推荐角度进行了补充。他提到推荐是在动态的环境下进行的，很容易发生变化。因此，有两个问题：1）怎解耦出来一些因果变量，以及发现一些比较稳定的关系，来获得o.o.d. 化能力；2）当变化发生是时候怎样去感知这样的变化，以及怎样地更好地快速地适应这种变化。

金致静认为：

1）高维问题在NLP中也是存在，需要做disentangle任务。

2）NLP 有很多以文本存储了common sense 的knowledge，比如一个人的种族不是一个犯罪的原因，如何用这些common sense辅助causal discovery。

3）model本身也有很多效地node，如何以model为主的来进行因果分析。

学习经验

王文杰分享了以下基本书籍："Causal Inference in Statistics, Social, and Biomedical Sciences"，“Causality: Statistical Perspectives and Applications”以及judeal pearl的“the book of why”和“causality”，建议大家读一些survey。此外，维护了一个casual reading list，在fuli feng的github上。

金致静提到了她github主页有NLP的因果相关的reading list。同时她指出在学习过程，注意对于现有工作分类，注意有几个流派：1）基础因果，如judeal pearl工作；2） ML中的因果，把人的过程作为因果知识本身；3）把model作为因果的主体，model做判断的方法做为因果发现的主体。

王谭分享了自己的经验：1）统计的能力很重要，是基础；2）系统地跟进一下比较前沿组的工作；3）从任务驱动的角度出发，先分析因果是否可以起到作用，再去利用因果技术改进。

张洋分享了自己读书的感受，对于入门来讲，读judeal pearl的几本书，需要的注意下读书的顺序，先读：the book why, 再读Casual Inference In Statistics: A Primer，最后再读"causality"。

黄碧薇赞同了张洋提到的读书顺序：读the book of why 了解因果的概念；读“Casual Inference In Statistics: A Primer”对因果中的统计知识有些了解；causality比较专业，读起来可能比较困难，但观点非常前沿，很多东西可以继续拿来用并做更深入研究。同时推荐了因果发现的书"Causation, Prediction and Search"；

最后她提到，在机器学习中causal discovery很难做到，但不一定非要完全发现causal structure，利用一些因果比较好的性质就可以了，如 modularity，disentanglement。

提

醒

点击“阅读原文”，即可观看本场精彩回放

整理：张洋

审核：黄碧微、金致静、王谭、张洋、王文杰

直播预告

3月23日 19:30 CVPR2022论文预讲

对比学习在域泛化中的应用

香港中文大学计算机与工程学院博士生——姚旭峰

往期精彩文章推荐