CausalKnowledgeBase

CausalKnowledgeBase, causal knowledge base including causal pairs extracted from web text using the methods like PMI, Collocation。基于网络文本的因果知识库项目，采用PMI，搭配抽取等方法，形成因果对频繁集。
项目地址：https://github.com/liuhuanyong/CausalCollocation

项目介绍

因果关系是语言逻辑关系中重要的组成部分，通过挖掘因果关系，可以在多个方向上产生作用，如对词作embedding，基于因果关系的预测等。目前，学术界中关于因果关系的抽取主要分成实体因果关系抽取和事件因果关系抽取，两者分别以实体和事件作为因果单元，实体大多为名词，事件大多为单个动词，这方面的工作可以参考semeval以及causalbank的相关工作。
因果单元的确定是因果关系抽取中的根本问题，不同的因果单元所能应用的场景会有着较大的差异。名词性的实体单元事件性太差，单一动词性单元语义过于抽象，在实际应用中会带来很多的噪声。
在这方面，我主要完成了以下工作：
1）CausalityEventExtraction项目， https://github.com/liuhuanyong/CausalityEventExtraction ，该项目从语言学的角度，给出了因果关系模式集，基于该模式集，可以初步抽取出因果描述单元，可以作为因果事件抽取的前期工作。
2）EventPredictBasedOnEG项目， https://github.com/liuhuanyong/EventPredictBasedOnEG ，该项目从建成因果事理图谱的基础上，给出了一个因果查询api，用于未来事件预测的工作，可作为一个应用环节。
然而，以上两个项目都是从宽泛意义上的事件上来做的，在粒度上介于词语句子之间，泛化能力较差，而且在事件的概率转移上，一直无法得到很好的解决。我在想，是否能够讲搭配抽取的方法引入到因果知识库的构建当中，因为在之前，看到一个在英文因果对抽取的工作(http://www.cs.sjtu.edu.cn/~kzhu/papers/kzhu-copa.pdf)， 该工作从Bing网页快照中提取的可能的因果关系对，形成7千万的因果关系对，每一行有三个元素，分别为原因，结果和频率。从下载数据来看，数据很乱，暂时想不出来有什么工业用处。因此，我想到因果频繁项集的概念，能否根据因果对的共现信息，通过计算因果对之间的搭配，从而形成以事件性词语(名词、动词、形容词)的因果搭配知识库。

项目的技术路线

1、通过文本采集的方法，采集大规模文本数据集
2、通过执行CausalityEventExtraction项目项目，得到大规模的因果描述句
3、基于CausalityEventExtraction的结果，分别对原因描述部分和结果描述部分进行分词，词性标注，命名实体识别等预处理操作
4、对原因描述部分和结果描述部分进行词性过滤处理，仅保留分词结果中的名词、动词、形容词，形成原因词列表和结果词列表
5、以原因词列表为中心，统计该词语结果词列表中的词的pmi值，pmi值的计算公式：log(p(x,y)/(p(x)*p(y)))
6、按照pmi值高低，对每个原因词的因果搭配信息写入文件，设置topn=200，只保留每个词的前200个频繁结果词。

项目脚本

结果文件为：data/causal_collocation.json

项目运行结果

1、搭配文件：pmi_word有3项内容构成，分别为结果词，结果词性以及结果词语原因词之间的pmi值，用于衡量两者之间关联强度。

{ "_id" : ObjectId("5cbd878b831b975b8da3d6cc"), 
"word" : "自杀", 
"word_tag" : "v",
"pmi_words" : [
[ "留医", "v", 21.868029795027585 ], 
[ "苦闷", "a", 19.546101700140223 ], 
[ "干什么", "v", 19.28306729430643 ],
[ "杨进", "v", 19.28306729430643 ], 
[ "掀开", "v", 19.259220552352062 ],
[ "抒发", "v", 18.546101700140223 ], 
[ "口诛笔伐", "i", 18.365529454498404 ],
[ "同情", "v", 18.28306729430643 ], 
[ "抢救", "v", 18.115467345810362 ], 
[ "思索", "v", 17.898403444071104 ], 
[ "减肥", "v", 17.67163258222408 ], 
[ "想起", "v", 17.452992295748743 ], 
[ "赞扬", "v", 17.28306729430643 ]  }

2、因果搭配举例：

总结

1、本项目从名词、动词、形容词作为事件单元出发，使用pmi和高频共现的方式，完成了因果频繁集的提取工作，形成频繁因果搭配知识库。
2、频繁因果搭配知识库能够用于关键词扩展，词向量表征wordembedding等应用。
3、频繁因果搭配知识库中原因词和结果词之间的pmi值是否可以充当因果关系的状态转移概率，这个问题值得我们考虑以及实验。
4、频繁因果搭配知识库还可以有多种提取和构建方式，后续有更多想法可以再进行实验。

如有自然语言处理、知识图谱、事理图谱、社会计算、语言资源建设等问题或合作，请联系我:
邮箱:lhy_in_blcu@126.com
csdn:https://blog.csdn.net/lhy2014
我的自然语言处理项目: https://liuhuanyong.github.io
刘焕勇，中国科学院软件研究所