学术前沿趋势分析（一）

学术前沿 趋势分析（一）

任务说明
数据集
代码实现
数据分析

一、任务说明

任务主题：统计2019年全年计算机各个方向论文数量。
任务内容：赛题的理解、使用 Pandas 读取数据并进行统计。
任务成果：学习Pandas 的基础操作。

二、数据集

来源：https://www.kaggle.com/Cornell-University/arxiv
格式：数据集的格式如下：

id：arXiv ID，可用于访问论文。
submitter：论文提交者。
authors：论文作者。
title：论文标题。
comments：论文页数和图表等其他信息。
journal-ref：论文发表的期刊的信息。
doi：数字对象标识符。
report-no：报告编号。
categories：论文在 arXiv 系统的所属类别或标签。
license：文章的许可证。
abstract：论文摘要。
versions：论文版本。
authors_parsed：作者的信息。

三、代码实现

导入package

import seaborn as sns #画图
from bs4 import BeautifulSoup #爬取arxiv的数据
import re #正则表达式，匹配字符串的模式
import requests #网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，数据格式为json
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图

读取数据

data  = [] #初始化
with open("arxiv-metadata-oai-snapshot.json", 'r') as f: for line in f: data.append(json.loads(line))data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析
data.shape #显示数据大小

with语句优势：a.自动关闭文件句柄； b.自动显示（处理）文件读取数据异常

数据预处理
a.统计论文种类【计算独立数据集种类】
b.预处理时间【提取特定时间范围内的数据（2019年以后论文）】
c.提取计算机领域论文

#统计论文种类
data["categories"].describe()
# 所有的种类(独立的)
unique_categories = set([i for l in [x.split(' ') for x in data["categories"]] for i in l])
len(unique_categories)
unique_categories

#预处理时间
data["year"] = pd.to_datetime(data["update_date"]).dt.year #将update_date从例如2019-02-20的str变为datetime格式，并提取处year
del data["update_date"] #删除 update_date特征，其使命已完成
data = data[data["year"] >= 2019] #找出 year 中2019年以后的数据，并将其他数据删除
# data.groupby(['categories','year']) #以 categories 进行排序，如果同一个categories 相同则使用 year 特征进行排序
data.reset_index(drop=True, inplace=True) #重新编号
data #查看结果

#提取计算机领域论文
#爬取所有的类别
website_url = requests.get('https://arxiv.org/category_taxonomy').text #获取网页的文本数据
soup = BeautifulSoup(website_url,'lxml') #爬取数据，这里使用lxml的解析器，加速
root = soup.find('div',{'id':'category_taxonomy_list'}) #找出 BeautifulSoup 对应的标签入口
tags = root.find_all(["h2","h3","h4","p"], recursive=True) #读取 tags
#初始化 str 和 list 变量
level_1_name = ""
level_2_name = ""
level_2_code = ""
level_1_names = []
level_2_codes = []
level_2_names = []
level_3_codes = []
level_3_names = []
level_3_notes = []
#进行
for t in tags:if t.name == "h2":level_1_name = t.text    level_2_code = t.textlevel_2_name = t.textelif t.name == "h3":raw = t.textlevel_2_code = re.sub(r"(.*)\((.*)\)",r"\2",raw) #正则表达式：模式字符串：(.*)\((.*)\)；被替换字符串"\2"；被处理字符串：rawlevel_2_name = re.sub(r"(.*)\((.*)\)",r"\1",raw)elif t.name == "h4":raw = t.textlevel_3_code = re.sub(r"(.*) \((.*)\)",r"\1",raw)level_3_name = re.sub(r"(.*) \((.*)\)",r"\2",raw)elif t.name == "p":notes = t.textlevel_1_names.append(level_1_name)level_2_names.append(level_2_name)level_2_codes.append(level_2_code)level_3_names.append(level_3_name)level_3_codes.append(level_3_code)level_3_notes.append(notes)
#根据以上信息生成dataframe格式的数据
df_taxonomy = pd.DataFrame({'group_name' : level_1_names,'archive_name' : level_2_names,'archive_id' : level_2_codes,'category_name' : level_3_names,'categories' : level_3_codes,'category_description': level_3_notes})#按照 "group_name" 进行分组，在组内使用 "archive_name" 进行排序
df_taxonomy.groupby(["group_name","archive_name"])
df_taxonomy

四、数据分析

数据统计

#论文大类数量分布
_df = data.merge(df_taxonomy, on="categories", how="left").drop_duplicates(["id","group_name"]).groupby("group_name").agg({"id":"count"}).sort_values(by="id",ascending=False).reset_index()
_df
#计算机各子领域2019年以后论文分布
group_name="Computer Science"
cats = data.merge(df_taxonomy, on="categories").query("group_name == @group_name")
cats.groupby(["year","category_name"]).count().reset_index().pivot(index="category_name", columns="year",values="id")

数据可视化

#饼图
fig = plt.figure(figsize=(15,12))
explode = (0, 0, 0, 0.2, 0.3, 0.3, 0.2, 0.1) 
plt.pie(_df["id"],  labels=_df["group_name"], autopct='%1.2f%%', startangle=160, explode=explode)
plt.tight_layout()
plt.show()