安全学术研究趋势分析

in 安全数据科学安全前沿 Views: 8,931 s with 3 comments

在安全领域,无论是工业界还是学术界,紧跟研(shi)究(dai)趋(chao)势(liu)都是非常必要的工作。

大多数时候,我们凭感觉来判断当年的研究趋势(其实不是),一旦一些议题在顶尖会议上出现,我们就恍然大悟,啊今年开始流行 (划掉)研究这个了,如近几年的“威胁情报”、“零信任网络”、“对抗攻击”等等。

那么,有没有办法可以让我们再向前一步,让我们能够对一些前沿课题进行自动感知?历史上这些前沿课题又经过了怎样的生命周期呢?

这是我最近在思考的事,也是这个toy project的开端。

在这个项目里,我收集了来自18个安全会议、从1980到2020年的17,797篇security paper。让我们看看这些数据里都藏着什么秘密吧~

项目网址:https://sectrend.xinyueshen.me (用netlify做的托管,国内访问速度可能有点慢 :( 见谅 )

1. 数据收集

首先,我人工梳理了需要爬取的会议和会议对应的dblp链接。

会议列表采用顾国飞老师维护的Computer Security Conference Ranking and Statistic
只关注其中tier1(6个)和tier2(12个)的会议,共计18个会议。

levelvenuewholenamelink
Tier 1S&P (Oakland)IEEE Symposium on Security and Privacyhttps://dblp.uni-trier.de/db/conf/sp/
Tier 1CCSACM Conference on Computer and Communications Securityhttps://dblp.uni-trier.de/db/conf/uss/
Tier 1SecurityUSENIX Security Symposiumhttps://dblp.uni-trier.de/db/conf/ccs/
Tier 1NDSSISOC Network and Distributed System Security Symposiumhttps://dblp.uni-trier.de/db/conf/ndss/
Tier 1CryptoInternational Cryptology Conferencehttps://dblp.uni-trier.de/db/conf/crypto/
Tier 1EurocryptEuropean Cryptology Conferencehttps://dblp.uni-trier.de/db/conf/eurocrypt/
Tier 2ESORICSEuropean Symposium on Research in Computer Securityhttps://dblp.uni-trier.de/db/conf/esorics/
Tier 2RAIDInternational Symposium on Recent Advances in Intrusion Detectionhttps://dblp.uni-trier.de/db/conf/raid/
Tier 2ACSACAnnual Computer Security Applications Conferencehttps://dblp.uni-trier.de/db/conf/acsac/
Tier 2DSNThe International Conference on Dependable Systems and Networkshttps://dblp.uni-trier.de/db/conf/dsn/
Tier 2IMCInternet Measurement Conferencehttps://dblp.uni-trier.de/db/conf/imc/
Tier 2ASIACCSACM Symposium on Information, Computer and Communications Securityhttps://dblp.uni-trier.de/db/conf/asiaccs/
Tier 2PETSPrivacy Enhancing Technologies Symposiumhttps://dblp.uni-trier.de/db/conf/pet/
Tier 2EuroS&PIEEE European Symposium on Security and Privacyhttps://dblp.uni-trier.de/db/conf/eurosp/
Tier 2CSF (CSFW)IEEE Computer Security Foundations Symposium. Supersedes CSFW (Computer Security Foundations Workshop)https://dblp.uni-trier.de/db/conf/csfw/
Tier 2AsiacryptInternational Conference on the Theory and Application of Cryptology and Information Securityhttps://dblp.uni-trier.de/db/conf/asiacrypt/
Tier 2TCCTheory of Cryptography Conferencehttps://dblp.uni-trier.de/db/conf/tcc/
Tier 2CHESConference on Cryptographic Hardware and Embedded Systemshttps://dblp.uni-trier.de/db/conf/ches/

第二步,基于人工梳理的会议链接,依次爬取这18个会议的历史论文。

dblp上的每个会议对应有多个session,每个session又对应多篇paper。故在此先爬取session对应的dblp key,再用dblp key去获取完整的论文列表。

如 要获取S&P的所有论文列表,首先访问 https://dblp.uni-trier.de/db/conf/sp/index.html 主页面获取所有session的dblp key,如 S&P 2020(conf/sp/sp2020),然后通过dblp提供的api接口:https://dblp.uni-trier.de/search/publ/api?q=toc%3Adb/conf/sp/sp2020.bht%3A&h=1000&format=json 获取这个session的全部paper

经过这一步,我们获取到了从1980-2020年,共计18个会议、529个session的17797篇paper。主要信息有session的date、title、publisher,paper的title、venue、pages、year、key、doi、author等。

venuetieritem_cntpaper_cntmin(year)max(year)year_cntdblp_key_cnt
CCSTier 121792073199320192626
CryptoTier 112661234198120123232
EurocryptTier 112521220198220143332
NDSSTier 1853829199520192525
S&P (Oakland)Tier 115481499198020194049
SecurityTier 117791696199320192583
ACSACTier 213451304198920193034
ASIACCSTier 2846832200620191414
AsiacryptTier 2798777199020142321
CHESTier 2639618199920182021
CSF (CSFW)Tier 2750714198820193235
DSNTier 219361841200020192037
ESORICSTier 21014971199020202543
EuroS&PTier 22532462016201947
IMCTier 2772753200120191919
PETSTier 2227213200220141313
RAIDTier 2539515199920192123
TCCTier 2477462200420161215

P.S. dblp的数据遵循 CC0 1.0 Public Domain Dedication license , 所有人都可对其进行复制、使用、修改、传播和进行衍生研究。dblp同时也提供了部分论文的外链,这些链接通常指向论文的发布页面或论文pdf本身,但这可能会导致版权问题。

2. 关键词抽取

标题是论文的高度概括,在这里我们直接基于标题和摘要对论文的关键词进行抽取,并进行排序。

密码学会议不在此次分析范畴内。

2.1 文本清洗

使用四个方法对文本进行清洗。

  1. Normalization:全部转为小写、去掉标点符号
  2. Tokenization:将语料拆分为多个单词
  3. Stop words:去掉停用词,如“the”、“a”、“an”等
  4. Stemming and Lemmatization:将词还原成词干或词根
原文:
"many popular programs, such as netscape, use untrusted helper applications to process data from the network. unfortunately, the unauthenticated net- work data they interpret could well have been created by an adversary, and the helper applications are usually too complex to be bug-free."

处理后:
'mani popular program netscap use untrust helper applic process data network unfortun unauthent work data interpret could well creat adversari helper applic usual complex'

2.2 TFIDF

这里我们选用TF-IDF来对关键词进行抽取。TF-IDF(Term Frequency-InversDocument Frequency)是一种常见的加权技术,由词频TF和逆文档频率IDF组成。

sklearn里的TF-IDF计算公式为
$$TF-IDF = TF(t,d) * IDF(t)$$

def keywords_extractor(level, corpus_from,tier):
    data = get_corpus(level, corpus_from,tier=tier)
    corpus = [i[2] for i in data]

    vectorizer=CountVectorizer()
    transformer=TfidfTransformer()
    X=vectorizer.fit_transform(corpus)
    tfidf=transformer.fit_transform(X)
    word=vectorizer.get_feature_names()
    weight=tfidf.toarray()

    topx = 30
    top_keywords_li = []
    for i in range(weight.shape[0]):
        sorted_keyword = sorted(zip(word, weight[i]), key=lambda x:x[1], reverse=True)
        top_keywords = [w[0] for w in sorted_keyword[:topx]]
        top_keywords_li.append(list(data[i][:2]) + top_keywords)
        # print(top_keywords_li)
    df = pd.DataFrame(top_keywords_li)
    df.columns = ["%s" % level, "cnt"]  + ["top%d" % i for i in range(1,topx + 1)]

    df.to_csv("./nlp/top_keywords_%s_%s.csv" % (level, corpus_from), index=False)

2.3 分析

时间维度

先来看第一梯队的四大会议近40年的关键词变迁。(完整的表格数据可以在这里下载: dataset

yearcnttop1top2top3top4top5top6top7top8top9top10
198019secursystempreliminarisafeguardkeydatareportcryptosystemdeceitdescrib
198118secursystemprotectfundhalfleadloafnonerestricitproblem
198220securalliancblindfoldconseqeucryptanalytmemorylessnevalobmoskarrestitut
198321secursystemencrpytindentifmodifisdctreativeruprobleminteg
198426securformalcomputsystemexperibellcongressioneuclidlapadulamcf
……
2013381securandroidattackdatanetworkwebusedetectprivacianalysi
2014407securattackandroiddatadetectmalwarprivaciwebuseanalysi
2015376securattackandroidprivaciappdetectdatavulnercodecloud
2016459securandroidattackanalysidetectmalwardatamobilnetworkprivaci
2017502attacksecurdetectandroidprivacivulnernetworklearnanalysivia
2018542securattacklearndeepandroiddetectusenetworkanalysiadversari
2019590attacksecurprivaciadversarilearnaponeuraldeepiotfuzz

表格太辣眼睛,所以咱们把它转为折线图。

下面是近40年里作为关键词出现频率最高的TOP10关键词,按照出现频率排列,分别是secur, system, attack, detect, network, use, analysi, privaci, data和protocol. 通过折线图,我们可以看到——

如果我们把观察范围扩大到top11-20的关键词,可以看到更多领域的研究趋势变化。(全部图在这里: keywords

image-20201104144920050.png

接下来再来看看第二梯队的九个会议。笔者在这里挑选了几个更能反映单一研究领域的关键词来进行对比。

可以看到,大多时候一二梯队的关键词都在同一年份出现。有tier2会议落后tier1的情况(android),也有tier1会议落后于tier2的情况(protocol)。而当关键词在tier1的热度消失后,其在tier2可能还会存续一段时间。(全部的对比图可以在这里找到: compare,大家可以勾选自己感兴趣的关键词进行对比)

tier12_compare.jpg

3. 其他

3.1 论文长度

随着时间变化,论文标题的长度逐渐两极分化。在1996年,论文标题的平均长度还是57,到了2020年这个数值就变成了75.

title_length.jpg

其中最短的论文标题为“Run-DMA”,发表于USENIX下属的WOOT'15,长度为7;最长的论文标题为"Security Scenario Generator (SecGen) - A Framework for Generating Randomly Vulnerable Rich-scenario VMs for Learning Computer Security and Hosting CTF Events." ,发表于USENIX下属的ASE'17,长度为158.

作者数量

无独有偶,论文署名数也有所增加。从1996年平均2.5个增加到了2019年的4.77个。最大论文作者数为20,最小为1个。论文作者数为20的这篇论文名为“Five Years of the Right to be Forgotten.”,发表于CCS'2019, 作者均来自Google,是一篇measurement,研究了五年内从Google搜索中删除的320万个URL。

author_cnt-4497349.jpg

子标题

由于某种神秘的力量,论文作者们似乎偏爱在论文标题处引用子标题或格言,如"I Like It, but I Hate It - Employee Perceptions Towards an Institutional Transition to BYOD Second-Factor Authentication."。那么这种论文的占比是多少呢?

可以看到,经过大家的不懈努力,子标题的使用率从1980年的10.53%,逐年提高到了2019年的31.63%,并在2012年达到最高纪录33.66%。其中被使用次数最多的谚语为“Less is More”,在2014-2019年间共被使用了3次。

subtitle_ratio-4497338.jpg

相关工作

最后

我把数据集和图表做成了一个简单的网站:https://sectrend.xinyueshen.me/
国内的访问速度可能有点慢 :( 见谅

感兴趣的同学可以通过点选多选框或上方的导航来查看对应关键词的趋势变化。(如果图片没马上出现,一定是因为网速而不是bug :D

image-20201107185349043.png

这个项目目前的分析还比较简单(打工人QAQ你懂的),后续如果有想法了我会试试去做更多的分析,画画学者的关系图之类的~
如果你对这个项目感兴趣或是有更多想要了解的统计数据,欢迎在微博、知乎私信我(id@左左薇拉vera)

「一键投喂 软糖/蛋糕/布丁/牛奶/冰阔乐!」

薇拉航线

(๑>ڡ<)☆谢谢老板~

使用微信扫描二维码完成支付

Comments are closed.
  1. 武汉李同学

    姐姐好,阅读姐姐博客很久了,收益颇多。请问姐姐有没有关注过深度学习中对抗样本的研究,对这方面有什么看法或者经验,谢谢姐姐!

    回复
  2. redamency

    谢谢姐姐的这个工作,follow你的博客很久了,给了我继续探索网安的动力。姐姐可以继续出一些网安资源、书籍、知识积累方法等方面的汇总吗?

    回复
    1. @redamency

      可以哦,之前理过一份这个:https://www.zuozuovera.com/archives/1651/ 其他我有空的时候理理

      回复