短期伪造舆论攻击：Twitter虚假趋势实例研究

 

本研究在社交媒体平台的流行机制中发现了一个以前未知的、正在进行的攻击：短期伪舆论攻击（Ephemeral Astroturfifing Attack）。 在此攻击中，通过协同的和不真实的活动来人为地推广了选定的关键字或主题，使其流行起来，关键的是其中的恶意活动作为攻击的一部分被删除。观察到此类对Twitter趋势主题（Trend）的攻击，发现这些攻击不仅成功，而且无处不在。检测到108,000个帐户造成了超过19,000个唯一的虚假Trend，不仅包括虚假帐户，而且还包括雇佣/受害帐户（compromised account），其中许多仍处于活跃状态并继续参与攻击。 这些攻击所造成的Trend至少占全球十大趋势中的20％。短期伪舆论威胁着社交媒体平台上热门流行机制的完整性，并进一步威胁平台的完整性。

 

1. Introduction

社交媒体平台部署的用于显示热门流行内容的机制是平台增加参与度的主要载体。 如Facebook的newsfeed算法； Reddit的“r/popular”；Twitter的趋势主题Trend是平台功能和基础业务模型不可或缺的组成部分。 这些机制很有价值，因为它们确定了哪些内容对用户最可见。 Twitter的Trend可以等同于传统的广告渠道，并且可以用于营销。

这种流行机制的完整性是社交媒体生态系统不可或缺的部分。 用户期望他们显示的受欢迎内容是平台上真实活动的结果，合法的民间运动期望他们的内容将得到公平考虑，而平台希望显示受欢迎的内容会增加参与度。 在更下游，广告商期望流行机制的作用是增加参与度，从而增加收入。 更进一步，那些使用Trend来研究社会和社交媒体的人，即研究人员和新闻工作者，期望趋势能够准确反映出公众讨论的流行主题。

由于这些流行机制具有如此巨大的影响力和创收潜力，因此对于希望其非法内容被许多用户看到的攻击者来说，它们是一个有吸引力的目标。 例如，“点赞水军”（like farm）被用来在Facebook上产生虚假点赞，以将推文增加到用户的新闻馈送顶部，而机器人可以在Reddit上人为地“like”推文以提高其可见度。 在Twitter趋势的情况下，有时有组织的攻击者会增强虚假信息和阴谋论的趋势，使它们成为Trend，以便进一步放大，例如QAnon追随者劫持Trend #SaveTheChildren的情况。 由于这一事件，许多人在Twitter上呼吁通过使用#UntrendOctober标签来遏制Trend。

对流行机制的攻击依赖于不真实的内容或有动机的行为。 一旦暴露出来，伪舆论攻击就会破坏用户对平台的信任。了解这些攻击是确保平台对用户安全和对广告客户有价值，从而维护平台商业模式的关键部分。

在本文中，对学术界中尚未研究的一种新型伪舆论攻击进行了深入的分析，称其为短期伪舆论攻击。短期伪舆论不同于传统的造势，它的活动参与者在成功执行伪舆论攻击时隐藏了恶意活动，使某些内容更加可见，同时使本应可见的内容不可见 。 通过删除有关攻击的证据，短期伪舆论攻击在三个关键方面胜过其他方法：（i）能够使用活跃的、雇佣/受害帐户作为来源进行交互，从而加速普及；（ii）逃避正常用户，平台和学术研究的检测；以及（iii）阻止用户将恶意活动报告为垃圾信息，因此传统的垃圾信息分类器无法阻止未来的攻击。

本研究将重点放在虚假Twitter Trend案例上，以调查短期伪舆论攻击。Twitter是一个受欢迎的平台，可用于许多重要讨论，包括政治辩论，并通过提供适当的数据进行研究：Twitter官方API的删除通知（deletion notice）和Trend。 观察到在与土耳其当地的热门事件有关的Twitter Trend都曾受到短期伪舆论攻击，这影响了土耳其的1180万活跃用户以及全球Trend。 准确地说，发现Twitter Trend上的短期伪舆论攻击始于2015年，至少占土耳其前五名每日Trend的47％，至少占全球十大Trend的20％。 研究发现，在确定哪些关键字成为Trend并因此容易受到短期攻击时，Twitter不会考虑在其中是否有一条推文被故意删除。

当前确定Twitter趋势的算法的设计可以实现短期伪舆论攻击。Trend每5分钟刷新一次，以一定时间间隔内已发布的推文为准。 尽管Trend列表的完整性很重要，但是该算法不会检查那些推文是否仍然可用或已被删除。此漏洞可以表示为一种“检查时间-可用时间”（TOCTOU，Time-of-Check-Time-of-Use）攻击，原因是在使用“可用”数据确定趋势时，与“检查”时有所不同， 因为它已被删除。 换句话说，当使用安全关键输入（ security-critical input，即推文）更新平台的关键资产时，此攻击违反了完整中介原则（complete mediation principle）。

由于攻击的严重性，研究者已于2019年7月和2020年6月再次通知Twitter，并提供了有关攻击和所涉及帐户的详细说明。 在第一个通知之后，他们承认攻击确实存在（2019年7月），在第二个通知（2020年6月）之后，他们答复说他们会将攻击转发给相关团队进行处理。 此后研究团队一直在保持追踪，但尚未收到任何进展的迹象。 到2021年2月，对Twitter Trend的攻击仍在继续。

 

2. Background

社交媒体操纵：社交媒体平台的广泛采用吸引了旨在针对其自身目的大规模操纵用户的攻击者。这些操纵攻击的范围从大规模数据收集到目标赞助的有针对性广告、宣传、垃圾邮件，热度提升和主题标签（hashtag）劫持。由于通常会广泛部署，因此许多操纵攻击都采用了僵尸机器人和僵尸网络来作为必需组件。 本研究专注于此类机器人辅助操纵攻击。 在研究中，观察到了政治宣传（不一定是亲政府）和非法广告，它们本身并非通过hashtag劫持来表现出来（通常也是这样），而是通过直接的Trend操纵来表现出来的。

手动识别或自动识别机器人变得越来越困难。社交机器人旨在模仿社交媒体上的人类用户；他们复制真实身份（个人图片，推文），模仿人类的昼夜生活规律，互相关注以获得大量关注者，并制造混入恶意内容的推文。 在某些情况下，用户使用使其成为僵尸网络一部分的恶意应用程序注册其帐户。短期伪舆论攻击使攻击者能够使用达成协议的雇佣/受害用户，这些用户继续与攻击者并行使用帐户。攻击者通过删除攻击推文来藏身于合法用户之中。由于这些是良性用户，他们可能会迷惑监管方。由于它们与其他良性帐户相关联，因此它们还会迷惑基于图形的检测系统。尽管雇佣/受害账户受到雇用或欺骗，但是用于检测恶意雇佣帐户的系统在相关推文被删除后无法检测到它们，因为检测系统不考虑内容删除行为。

现有的机器人检测方法无法检测到在此描述的机器人行为，因为它们很少考虑内容删除。例如， 检测系统Botometer处理的是快照而不是实时活动，因此恶意活动被迅速删除时它无法检测到本研究中帐户的疑似机器人活动（bot-like activity）。即使以内容删除作为机器人特征，但如果用户最近的发推率很高而总发推数较少，这可能会导致系统捕获旧推文的删除，而不是快速删除的推文。 另一种检测系统Debot基于Twitter流进行的关键字过滤，Twitter流不会给出删除通知，并且如果在攻击之前未提供被攻击的关键字，则不会收集相关数据，这对于仅流行一次的关键字是不可能的。 在本文中，使用机器人创建虚假Trend的特征行为对它们进行分类，即删除和生成的内容。

伪舆论和虚假Trend：尽管沙特和土耳其的新闻媒体已经简要报道了使用机器人攻击Trend和操纵虚假Trend的伪舆论事件，但学术界仍未对此进行研究。 这项工作是首次系统地大规模研究操纵Twitter Trend功能的研究。本文研究了旨在将某些关键字直接推到Trend列表同并逃避检测的行为，以及用于此类操作的帐户。

 

3. Ephemeral Astroturfifing

定义依据：要定义短期伪舆论，可以关注一个针对土耳其Twitter Trend的在野攻击案例。为了了解该攻击，创建了一个蜜罐帐户并将其报名到一个诱骗用户凭据的免费关注者计划（free follower scheme），该计划被怀疑曾用来雇佣和骗取用于短期伪舆论攻击的帐户，因为该方案是通过短期伪舆论广告宣传的。研究发现当蜜罐的帐户开始发布推文并迅速删除包含关键字（即将流行）的内容时，此怀疑得到了证实。 准确地说，在退出该计划之前，蜜罐帐户在6个月内发布了563次推文。 现在根据观察结果，描述Twitter上的短期伪舆论攻击。

攻击摘要：此攻击的目标很明确，即使一个主题很受欢迎。 在Twitter上,这将转换为进入Trend列表的目标关键字。此外，这些方法试图保持隐蔽性。

短期伪舆论攻击是由单个实体控制的多个帐户执行的，将其称为astrobot。 每个astrobot都会在大致相同的时间创建一个推文。 并在短期之后的几乎同一时间删除这些推文。 除了目标关键字外，每条推文都包含一些预先制作的生成内容，足以通过平台的垃圾信息过滤器（但不一定是图灵测试）。就Twitter Trend而言，还观察到每个帐户在每次攻击中仅发布一条涉及目标关键字的推文。 在成功使关键字进入Trend之后，其他正常用户采用了新Trend关键字并发布了不被删除的推文。下图显示了不同的伪舆论攻击例子。

攻击模型：令w为目标关键字。 令包含w的一组推文为T = {t0，t1，… tn}，创建时间为pti∈P = {p0，p1，… pn}，删除时间为dti∈D = {d0，d1，…。 ..dn}。 攻击A会发生，仅当T满足：

1.推文数量：| T | >κ：即至少涉及κ个推文，

2.一致发推：max（P）− min（P）<αp：在大小为αp的时间窗口中创建推文，

3.不真实的内容：每个推文都包含w和预先定义生成的内容c，这些内容将绕过平台的垃圾信息过滤器，

4.一致删除：max（D）− min（D）<αd：在大小为αd的时间窗口内删除推文，

5.快速删除：dti -pti <θ，ti∈T：在时间θ内删除所有推文。

本研究没有预先定义参数组（κ，αp，αd，θ，c），将根据检测到的攻击实例推断出具体值。

为了造势并迷惑计算目标关键字热度的算法，攻击者会在很短的时间内创建许多相关的推文（rule 1和2）。 任何类型的一致活动和/或机器人活动都必须绕过垃圾信息过滤器以逃避检测，并且还必须在平台的流行度指标中加以考虑。 这些攻击太大且无法协调一致，无法与手工制作的内容一起大规模执行，因此该内容必须预先制作或由算法生成，并因此在其内容中表现出了规律（rule 3）。 虽然最近在有意义的文本生成方面取得的进展使人类更难发现这种规律，这些进展目前还没有达到在没有训练数据时还能创建与关键字相关的简短文本的地步。此外，这样的部署是昂贵的。 这三点规则对于所有伪舆论攻击来说都是共同的。

短期伪舆论攻击的短期性是由攻击模型中的rule 4和5捕获的。 两者都似乎是攻击者倾向于迅速将其攻击痕迹从公众和他们使用的雇佣/受害帐户中隐藏的结果。此外，当用户点击Trend时，删除操作会清理干净。也就是说，当有人在Twitter的Trend列表上单击该关键字时，将不会有与该关键字相关联的帖子。 因此攻击者可以发布新内容，并成为目标关键字搜索结果中的第一个。

 

4. The Case of Fake Twitter Trends in Turkey

尽管伪舆论攻击是一个全球性问题，但在土耳其的本地Trend中观察到了大规模的短期伪舆论。 土耳其的每月Twitter用户数量排名第五，并且政治立场高度分化。 土耳其主流媒体偶尔会报道虚假Trend的存在，这主要来源于采访攻击者，他们表现为社交媒体代理。 这些代理可以通过Google搜索“趋势主题服务”被找到，他们甚至用虚假Trend来宣传自己。

本文检查了土耳其媒体报道的用来创建虚假Trend的攻击推文。 此外，还检查了来自土耳其Twitter用户的报告，该帐户专用于报告虚假Trend。 本研究在已删除推文的结构中发现了一种规律：内容似乎来自土耳其语单词和词组词典，例如 “to organize milk frost deposit panel”。它们没有句子结构，也没有传达含义，动词总是处于不定式形式。，称这些推文为词典推文（lexicon tweets）。 本研究测试用的蜜罐帐户也发布并删除了此类推文，用于促进伪舆论。

在本节中将揭露土耳其的大规模短期伪舆论活动。 首先，检查并注释了从2013年开始的Trend，并发现了第一例短期伪舆论攻击。 接下来，展示与攻击模型有关的攻击特征。 最后建立了一个训练集并训练了一个分类器进行分类，以找到与至少一次攻击相关的所有Trend。

4.1.数据集

要研究Trend，首先需要一个Trend数据集。本研究从外部供应商（ http://tt-history.appspot.com ）收集土耳其的所有Trend。此列表包含自2013年7月7日以来的每个Trend关键字。Trend每10分钟收集一次，并且仅按日期而非时间来编制索引。因此将每个日期和关键字对（trend-date pair）都视为一个单独的Trend，以说明多天内的关键字使用情况。第二，研究需要推文，为此使用了Archive的Twitter Stream Grab（https://archive.org/details/twitterstream ），该数据流在分析时包含2011年9月至2019年9月期间所有Twitter数据的1％。此数据集包含推文的删除行为以及删除的确切时间。本研究验证了这些删除行为是由经过身份验证的用户删除了推文，而不是通过与Twitter官方联系而进行的Twitter官方管理操作。本文的Trend数据集不包含趋势进入Trend列表的确切时间，而仅包含日期。因此对于每个Trend，将把包含Trend的推文联系起来，这些推文要么是在关键词进入Trend的同一天发布的，要么是前一天发布的，因为大多数伪舆论趋势在一天之前都没有进行过任何先前的讨论。本研究将此合并数据集命名为retrospective数据集。

4.2. 攻击相关Trend的手动注释

手动注释的目的是揭示哪些关键字是伪舆论攻击造成的Trend，哪些不是。 注释者检查Trend，连同任何包含Trend关键字的推文，删除或其他。首先用少于10条相关推文的规则过滤Trend，以便留下那些具有足够数据来有意义地分配标签的推文。 在剩余的那些Trend中，每天随机选择一个趋势，从而形成总计2,010个trend-date pair。注释者检查了每种趋势的前10条推文及其删除时间（如果有）。1）快速删除推文，2）前10条相关推文的内容具有可描述的指示自动化规律（例如词典，随机字符，重复文本），则认为该Trend由伪舆论攻击发起。请注意，仅将注释限制在前10条推文中可能会错过在攻击的同一天较早发布许多包含目标关键字的推文的情况， 但是观察和分析表明，这种行为很少见。

首先注释了200个Trend的随机样本。关于判断是否由短期伪舆论攻击引发Trend，使用的注释处理协议为k = 0.88（几乎完美的协议）。 进一步注释了与182个Trend相关的推文（5,701条推文，5,538个具有独特内容），它们似乎是攻击的一部分（即在内容相同的规律下一起创建和删除）。 此外，两个注释者还为其他类型的伪舆论攻击（即未使用删除的伪舆论攻击）创建了“非短期伪舆论”标签的子集。 这些攻击没有采用删除，因此不在本文讨论范围之内。研究发现使用短期伪舆论攻击制造Trend的第一次实例是2015年6月，至2017年该攻击已成为主流。 总体而言，发现182个Trend使用词典推文进行短期伪舆论攻击。

4.3. 对已注释Trend的分析

活动时间窗口：根据定义，短暂的短期伪舆论攻击会在非常小的时间窗口（<αp）中发布许多攻击推文，并在非常小的时间窗口（<αd）中删除它们。 下图显示了这个时间窗口对于已标记的攻击有多小：除了一些异常值，αp和αd都只有几分钟。

攻击的生存周期：短期伪舆论攻击会发布大量推文，然后在短时间内（<θ）将其删除。 下图显示了每个攻击推文的创建时间和删除时间之间的差异（即生存周期，或一条推文在删除前“生存”了多长时间）与每个Trend推文的中位生存周期的差异。 大多数的中位生存周期很短； 但是有些推文会在几个小时后删除。 这可能是由于攻击者方的错误（例如代码错误）。

4.4. 分类以揭露更多攻击

接下来的目标是使构建短期伪舆论攻击的大规模数据集的过程自动化，以便进行大规模分析。 本文基于带注释的数据和从蜜罐帐户收集的推文特征构建一个简单分类器。

词典内容：对带注释Trend的分析以及通过研究蜜罐的推文以导出词典分类器的规则，因为确定这些推文是攻击者发送的。 本研究提出了以下规则，并在5538条带注释的独特词典推文上对其进行了评估：

1）除括号和表情符号外，仅字母字符。 （蜜罐：99.4％，注释：96.6％）。

2）仅有小写字母。 （蜜罐：99.4％，注释：96.3％）。

3）具有2-9个标记，不包括表情符号。 此范围对应于蜜罐推文标记的最大数量和最小数量。 在注释集中，有5条词典推文只有一个标记，29条超过9个以上。（蜜罐：100％，注释：99.4％）。

这些规则的组合产生92.9％（5,147 / 5,538）的召回率。 为了计算已删除推文的准确性，对2,010个Trend样本中的所有已删除推文运行了分类器：在删除任何重复项（例如转发）后，总共有17,437条推文。 分类器报告了370条词典推文，准确度为93.3％。 在误报中，有336起来自2015年6月之前，表明它们被用于在伪舆论攻击中使用词典推文。 2015年6月之后，只有34次误报。词典推文在与Trend相关联的已删除推文中很常见，但在其他情况下很少见。 自2015年6月起，在retrospective数据集中对所有土耳其语推文进行了分类。下图显示，与Trend相关的大多数词典推文都已删除，但与Trend无关的词典推文却很少被删除。

尽管词典推文似乎是使用推文词典随机生成的，但是某些推文发布的次数超过一次。 下表显示了最常见的重复推文（不包括目标关键字），它们的英文翻译以及它们在数据中出现的次数。研究还观察到某些单词很少见，以至于母语为土耳其语的人都可能需要参考字典。 这表明攻击者可能使用不常使用的词语来绕过Twitter的垃圾信息过滤器。

补充注释：注释数据集仅包含182条攻击相关的Trend，对于训练分类器而言太少了。通过执行注释的第二阶段以扩展数据集。选择了2017年1月1日以后每天5个Trend的随机样本（总共4,255个Trend），并注释它们是否属于词典攻击。由于此任务比以前的任务要大得多，并且已拥有有关这些攻击如何进行的更多信息，为了加快注释的速度仅考虑了与Trend相关的已删除推文。通过寻找大量发布后删除的词典推文，发现至少有四个词典推文成功地区分了攻击相关的Trend和自然形成Trend，只有一个攻击相关的Trend的实例具有更少（3）的词典推文。注释者确认并更正了标签。结果数据集包含838个Trend，这些Trend与至少一次攻击相关，而3,417个Trend没有关联，这表明攻击的基本率为19.7％。

下图显示了词典分类器在已删除的推文上的结果。 在大多数情况下，它可以区分正常情况和恶意情况。 然后，分类任务将解决一些误报和恶意情况。

分类：按日期对Trend进行排序，并使用前80％作为训练数据。测试数据从2019年2月的Trend开始。训练集包含648个正常样本和2756个恶意样本，而测试集包含195个正常样本和656个恶意样本。一个简单的决策树可以检查是否至少有4条与Trend相关的已删除词典推文，以及是否删除了所有词典推文的45％以上，从而获得了99.7％的5折交叉验证得分，100％的准确性，98.9％的召回率，以及99.4％的F-score。该分类器之所以能取得如此好的效果，是因为它正在对一个非常特定的规律进行分类，而这种规律是由于Twitter Trend算法中的漏洞而引起的。攻击者没有改变其攻击方法也就不足为奇，因为他们当前的方法已经非常成功。注意，在1％的样本中有4个词典推文实际上映射到大约400个词典推文，考虑到词典推文很少见，这是一个明显的异常现象。为了支持研究分析，进一步分析了攻击相关的Trend的特征，这些特征不需要分类，但可以洞悉攻击相关的Trend的异常性，例如熵。该分类器发现了2015年6月至2019年9月之间至少有一次攻击相关的32,895个Trend（19,485个唯一关键字）。大多数关键词是从头开始（伪舆论）创建的，但很少达到Trend列表后继续增长。

astrobot分类：对发布了包含攻击相关的Trend的推文并在同一天删除的用户进行分类，产生了108,682个在2015年6月至2019年9月之间处于活动状态的astrobot。截至2020年7月，44.9%的用户不在平台上。通过Twitter API的users / show端点，发现这些用户中有27,731名被停用。 对于其余的（21,106），给出了一个用户未找到的错误（代码50）。 这些用户可能会被帐户所有者删除。

 

5. Attack Analysis

在本节中将分析与攻击相关的虚假Trend，以首先回答攻击是制造舆论还是只促进舆论。 然后，使用各种指标来衡量攻击的成功程度。还通过研究Trend的时间和推文的位置信息来研究攻击者可能采取的其他策略。最后，在Twitter提供的volume字段中显示了一个异常，该异常表示了多少推文谈论相关Trend并讨论了它可能表示什么。 此分析的一部分需要包含准确时间和排名的Trend数据集。 无法找到这样的历史数据集，但是通过每5分钟向Twitter发送一次API请求，从而收集了2019年6月18日至2019年9月1日之间土耳其和世界实时的前50个Trend的详细数据集。

5.1. 制造舆论还是促进?

本文建立分类方法的最初观察是在新关键字到达Trend列表之前，创建并删除了大量词典推文。 由于retrospective数据集不包含趋势进入Trend的确切时间，因此不能在分类中使用此信息，而只能对Trend是否在某个时刻受到攻击进行分类。 对于大多数Trend而言，伪舆论攻击是目标关键字进入Trend之前的唯一活动，因此，是伪舆论攻击制造了舆论。

使用实时Trend数据集，首先从retrospective数据集中收集与每个Trend相关的所有推文，在该Trend首次到达前50的Trend列表之前，直到第一次从前50的Trend列表中下降。 Twitter Trend算法显示了当前流行的趋势，这意味着它们将包含Trend的推文的新近度作为输入。 当只考虑最近的推文（即在一小时内创建的推文）时，结果没有任何重大差异，因此显示结果时不考虑新近度。 后来发现这是因为攻击性推文通常是很新的，是在目标关键字趋于流行之前五分钟之内创建的。

下图显示了每种Trend删除的推文与所有推文的比率。 令人惊讶的是，在n = 1166/1650（70.6％）的情况下，攻击者甚至在目标关键字进入Trend之前就删除了所有推文。 这表明Twitter的趋势算法无法解决删除问题。攻击者可能会迅速删除，因为一旦关键字达到Trend，攻击者便会为客户提供清理干净的状态。 此外，攻击者可能想向公众隐瞒这是一个虚假Trend的事实，因为一旦目标关键字通过单击Trend列表上的关键字达到Trend，人们就可以看到攻击推文。

对于90.6％的受攻击Trend，当天删除的推文至少占讨论的一半。进一步分析表明，这些删除的推文确实是词典推文。检查了155种受攻击Trend的数据，其中删除的在进入Trend列表之前所占的比例不到50％。发现24条被攻击Trend没有任何词典推文，表明他们可能在趋势发展的另一时间受到攻击。对于56条Trend，词典推文在关键词进入Trend列表后被删除。仅有37个关键词进入Trend列表之前少于4个词典推文，在到达Trend列表后发布了更多的词典推文。这些Trend最初排名较低（中位数为32.5），但它们的最高排名在前10名中，只有2个例外，这表明攻击促进了这些Trend，而不是从零开始。其余的Trend有先前的词典推文，但也有其他一些讨论。因此，对于至少90.6％的案例，攻击是从零开始创建趋势的，而对于只有3.7％的案例可以认为攻击是用来促进趋势的。

5.2.成功的指标

非正既负：为了衡量成功，从最简单的指标开始，即目标关键字的到达Trend列表率是否高？通过对当天没有Trend的关键字所关联的推文运行分类器来检测未成功的攻击。如果分类器的结果为正，则表示正在进行的攻击未成功。仅使用主题标签作为Trend候选者的代表性标志，因为对数据中的每个n-gram运行分类器在计算上都非常昂贵。从retrospective数据集中收集2015年6月至2019年9月之间的所有主题标签及其推文。发现只有1085个受攻击的主题标签没有在当天或第二天成为Trend。这些标签中的169个在第二天变成热门。由于自2015年6月以来成为主题标签的Trend数量为21030，因此估计攻击成功的几率为94.8％。但是，结果可能偏向于使用足够多的机器人进行的攻击，分类器可以产生肯定的估计。

认为攻击失败的两个主要原因是：1）攻击强度不足以被趋势算法选择为Trend（至少不强于与自然形成的Trend相关的信号），2）攻击被Twitter的垃圾信息过滤器过滤。在前一种情况下，根据攻击定义，失败的攻击可能比其他候选趋势（| T | < κ）少，或者相关推文的时间窗口可能太宽（max（P）- min（P）> αp）。在通过Twitter的垃圾信息过滤器过滤了攻击的情况下，观察到某些攻击包括电话号码或与犯罪相关的字词。由于未成功攻击的次数太少，而且本研究被限制在推文的1％之内，因此很难确切地找到每次攻击失败的原因。

秩：攻击能造成或促进Trend的指标是，被攻击的Trend能够比其他Trend更高和更快地爬升。下图显示了正常关键词第一次进入列表时的秩遵循几乎均匀的分布。 但是，对于受攻击Trend，几乎所有的排名在前10，大多数排名在前5。 这也表明攻击者的目标是使目标关键字在Twitter主页上可见，或在其应用程序上的搜索部分。

速度：除了达到更高的目标外，攻击还使关键字的达到Trend比其他关键词更快。 为了对此进行衡量，从到达Trend的时间（即趋势速度）中减去相关关键字首次到达Trend列表之前发布的推文的中值时间。 下图显示攻击趋势的速度要高得多，并且集中在5分钟左右，这相当于Twitter刷新Trend列表的时间。 这表明攻击者甚至没有在目标关键字之前开始某种讨论，而只是用足够多的机器人进行攻击以使其突然成为Trend。

持续时间：衡量攻击成功程度的另一种方法是被攻击Trend在Trend列表中保留多长时间。 如下图所示，即使与也进入前10名Trend的未被攻击Trend相比，被攻击Trend在Trend列表中的停留时间也更长。初始攻击的强度可能会影响Trend的持续时间，但是其他操作可能会影响Trend的持续时间。 这些攻击可能与民间运动结合在一起（如前图中的“IstanbulunUmudu˘Imamoluglu”），也可能引起了公众的注意并在很长一段时间内讨论了这一Trend（如前图中的SuriyelilerDefolsun）或随后的攻击加剧了Trend（如#SamsununAdresiMacellanCafein）。

Trend影响：已经显示了攻击是如何成功完成的，将根据每日被操纵的Trend的百分比来估计这种攻击的发生率。为了衡量流行率，记录了每天已知有多少个独特目标关键词会被短期伪舆论攻击人为地推广并到达Trend列表，并将其与同一天的唯一Trend总数进行比较。从2015年6月到2019年9月，发现了32,895个受到攻击的Trend，占自2015年6月以来top 50个Trend数据的6.6％。但这可能是低估了。首先，因为并非所有Trend数据都在1％实时样本。更重要的是，攻击仅针对top Trend，因为只有top Trend可见并会产生影响。因此，使用实时Trend数据集，可以计算出虚假Trend占所有Trend的百分比，这些趋势将自己定位在前5个和前10个趋势中。下图显示了土耳其Trend（上部）和全球Trend（下部）受到攻击的top Trend的百分比，分别位于top 10（条形）和top 5（线）中。每天到达top 10的受攻击Trend的平均值为26.7％。这个数字在top 5中最高达到47.5％，在2019年7月19日达到最高，在2019年6月23日伊斯坦布尔大选重新举行的前4天达到68.4％。到达top 5 Trend的被攻击Trend的平均值为13.7％，达到最高的31.6％，而排名top 10的被攻击Trend的平均值为19.7％，最大值为37.9％。

最佳时间： 现在，转向攻击者可能采用的一种策略，即嗅探执行攻击的最佳时间。 对于进top 10的Trend，与攻击无关的Trend通常在早晨进入Trend列表，而受攻击的Trend通常在晚上进入列表，如下图所示。 攻击者可能正在选择夜间，以最大程度地提高成功率。 他们可能正在评估当天的情况，以决定要使用多少个astrobot，或者是否进行攻击。 或者，可能是由于影响最大化。 攻击者可能会认为夜间是更好的攻击时间，因为人们可能在晚上更多地在Twitter上浏览，因此更容易引起注意劫持（attention hijacking）。

位置标记字段：攻击者有可能通过欺骗手段在全国范围内而不是在单个城市中使Trend流行。 另外，趋势算法可能有利于带有地理标记的推文的Trend或在广泛位置讨论的Trend。 亲政府的Twitter用户组织了一场针对伊斯坦布尔市长关于伊斯坦布尔水资源短缺的虚假宣传运动，但这些推文来自16个不同的城市。 为了说明这一点，在数据中收集了285,319条地理标记推文。在数据集中的285,319条地理标记推文中，有77.63％与被攻击Trend相关，尽管它们的推文占所有推文的25.3％。 与被攻击Trend相关联的地理标记推文中有95％被删除，而其他Trend只有14％。 下图显示了地理标记推文的数量和已删除的地理标记推文相对于所有地理标记推文Trend的百分比。

为了验证这些地理标记确实是虚假的，实时跟踪了5,000个手动确认为astrobot的用户。在当时活动的3140个机器人中，有384个具有至少两个不同地理位置的推文。然后，为每个帐户在5天的跨度内计算所有点之间的总距离（按时间顺序）。astrobot帐户一周的平均距离为24,582公里：从伊斯坦布尔到首都安卡拉的往返行程为70次。

5.4.Trend Volume

Twitter API的GET trends/place端点同时提供了Trend及其Volume，这表示通过Twitter内部工具计算的讨论Trend的推文数量。尽管实际上发布到受攻击Trend的推文数量高于其他Trend，但受攻击Trend的数量却低于其他Trend，如下图所示。这可能因为被攻击的Trend是由Twitter封号的其他类似机器人的帐户推动的，同时计算与Trend相关的推文数量。

 

6. Security Implications and Mitigation

短期伪舆论攻击主要从（i）平台完整性，（ii）帐户安全性和（iii）攻击溯源方面对用户及其攻击的平台产生影响。 它也对数据科学研究中的数据完整性产生巨大影响。 本研究讨论了对安全性研究的进一步影响并提出了对策。

平台完整性：对流行机制的系统性攻击损害了机制和平台的完整性。在Twitter上，用户希望看到合法的受欢迎内容，因此当他们看到不受欢迎的内容时，他们不再相信Twitter Trend列表上显示的内容实际上是受欢迎的。与许多系统一样，当真实性受到损害时，对整个系统的信任也会降低，例如著名的退出计划后，比特币的价格下跌。如果Twitter Trend无法可靠地显示真实趋势，则信任Trend和Twitter整体将减少。 Twitter最近采取了一些措施来维护平台的完整性，例如封禁涉及不真实行为的帐户，但是，它们尚未解决短期伪舆论攻击，这导致了受攻击影响的用户之间的信任丧失

帐户安全性：短期伪舆论攻击加强了出售帐户的做法。由于伪舆论攻击企图模仿流行趋势，它们需要大量的帐户，因此有必要针对被盗用和虚假的帐户建立黑市。伪舆论攻击的独特之处在于，它允许使用活动的、雇佣的帐户，而不仅是假帐户。只要短期伪舆论攻击仍然有效，就需要更多的被盗用/雇佣帐户来增加目标关键字。虽然直接破坏这些市场（例如通过下架）具有挑战性，但可以通过消除市场需求来破坏它们，从而使虚假和被盗用的帐户变得无用。

攻击溯源：恶意的在线活动通常很难溯源到于活动者，而对伪舆论攻击也不例外。用户发起的自然活动通常可以归因于特定的群体，意识形态或事件。但是，在短期伪舆论情况下，攻击者的行动会被迅速隐藏。这使攻击者有可能进行包括煽动欺诈和非法生意在内的非法活动。短期性使得将攻击溯源导特定群体更加困难，同时通过使活动看起来好像是民间组织的结果来使活动合法化。

数据完整性：数据科学研究常常依赖于数据是静态实体的假设，尤其是在社交媒体研究中，这种情况通常是事后收集数据。由于社交媒体的推文和帐户可能会被删除或封禁，因此应该非常小心地采取这种假设。如果删除推文和帐户，则用于评估和分析的数据集可能不完整。在短期伪舆论情况下，发现数据的关键部分可能会被删除：非法创建主题流行度的推文。未来对Trend的分析（不考虑已删除的数据）可能会误解某个主题的受欢迎程度。例如在2018年9月，使用短期伪舆论攻击将#SuriyelilerDefolsun（#SyriansGetOut）推到了Trend列表中，主题标签在达到Trend后吸引了公众的主要负面关注。主题标签作为案例研究或引用案例都将标签归因于公众，完全没有意识到该标签是由于机器人活动引起的Trend，甚至说社交媒体用户由于担心大规模移民新浪潮而推动了主题标签。

社会影响：短期攻击使用户暴露于非法广告、针对弱势人群的仇恨言论以及政治宣传。例如，CiftlikBank是一个庞氏骗局，声称是一家农业公司，旨在迅速增长并积极地实现利润最大化。尽管许多用户都暴露于这些Trend，但是影响的程度尚不清楚，因为无法直接衡量与Trend的互动。同时，公众参与度（例如，每条推文的转发数和喜欢数）是可以操纵的。但是，基于它们在其他平台上的出现，一些令人不安的Trend成功地引起了公众的关注。他攻击。 所有流行机制都通过解析内容来确定当前流行的内容，尽管对于不同的媒体和具有不同的流行定义。 将已删除的活动或内容视为有效线索会打开攻击媒介，从而使短暂的攻击成为可能。 研究结果揭示了人们对伪舆论的关注，这种问题被视为对流行性指标的攻击，以及如果不加以控制和解决，问题会变得多么普遍。

通用性：短期伪舆论攻击可以推广到任何平台，在该平台上，算法会确定扩展内容或热门内容，并且不考虑删除内容。 但是，除Twitter之外，尚无其他平台可以发现此攻击。 传统论坛根据上次答复的时间对线程进行排名，因此，垃圾信息发送者会将评论发布到旧线程上，以使其更加可见， Reddit在计算线程等级时会考虑当前投票和降级投票的数量，因此很可能具有暂时性，即通过移除这些投票来进行协调投票。 其他可能的易受攻击的平台包括带有评论的网站，例如Amazon或Google Play商店，但到目前为止，还没有对这些平台的相关公开分析。 这种攻击还可以推广到任何地区的Twitter Trend。

对策：由于使用了活动的、受害的帐户，因此防御短期伪舆论攻击本身就具有挑战性。这些帐户的所有者是该计划的受害者，不能简单地禁止这些帐户。如果攻击是通过恶意应用程序执行的，则Twitter可以暂停对应用程序的访问，防御的两个主要途径：检测和预防。首先，Twitter可以实施一种检测机制，以防止恶意推文被视为Twitter Trend，甚至根本不可见。他们可以扩展本文中列出的检测方法，以找到涉及的推文和帐户。一旦发现Trend被操纵，就可以将其从Trend中删除，甚至阻止其蔓延。第二种选择是使攻击无用。这些攻击成功的事实表明，Twitter趋势算法未考虑删除推文。因此，一种简单的防御方法是在计算Trend主题时考虑已删除的推文。例如，趋势算法可以跟踪包含关键字的推文，并对每条被删除的推文在Trend排名进行惩罚。

除了直接的对策之外，平台还可以确保即使通过删除操作了流行机制，用户也可以意识到潜在的可疑行为。例如，在Reddit上，删除评论后，留下的公共证据表明评论已删除。在Twitter上，这表示已删除包含Trend关键字的推文。这样，当用户单击Trend时，它们不仅显示为推文，而且还显示了一系列已删除的推文，表明发生了可疑事件。

局限性：短期伪舆论的研究仅限于通过流行机制和删除内容提供的内容可用的平台。在处理Twitter数据时，如Internet Archive的Twitter Stream Grab提供的那样，仅限于1％的推文。无法公开获得更大的样本。此样本可能未包括每个趋势的攻击推文，因此可能无法检测到所有攻击Trend。因此，只能报告下限。也仅限于本地和全球Trend，无法分析量身定制的（个性化）Trend。趋势算法是黑盒算法，仅使用1％的样本对其进行逆向工程是不合理的。因此，本研究基于在数据中观察到的行为来研究攻击，并且仅开发分类器以检测一个特定的、正在进行的攻击实例。

可重复性：这项研究是使用 Internet Archive的Twitter Stream Grab和Trend数据进行的，因此所有数据都是公开的，并且该研究具有可重复性。此外还提供了本研究中注释的推文和用户的ID以及注释的攻击(https://github.com/tugrulz/EphemeralAstroturfifing )。