摘要

　　近年来，众包作为一种新的商业模式迅速发展，在众多领域均得到广泛应用。然而，众包采取面向不确定大众群体的组织方式，平台上的工作者具有不同的社会背景、能力水平和参与动机，完成任务的程度也不尽相同，互联网的匿名性使得交互双方信息不对称，众包质量结果难以得到保证。因此，如何对众包质量进行控制成为当前众包研究领域的热点问题。

　　本文对大量国内外研究文献进行归纳总结，介绍了众包模式的概念及众包质量控制的相关研究工作，分析了现有众包质量控制策略的优点及不足。之后通过对众包平台进行实际调研，发现平台上存在大量的工作者历史交易行为，发包方能够通过这些历史信息预测工作者未来可能的行为，减少交互双方的信息不对称。为此，本文提出一种考虑工作者信誉的众包质量控制方法，主要包括众包质量评估和动态激励两部分。

　　首先对众包质量进行评估，提出一种考虑工作者信誉的众包质量评估方法。对工作者行为进行分析，在评估时将工作者的历史交易行为量化为信誉模型，根据信誉值对工作者进行分类提前剔除欺诈者，之后将工作者信誉值作为权重引入传统EM算法中，以获得更可靠的质量评估结果，为众包质量控制做好准备。

　　之后根据评估结果进行激励，提出一种基于工作者完成质量的动态激励方法。该方法为两阶段动态激励，设置任务分段点，在第一阶段实行统一付酬机制，吸引足够工作者参与任务；当任务完成度趋于成熟，在第二阶段设置动态激励函数，该激励函数与工作者的质量评估结果呈正相关，与任务完成情况呈负相关，在激励工作者提交高质量答案的同时对整体众包任务的质量实现均衡控制。

　　最后，利用真实数据对本文提出的质量控制方法进行实验验证，并对实验中涉及的参数进行阈值率定。实验结果表明，本文提出的质量控制方法在提高质量评估结果的同时可以激励工作者提交高质量结果。

　　关键词：众包；质量评估；信誉模型；EM算法；激励机制

Abstract

　　In recent years, crowdsourcing has developed rapidly as a new business model and has been widely used in many fields. However, crowdsourcing faces an uncertain organization of the mass population, workers in the crowdsourcing markets usually have different background, expertise and incentives. The anonymity of the Internet makes the information dissymmetrical between the two parties, therefore, workers are likely to exhibit heterogeneous quality in their submitted work. Therefore, how to control the quality has become a hot issue in the field of crowdsourcing.

　　The article summarizes a large number of domestic and foreign research literature, introduces the concept of crowdsourcing model and the related research work aboutcrowdsourcing quality control, and analyzes the advantages and disadvantages of the quality control strategy of crowdsourcing. Through the actual investigation of crowdsourcing platform, we find that there are a lot of workers' historical trading behavior on the platform. It is possible to predict the future behavior of the workers through the historical information and reduce the information asymmetry between the two parties. The article proposes a quality control method for crowdsourcing based on workers' reputation, mainly including crowdsourcing quality assessment and dynamic incentive.Firstly, evaluate the quality of crowdsourcing. A quality evaluation method is proposed to consider the reputation of workers.

　　First, build the reputation model based on the workers' past performance. Then, select the workers according to the reputation of workers and put the reputation as the weight into the EM algorithm optimizing the initial value selection method, preparing for the quality control of crowdsourcing.

　　Then, based on the evaluation results, a dynamic incentive method based on the quality of the workers is proposed. This method is a two-stage dynamic excitation. Set up the task segmentation point and implement the unified payment mechanism in the first stage, attracting enough workers to participate in the task. Set the dynamic excitation function in the second stage, which is positively correlated with the quality assessment results of the workers and is negatively correlated with the task completion.

　　Finally, verify the validity of this method through numerical experiment and rate the threshold of parameters. The experimental results show that the quality control method proposed in this paper can improve the quality assessment results and motivate workers to submit high quality results.

　　Key Words:Crowdsourcing; Quality evaluate; EM algorithm; Reputation model;Incentive Mechanism

目录

　　1绪论

　　1.1研究背景与意义

　　近年来，众包作为一种新的商业模式迅速发展起来，在服装设计、软件测试、科学研究、方案征集等方面得到广泛应用。众包和普通意义上的外包差别在于，众包的任务和问题外派给不确定的网络群体[1],发包方将一个任务细分为多个子任务，通过互联网分配给工作者（worker）去完成，而外包是外派给专业的确定群体。此外，二者中一个最大的不同之处在于，外包强调的是高度专业化，众包则正好相反，其更注重差异化的群体智慧，跨专业的创新往往蕴含着巨大的潜力[2].众包使得发包方在提高工作效率的同时降低了劳动成本，工作者能根据自己的兴趣寻找任务，完成任务后得到工作报酬。众包平台上任务种类繁多，按照其粒度可分为微观任务（microtasks）和宏观任务（macrotasks）[3].微观任务关注小而重复的任务，一般通过收集较多工作者的答案进行整合得到最终结果，典型的微观众包任务包括语言翻译、事件注释、图片标记等。微观任务通常不需要特殊技能，并且每个任务的奖励通常很小[4].现实世界中的微观任务系统有：亚马逊的Mturk.不同于微任务，宏观任务主要用于解决挑战性和创新性的任务，如开发一个计算程序、设计一个广告等。

　　这类任务通常需要工作者具有特定的技能，需要花费大量的时间去完成，且奖励一般很多。2012年3月，奥巴马政府启动的“大数据研究与发展计划”将众包列为大数据时代的三大关键技术之一[5],主要利用众包发布微观任务对数据进行标记，在自然语言处理、机器学习、信息检索等科研领域得到广泛应用。微观任务因其复杂性低、操作简单占据了主要众包市场。平台上一些众包任务通常具有较强的专业性，例如语言翻译，需要具有专业背景的人来完成，由于工作者认知偏差以及专业知识的匮乏，使得他们提交的结果也不尽相同[6].众包依托于复杂的网络平台，工作者具有高度的匿名性和不确定性，发包方无法准确识别不同工作者的任务完成质量，且众包平台统一定价的激励方式使得平台上经常存在大量的恶意欺诈者（spammer），他们为了自身利益最大化，随意提交任务答案，导致众包结果的准确率大大降低，发包方和工作者之间也难以建立信任。发包方则通过压低价格来避免这种信息不对称带来的风险损失，如此会逐渐形成“柠檬市场”[7],低质量工作者逐渐取代高质量工作者，导致众包市场萎缩。

　　为了使众包市场健康发展，如何对众包质量进行有效控制成为亟待解决的问题。对众包质量进行控制，首先需要对工作者的完成质量进行较准确评估，以减少信息不对称带来的损失。互联网上的高度不确定性使得发包方更愿意接受并信任先前与之有过交互的工作者[8].众包平台上存在着工作者大量的历史交易行为，这些历史行为可以反映出工作者的行为特点，用以预测未来交互中的可能行为，从而提高评估结果的准确率；对质量评估完之后，发包方应根据工作者的完成质量给予其合理的激励，奖励优秀工作者、惩罚恶意欺诈者，以引导工作者更高质量的完成众包任务，从而达到对众包质量的控制效果。文献[9]指出信誉是对一个实体过去行为的一种综合评价，即将历史行为进行量化、分析能够得到工作者的信誉模型。因此，如何利用历史交易行为建立信誉模型，减少发包方与工作者之间的信息不对称，提高质量评估的准确性；如何设置合理的激励政策，在调动工作者积极性的同时还能够对众包质量进行控制是本文的主要研究内容。

　　1.2国内外研究现状

　　目前，国内外学者对众包质量控制问题进行了一定研究，且多针对于微观任务。其研究主要分为三类：

　　（1）对众包结果进行质量评估，进而识别出工作者类别。对于微观任务来说，发包方通常将任务分配给多名工作者，通过对提交答案的整合得到最终任务结果。文献[10-12]介绍了一种黄金数据注入算法，利用黄金标准数据评估工作者完成质量；文献[13-15]提出将任务分配奇数个的工作者，通过多数投票获得最终结果；文献[16-19]基于Dawid和Skene提出的EM算法对众包质量进行评估，根据工作者提交的结果对工作者的误差率进行极大似然估计，计算出工作者的误差矩阵，进而通过迭代得到最终的众包结果。

　　（2）分段式众包质量控制，主要按照工作流的形式对任务进行划分，分阶段的对工作者提交的结果进行评估，根据评估结果对工作者组织结构进行调整，以达到控制众包质量的目的。文献[20]将工作流分为数据产生阶段和结果评审阶段，根据实际情况控制评审次数，进而保证众包质量；文献[17]从结果评估和替换方面考虑，发包方在整个任务流程中设置多个监测点，在每个监测点根据工作者上一阶段提交的答案评估其完成质量，对完成质量不高的工作者进行随机替换，以“评估-替换”的迭代方法对众包质量进行控制。

　　（3）建立相应激励机制，激励工作者提交高质量结果。文献[21]运用博弈论建立诚信保障机制和信誉评价机制，并通过案例分析说明信誉机制能够约束双方欺诈行为、提高交易质量；文献[22-25]提出两阶段付酬机制，根据工作者的完成质量动态调整激励金额。

　　上述文献都对众包质量控制问题做了非常有意义的探索，但是存在以下三点不足：

　　（1）质量控制的前提是对众包质量进行准确评估，现有的质量评估方法将众包作为一次性行为研究，在任务完成后对结果进行评估，并不能提前剔除任何欺诈者，会白白浪费一部分资源。Bayus[26]通过实证研究发现，持续参与的工作者对任务的贡献比一次性参与的工作者贡献突出。互联网络的匿名特点使得工作者行为具有不确定性和不可靠性，导致众包结果质量不确定，故在众包质量评估时，应该考虑工作者行为特点对评估结果的影响；

　　（2）虽然阶段式动态质量控制策略能通过对上一监测点质量进行评估较早的发现欺诈者，考虑了工作者在持续参与过程中的完成准确率变化，但任务执行过程增加的监测点会增加任务的完成时间、花费会相应增加，替换规则的设计也会影响众包任务的进度。

　　（3）众包系统现有的激励机制通常为固定价格模型，这可能会导致工作者产生不可信行为，造成激励效果适得其反，文献[23]提出的两阶段付酬机制虽增加了对工作者完成质量的考核，但是会大大增加发包方的预算，造成资源的浪费。

　　1.3研究内容

　　本文针对现有众包质量控制策略的不足进行研究，提出一种新的众包质量控制策略，具体内容如下：

　　（1）基于工作者历史行为建立信誉模型。收集工作者在众包平台上留下的历史交易行为，通过分析工作者行为特点对其进行细分，为研究内容（2）识别不同类型欺诈者做准备。将每次历史交易过程中，工作者完成任务的准确率作为衡量标准，量化工作者的历史行为信息。为了考虑工作者行为持续的重要性、信誉的时间衰减性，并区分策略欺诈者、失误等不同行为类型，本文对原有弹性信誉模型（RRM）进行改进。在原有持续因子的基础上引入惩罚因子及惩罚函数，在激励工作者持续提供可信行为的同时，也能够及时对不可信行为做出反应。对于最近一次出现的不可信行为，查看其之前累积到的信誉值，区分失误行为以及策略欺诈等容易混淆的行为。因众包平台上有些工作者没有与发包方有过历史交易，故赋予每位工作者初始值，在初始值的基础上通过历史行为的累积得到当前信誉值，为研究内容（2）中识别欺诈者提供前提。

　　（2）提出一种考虑工作者信誉的众包质量评估方法。EM算法因其收敛稳定被广泛应用于众包质量评估中，但其评估结果极易受初始值影响，因在使用EM算法时较多赋予工作者相同的权重，导致结果容易陷入局部最优。然而，工作者提交答案的可信度不尽相同，信誉良好的工作者给出的答案可信度更高。故根据研究内容（1）中得到的信誉值，通过设置合理的阈值对工作者进行欺诈者识别，对识别出来的欺诈者进行剔除。其次，基于EM算法，将工作者信誉值作为权重加入到初始值评估中。在评估结果后验概率和工作者误差矩阵获取过程中，将信誉值作为权重考虑进去，提高评估结果的准确率与效率，为后续众包质量控制工作做好准备。

　　（3）提出一种基于工作者完成质量的动态激励机制。为了达到众包质量控制的目的，根据研究内容（2）的质量评估结果对工作者进行动态激励，以促使众包任务完成质量更好。因为工作者能够根据自己的兴趣自由选择任务，在微观众包任务平台，如Mturk

　　常常会出现资源分配不均匀的情况，使得众包任务的完成进度也层次不齐。为了更好地对众包质量进行控制，引导工作者选择完成度低的众包任务，以均衡整体任务的完成质量，本文提出一种两阶段动态激励机制，根据研究内容（2）中得到的工作者任务评估质量及任务的完成进度设定激励函数，工作者选择的任务完成度越低，完成质量越高，所获得的奖励越多。设计基于工作者完成质量的动态激励函数，使得工作者所获得奖励与当前任务的完成阶段呈反比，与研究内容（2）中的评估结果呈正比。最后利用博弈论证明该激励机制的有效性。

　　（4）利用Mturk平台上的真实数据验证质量控制策略的有效性。一方面利用数据对实验中的参数进行率定，将本文提出的考虑信誉的众包质量评估方法与其他质量评估方法进行对比。实验结果表明，考虑工作者信誉的质量评估方法其评估结果明显优于其他算法；另一方面针对激励效果，利用历史数据分析工作者在任务的不同完成阶段的收益变化，同时对比了不同完成质量的工作者收益，实验表明，工作者会更愿意选择以较高的质量选择完成度低的任务。

　　1.4论文技术路线

　　本论文按照一下章节进行组织第一章为绪论。主要介绍了本课题的研究背景及意义，国内外在该方面的研究现状及问题，以及本文的主要研究内容，给出了论文的技术路线及章节安排。

　　第二章为相关研究工作的综述。首先介绍了众包的模式和现有的众包质量评估方法，以及不同评估策略的优势及不足；其次介绍了有关众包信誉、激励机制相关方面的工作，并对现有研究进行了分析。

　　第三章为考虑信誉的质量评估方法构建。针对现有质量评估方法的不足，提出一种考虑工作者信誉的众包质量评估方法。首先收集并分析众包平台上的工作者历史交易行为，并对工作者进行分类；其次基于工作者的历史行为建立信誉模型，利用历史交易的完成准确率作为信誉评分，加入持续因子、惩罚函数、惩罚因子等得到工作者信誉值，以此在对工作者进行激励的同时减少交互双方的信息不对称；然后设置信誉阈值，帮助发包方识别不同类型的工作者，提前剔除欺诈者；之后针对现有质量评估方法进行选择，因EM算法能够处理信息缺失问题，故基于EM算法现存初始值敏感问题进行改进，将工作者信誉作为权重加入EM算法，对工作者众包质量进行评估。

　　第四章为基于工作者完成质量的动态激励机制设计。该部分主要包括三部分：首先分析众包任务完成质量低的原因，之后针对现有平台激励机制的不足设计了两阶段动态激励机制，并提出基于完成质量的动态激励函数；最后利用博弈论对文中提出的动态激励机制进行了有效性分析。

　　第五章为实验设计部分。主要介绍了实验的运行环境、实验数据以及实验的具体设计，并对实验中涉及的参数进行了分析率定；为了更好的证明本文方法的有效性，将本文提出的质量评估方法及动态激励机制与现有其他方法进行了对比，并对结果进行了详尽分析。

　　第六章为总结与展望。首先总结了本文的主要研究内容，给出了论文的创新点，然后从质量评估算法和激励机制两方面进行了展望，为今后的研究方向提供参考。

【由于本篇文章为硕士论文，如需全文请点击底部下载全文链接】

　　2相关工作
　　2.1众包模式研究
　　2.2众包质量评估方法
　　2.2.1黄金标准数据评估方法
　　2.2.2投票一致性算法
　　2.2.3EM质量评估方法

　　2.3众包信誉研究
　　2.3.1信誉及信誉模型
　　2.3.2众包领域信誉问题研究
　　2.4众包中的激励机制
　　2.5本章小结

　　3考虑信誉的质量评估方法构建
　　3.1工作者行为分析
　　3.2基于工作者历史行为的信誉模型
　　3.3质量评估算法选择与改进
　　3.3.1评估算法选择
　　3.3.2EM评估算法改进
　　3.4本章小结

　　4基于众包质量的动态激励机制
　　4.1众包结果低质量产生原因
　　4.2基于工作者完成质量的激励机制
　　4.2.1动态激励机制设计
　　4.2.2动态激励函数
　　4.3激励机制的博弈分析
　　4.4本章小结

　　5实验与结果分析
　　5.1实验数据及实验设计
　　5.1.1实验数据
　　5.1.2实验设计
　　5.2众包质量评估实验
　　5.2.1最佳阈值实验
　　5.2.2质量评估算法比对

　　5.3动态激励实验
　　5.3.1实验参数率定
　　5.3.2激励机制效果比对
　　5.4本章小结

6 总结与展望

　　众包依托于网络平台，互联网的匿名性会造成工作者和发包方之间信息的不对称，发包方难以准确衡量工作者的完成质量。而现有众包平台多采用统一付酬的激励机制，报酬只与完成的任务数量有关，此种激励方式会吸引大量恶意工作者，造成众包质量难以控制。为了解决上述问题，本文提出了一种考虑工作者信誉的众包质量控制方法，并利用 Mturk 平台上的真实数据验证该方法的有效性，其主要研究工作及结论如下：

　　（1）考虑工作者信誉的众包质量评估方法

　　互联网的匿名性使得工作者行为具有不确定性和不可靠性，导致众包质量难以控制。然而，众包平台上存在大量的历史交互信息，通过分析这些历史交互信息能够帮助发包方预测工作者未来的可能行为。故在进行质量评估时，本文考虑工作者持续参与众包时的行为特点对质量评估的影响，将其量化为信誉问题。首先对工作者行为进行分析，并将历史行为量化为信誉模型，根据信誉值提前剔除欺诈者。之后用工作者信誉值作为权重表示其对众包任务的贡献，并将其引入评估算法，以获得更可靠的质量评估结果。最后通过实验与传统算法进行了比较。实验结果表明，考虑工作者信誉的 EM 质量评估方法能够合理确定初始值，提高了评估准确率。

　　（2）基于工作者完成质量的动态激励方法。

　　为了制定合理的激励机制，在提高工作者参与积极性的同时能对众包质量进行控制，本文提出了基于工作者完成质量的两阶段动态激励方法。首先设置任务分段点，在第一阶段实行统一付酬机制，吸引足够工作者参与任务；当任务完成度趋于成熟，在第二阶段设置动态激励函数，该激励函数与工作者的质量评估结果呈正相关，与任务完成情况呈负相关，此举为激励此阶段的工作者提交高质量结果，也为了促使工作者选择完成度低的任务参与，来均衡工作者的分配，以实现对整体众包完成质量的均衡控制。文中首先通过博弈分析证明该激励机制的可行性，之后利用众包数据进行验证，结果表明该激励机制的激励效果优于统一付酬机制。

　　本文的创新点有两个：

　　（1）提出一种考虑工作者信誉的众包质量评估方法在进行质量评估时，甚少文献考虑工作者持续参与过程中的行为特点对评估结果的影响，仅将众包作为一次性行为研究。有研究表明，持续参与的工作者要比一次性参与的工作者贡献突出。且因众包平台的匿名性，发包方更愿意相信其有过交互的工作者。故在众包质量评估时，本文考虑了工作者在持续参与过程中的行为特点对评估结果的影响，将历史交互行为量化为信誉模型。EM 算法因其收敛稳定被广泛应用于众包质量评估中，但其评估结果极易受初始值影响，因在使用 EM 算法时较多赋予工作者相同的权重，导致结果容易陷入局部最优。本文将信誉值作为权重加入传统 EM 算法，提出一种考虑工作者信誉的众包质量评估方法，能够优化 EM 初始值确定问题，提高评估准确率。

　　（2）提出一种基于工作者完成质量的两阶段激励方法现有众包平台多采用统一付酬的激励方式，报酬只与完成的任务数量有关，此种激励方式会吸引大量恶意工作者，造成众包质量偏低，要想对众包质量进行控制，应制定合理的激励机制，在激励工作者积极参与的同时，能够提高众包完成质量。故本文提出根据质量评估结果对工作者进行动态激励，设置任务分段点，为避免欺诈行为将分段点设为工作者不可见，第一阶段实行统一定价机制吸引工作者参与；当任务完成度较高时设置动态激励函数，与任务完成度呈负相关，如此可以避免工作者乐意选择热门任务参与的问题，与完成质量呈正比，则激励工作者提交高质量答案，均衡工作者的分配，以对整体众包任务的质量进行均衡控制。

　　本文提出的质量控制方法仍存在一定的局限性：

　　（1）因避免抄袭，众包平台上宏观任务的任务结果多不对外开放，获取数据较困难，故本文研究主要针对于微观任务。在对工作者历史行为进行量化的过程中，本文选取完成任务的准确率作为对当次历史行为的评分，故对于主观性较强的创意型众包任务不适用。因此，考虑到任务类型如何更好地描述、量化工作者的历史行为，如何对创意类众包任务进行评估，提高评估方法的准确率及适用性是下一步研究的重点

　　（2）因本文的研究针对于微观任务，微观任务多采用计件的运营模式，故对于宏观任务多采用招标的运行模式，本文提出的动态激励机制暂不适用。未来应该针对更多的众包任务类型，分析机制的适用性，根据众包平台的实际运行模式讨论激励机制的具体实施方案。

　　参考文献
 

【由于硕士论文篇幅较长，此页面不展示全文，如需全文，请点击下方下载全文链接】

TAG标签： 质量评估     信誉模型     EM算法