12
整体产品动态测试 - 初步测试结果 www.av-comparatives.org 整体产品动态测试 2010 年 8 月至 10 月 语言:中文 2010 年 10 月 最后修订：2010 年 11 月 23 日 www.av-comparatives.org
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 1 -
整体产品动态测试
2010 年 8 月至 10 月
语言:中文
2010 年 10 月
最后修订：2010 年 11 月 23 日
www.av-comparatives.org
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 2 -
目录
1．简介 .................................................................... 3
2．简化测试程序 ................................................... 4
3．设置 .................................................................... 5
4．为每个测试日的准备 ....................................... 5
5．每个恶意网址的测试周期 ............................... 5
6．测试的产品 ........................................................ 6
7．测试事项 ............................................................ 6
8．测试结果 ............................................................ 7
9．图表总览 ............................................................ 9
10．测试内容来源 ................................................. 10
11．测试集 ............................................................. 10
12．统计 .................................................................. 10
13．版权及免责声明 ............................................. 12
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 3 -
1．简介
恶意软件带来的威胁正与日俱增。这不仅仅体现在恶意程序数量的增加，而且还有来自各种威
胁本身的快速演变。恶意代码侵入到用户电脑中的方式也正在经历从简单的基于文件的传播方式变
化成经过互联网来传播。总之，恶意软件在不断的使用各种手段威胁用户的电脑，例如欺骗用户访
问受感染的网页、安装流氓/恶意软件或打开带有恶意软件附件的电子邮件等等。
杀毒软件也在通过增加防御功能以扩大其为用户提供的保护范围，例如：网址拦截、内容过滤、
反钓鱼措施和人性化的行为拦截（或称主动防御）。如果这些功能与基于签名的检测和启发式检测
完美融合，那么杀毒软件抵御威胁的能力将大大提高。
尽管有了这些新技术（提供防御功能），但继续对防病毒程序的基于签名和启发式检测的功能
进行检测仍然是非常重要的。也正是因为这些新的威胁，使基于签名/启发式检测的方法变得越来
越重要。0 day 的攻击变得日益频繁意味着恶意软件感染的危险增加。如果攻击不是被“传统”或
“非传统”的方法截获，那么电脑就会被感染，而且该恶意软件只有通过基于签名的按需扫描和启
发式扫描才可能被发现，并有希望被清除。额外的保护技术不提供对现有数据存储进行检查（扫描）
的功能，因为在许多公司的文件服务器中都可以找到已感染的文件。这些新的安全保护措施应被理
解为杀毒软件良好检测率的补充，而不是替代。
在本次测试中，参与测试产品的所有功能都发挥了保护作用，而不只是一部分功能（如签名/
启发式文件扫描）起作用。因此，这样的整体病毒检测能力应该高于仅通过部分功能检测病毒的能
力。我们建议，一个产品的所有功能在检测病毒时都应有较高的查杀能力，不应只提供某种单一的
功能（如：网址拦截只有在浏览网页时才提供保护，但不能防御用其他方法引入的恶意软件或系统
上已经存在的恶意程序）。
我们将在自己的网站发布每月的整体产品动态测试结果。最终的完整报告将汇总各月
份（8/9/10/11/12 月）的测试结果，并将于 2010 年 12 月初发布。
整体产品动态测试是 AV-Comparatives 和因斯布鲁克大学计算机科学与质量工
程学院的一个合作项目。一部分得到了奥地利政府的支持。有关测试过程中的一
些细节不便透露，因为它可能容易被厂商滥用以进行系统测试较量。
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 4 -
2．简化测试程序
为了对全部数千个网址的测试，需要一天之中利用许多的杀毒程序测试数以百计的网址，只有
高度自动化（技术）才能使之成为可能。这种自动化（技术）已经由因斯布鲁克大学计算机科学与
质量工程学院和 AV-Comparatives 联合开发。
测试系列的筹备工作
每一个被测试的防病毒程序均安装在其独立的测试计算机中（请注意，在此使用的术语“防病
毒程序”通常是指一个完整的互联网安全套装）。所有计算机都连接到互联网，每个连接有自己的
外部 IP 地址。测试用的计算机操作系统和防病毒程序（的设置）均被“冻结”。
实验室设置
整个测试都是在真实的工作机上执行。我们不使用任何类型的虚拟机。每个工作机都有自己的
互联网连接和外部 IP 地址。我们与几个供应商达成了特殊的协议（故障转移群集和不阻止任何流
量），以确保稳定的互联网连接。使用真正的互联网连接执行测试。我们采取了必要的预防措施
（使用特别配置的防火墙等），以防止对他人的破坏（即不引起病毒爆发）。
硬件
本次测试，我们使用了相同的工作机，IBM 的 BladeCenter 和网络附加存储（NAS）。
供应商 类型 中央处理器（CPU） 内存（RAM） 硬盘
Workstations Fujitsu E3521 E85+ Intel Core2Duo 4 GB 80 GB
BladeCenter IBM E Chassis - - -
Blades IBM LS20 AMD Dual Opteron 8 GB 76 GB
NAS QNAP TS-859U-RP Atom Dual Core 1 GB 16 TB RAID 6
软件
测试在 Windows XP SP3 系统执行，没有进一步的更新。
此外安装的（易受攻击）软件包括：
供应商 产品 版本
供应商 产品 版本
Adobe Flash Player 控件 10.1 微软 Internet Explorer 7
Adobe Flash Player 插件 10 微软 Office Professional 2003
Adobe Acrobat Reader 8.0 微软 .NET Framework 3.5
Sun Java 6.0.140
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 5 -
3．设置
我们使用每款安全套装及其默认（开装即用型）设置。如果（遇到）要求用户配合的选项，我
们将选择默认设置。我们的整体产品动态测试旨在模拟真实世界中的条件，比如用户每天经历、遇
到的种种情况。因此，如果没有预定义的操作，我们将始终使用我们认为警告/信息非常清楚和明
确的相同操作。如果产品提示要求由用户决定，我们则只做记录，但是如果提示很含糊、含有误导
或甚至建议用户信任恶意文件/网址/行为的，我们将判断成漏报，因为普通用户也会这样做。如果
系统不会受到损害我们将认定它是（受到）保护的。这意味着，没有恶意软件在运行（或已被删除
/终止），而且没有明显的或恶意软件引起的系统变化。如果防火墙对正在运行的病毒进程的出站
警报阻碍/影响了网络流量，使用户工作机联网太少/晚，我们不将它看做是保护。
4．为每个测试日的准备
每天早晨，更新所有的杀毒软件，并制作当天新的基本镜像文件。在这种情况下确保杀毒软件
在白天不会完成较大的更新，而且至少可以利用早上的（时间）更新，就如同现实世界中用户的使
用习惯。
5．每个恶意网址的测试周期
首先，进行搜索。我们使用自己的爬网工具（CRAWLER）日复一日的搜寻恶意网站。我们不是
侧重于 0day 恶意软件/攻击（尽管这极有可能，这些恶意软件也都混在这 N 多的网址中）；我们在
极力的寻找那些另外的恶意网站，那里才是对普通用户真正造成威胁的地方。在浏览每一个新的恶
意网址/测试事项前，我们都要更新程序/签名。主要产品的新版本每月安装一次，这就是为什么在
每月报告中，我们只给出产品的主要版本号的原因。我们的测试软件启动了电脑实时监控，所以被
恶意软件所作的任何修改都会被记录下来。此外，检测算法能够检查杀毒程序是否检测到恶意软件。
每个测试事项结束后，机器恢复到其原来准备的状态。
保护
安全产品应该能够保护用户的电脑。保护机制从哪个阶段开始并不重要。既可以在用户浏览网
站时提供保护（例如通过网址拦截提供保护），也可以在恶意软件试图运行时或下载文件/创建文
件时或恶意软件被执行时提供保护（无论是由用户或恶意软件）。恶意软件被执行后（如果之前未
阻止），我们让恶意程序运行几分钟，这也是为了给恶意行为拦截程序做出反应留出时间并对恶意
软件的破坏结果执行解救操作。如果没有检测到恶意软件，但系统确实是受到感染/损害，那么测
试进程进入“未检测到恶意软件”环节。此时，我们不执行误报测试。但是，如果用户互动是必需
的，并且如果是由用户决定它是否是恶意软件，我们将此归为“依靠用户”。因此，黄栏可以被保
护或也可以不被保护。
由于该测试的动态性（特点）是模拟真实世界的情况并且由于是采用了几种不同的技术方式运
行的（例如：云扫描技术、信誉评估服务等）。因此，一个事实问题是，这种测试不能像静态检出
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 6 -
率测试那样重复或复制。无论如何，我们正试图记录更多合理的可能性，来证明我们的发现和结论。
我们请参加检测的供应商提供各自产品中有用的记录，通过此记录可以为他们提供更多想要的证据
和数据。
6．测试的产品
下列产品正式加入了产品整体动态测试的主要测试系列。我们可能还测试其他不属于主要测试
系列的产品，但只能在有限的时间周期内单独测试。在这种类型的测试中，我们使用互联网安全套
装。
每月测试时使用的主要产品版本：
厂商 产品 版本
8 月份 9 月份 10 月份 11 月份
Avast 互联网安全套装(Internet Security) 5.0 5.0 5.0
AVG 互联网安全套装(Internet Security) 9.0 9.0 10.0
Avira（小红伞） Premium Security Suite 10 10 10
BitDefender（比特梵德） 互联网安全套装(Internet Security) 2010 2011 2011
ESET Smart Security 4.2 4.2 4.2
F-Secure 互联网安全套装(Internet Security) 2010 2011 2011
G Data（歌德塔） 互联网安全套装(Internet Security) 2011 2011 2011
Kaspersky（卡巴斯基） 互联网安全套装(Internet Security) 2011 2011 2011
Kingsoft（金山） Internet Security Plus 2010 2010 2011
Norman（诺曼） Security Suite Pro 8.0 8.0 8.0
Panda（熊猫） 互联网安全套装(Internet Security) 2011 2011 2011
PC Tools（比斯图） 互联网安全套装(Internet Security) 2010 2011 2011
Norton（诺顿） 互联网安全套装(Internet Security) 2011 2011 2011
Trend Micro（趋势科技） Titanium Internet Security1 2010 2011 2011
7．测试事项
时间 测试事例
2010年 8月 10日～26 日 304
2010年 9月 7 日～25日 702
2010年 10月 454
2010年 11月
合计 1460
下个月的测试，我们将使用在本月底开始提供的新的产品版本。
1 Trend Micro Internet Security 2010
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 7 -
8．测试结果
2010 年 8 月 - 304 个测试事项
2010 年 9 月 - 702 个测试事项
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 8 -
2010 年 10 月 - 454 个测试事项
本报告将定期更新。
确切的数据和最新版本在我们的网站可以找到 http://www.av-comparatives.org
最终完整报告的汇总，将于 2010 年 12 月初公布。
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 9 -
9．图表总览2
2截止到 2010年 8 月的优化处理，进一步修改或补充可能已从那时起实施。
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 10 -
10．测试内容来源
我们用自己的爬网系统不断地搜索恶意网站并选取恶意网址（包括垃圾邮件的恶意链接）。我
们还手动搜索恶意网址。如果一天之中，我们的内部抓取工具无法找到足够的有效恶意网址，我们
的一些外部签约调查员会专门为 AV-Comparatives 提供额外的恶意网址。
虽然我们有机会访问供应商和其他公共资源的共享网址，但我们尽量不在测试时使用它们。
11．测试集
我们不是侧重于 0day 攻击/恶意软件，我们关注其他那些现有和有关的恶意网站，那里才是对
普通用户真正造成威胁的地方。我们正在努力将大约 40-50％直接指向恶意网站的网址包括进来。
例如，用户会被黑客伪造的社交网站（恶意）邮件/网站欺骗，点击其中的（恶意网站）链接，或
者被欺骗安装某些木马、流氓软件或其他恶意软件。其余/更大的一部分是通过下载进行传播/恶意
攻击的。通常这些威胁似乎都被安全产品很好的抵御了。
在这种测试中，使用足够的测试实例是非常重要的。如果只随机做 20 或 50 例试验，可能提供
的只是一个无效的统计结果。我们认为，必须至少要有 100 例。如果在比较测试中使用的样本数量
不足，那么不同的测试结果可能并不能代表测试的产品之间的实际差异。下页的统计数据为您解释
原因。
12．统计
假设，10,000 个样本进行了测试，并且产品 A 检出率为 80％（假定为好产品），而产品 B 为
70％（假定为次一点的产品）。那么，如果只从这 10,000 个样本中随机选取 10 个产品做测试，概
率结果如下：
分数
（10 个样
本）
产品 A
（80％检测
率）
产品 B
（70％检测
率）
10 / 10 11% 3% 9 / 10 27% 12% 8 / 10 30% 23% 7 / 10 20% 27% 6 / 10 9% 20% 5 / 10 3% 10% 4 / 10 1% 4% 3 / 10 0.1% 0.9% 2 / 10 0.01% 0.14% 1 / 10 0.0004% 0.0138% 0 / 10 0.00001% 0.00059%
合计 100% 100%
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 11 -
也就是说，即使产品 A 最有可能（检出率 80％）拿到满分 10 分中的 8 分，但产品 A 得到 8 分
的几率也只有 30％（B 有 23%的几率也得到 8 分）。产品 A 有 37％的几率高于 8 分，但也有 33％
的几率低于 8 分（两者的差别并不大）。
当产品 A 与产品 B 的概率组合，产品 A（80％的检测）的得分高于产品 B（70％的检测）的几
率大约为 60％。在一个 10 样本的测试中，有 18％的几率产品 A 和 B 的分数相同，产品 B 甚至有
22％的几率得分将超过产品 A（这样就很难区分出两款产品的差别）。
但当样本数增加时，这个麻烦就不存在了。下图显示了样本从 10 个增加到 100 个，再到 1000
个后，对 95％的置信区间的影响。95％置信区间表示一个可信的区间范围，说明真正的检测率在
这一范围内的概率达到了 95%。
整体产品动态测试 - 初步测试结果 www.av-comparatives.org
- 12 -
13．版权及免责声明
本报告的版权© 归 AV-Comparatives®所有。任何出版物对本测试结果的使用，无论是全部或部
分，都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许。对使用本报告提供的信息，
可能会产生或导致的损害或损失，AV- Comparatives 和参与测试的人员，不承担责任。我们竭尽一
切可能，确保基本数据的正确性，但并不代表 AV- Comparatives 对测试结果的正确性需要承担义务。
对报告的正确性，完整性，或者在任何特定的时间，对报告提供的内容是否适合特殊目的的需求，
我们不做任何保证。 对于在创建，生成或发表测试结果过程中，所涉及到的任何人，对任何间接
的，特殊的损害或利益损失，使用或不能使用该网站提供的服务，测试文件或任何相关的数据引起
的或与之相关的事宜，均不承担任何责任。AV-Comparatives 是在奥地利注册的非盈利性组织。
更多关于 AV-Comparatives 及测试方法，请访问我们的网站。
AV-Comparatives e.V. (2010 年 11 月 )
