Firewall Challenge: обзор и тестирование персональных фаерволов

Лаборатория Matousec Transparent Security проводила тесты (Firewall Challenge) персональных фаерволов, самозащиты и комплексов безопасности на утечку данных.

Firewall Challenge – это проект тестовой лаборатории Matousec Transparent Security, запущенный взамен предыдущих анализов персональных файерволлов, в т.ч. исследований по антиликовой защите от утечек данных.

Предыдущие исследования предусматривали изучение и тестирование каждой программы по всем возможным показателям, что было слишком трудоёмко и не давало возможности своевременно оценить достаточное количество программных продуктов. Самым лёгким выходом, по признанию Matousec, было бы ограничиться лик проверками, но тестеры сочли это неприемлемым.

Поэтому было решено дополнить leak тесты другими важными испытаниями и сделать сами проверки ступенчатыми – что-то вроде многоуровневой игры, когда провалившие текущий уровень не допускаются на следующий.

Брандмауэры были протестированы только на максимальных настройках безопасности и на компьютерах, на которых были установлены Windows XP Service Pack 3, а в качестве браузера, было использовано Internet Explorer 6.0, так как в Windows, IE(!) является браузер по умолчанию.

К тестированию, кроме собственно файерволлов, принимались и комплексы безопасности, программы-hips, также обеспечивающие защиту сетевых соединений.

Прохождение каждого теста безопасности в проекте Firewall Challenge оценивается в %. Если результатом теста может быть всего 2 исхода – прошёл или непрошёл – программа получает 100 или 0%. Если есть промежуточный результат – соответственно 50%, по возможности и при наличии соответствущих критериев – более точно. Каждый уровень обычно включает в себя несколько тестов, и для допуска к следующему необходимо пройти тесты с определённым показателем (минимум 50%). В итоге вычислялся также общий уровень защиты каждого продукта.

Тестируемые продукты прошли через многоуровневую систему оценки, составляющая из 84 тестов, включающих в себя основные испытания:

#1. General bypassing test (тест на обход защиты) «« »» - который определяет способность защитного решения противостоять самым сложным способам внедрения и сокрытия вредоносного кода
#2. Leak test (тест на утечку данных) «« »» - определяющий способность продукта успешно осуществлять "последнюю линию обороны" :: не допустить кражи персональных данных клиента в том случае, если все прочие способы защиты (проактивные, эвристические, сигнатурные, поведенческие) оказались бессильны
#3. Performance test (тест на производительность) «« »» - оценка влияния работы продукта на систему пользователя
#4. Spying test (тест на перехват данных) «« »» - который является одним из важнейших показателей надежности антивирусного решения
#5. Termination test (тест на самозащиту / тесты-терминаторы) «« »» - показывающий, насколько успешно антивирусные решения могут противодействовать попыткам прекращения своей работы и повреждениям в своих процессах и файлах
#6. Other (другие тесты) «« »» - которые не подходят к категориям, перечисленные выше. Эти тесты, могут проверить стабильность и надежность продукта

Для получения точных и достоверных результатов, тест Firewall Challenge был проведен в несколько этапов:

LeveL.1.:
7 тесты на утечку данных + 2 тесты-терминатор

LeveL.2.:
5 тесты на утечку данных + 3 тесты-терминатор

LeveL.3.:
4 тесты на утечку данных + 3 тесты на обход защиты + 3 тесты-терминатор

LeveL.4.:
3 тесты на утечку данных + 2 тесты на обход защиты + 1 тест на перехват данных + 4 тесты-терминатор

LeveL.5.:
3 тесты на утечку данных + 6 тесты-терминатор + 2 тесты на обход защиты + 1 тест на перехват данных

LeveL.6.:
6 тесты на утечку данных + 4 тесты-терминатор + 1 тест на обход защиты + 2 тесты на перехват данных

LeveL.7.:
5 тесты на утечку данных + 2 тесты на перехват данных + 1 тест-терминатор + 1 тест на обход защиты

LeveL.8.:
3 тесты на обход защиты + 2 тесты на перехват данных + 1 тест-терминатор + 2 тесты на утечку данных

LeveL.9.:
1 тест-терминатор + 1 тест

LeveL.10.:
2 тесты


Результаты:



: 99% :  1 : Online Armor Personal Firewall 3.5.0.14
: 96% :  2 : Comodo Internet Security 3.8.65951.477
: 94% :  3 : Outpost Firewall Free 2009 6.5.2724.381.0687.328
: 93% :  4 : Outpost Security Suite Pro 2009 6.5.2514.381.0685
: 89% :  5 : Jetico Personal Firewall 2.0.2.8.2327
: 88% :  6 : Privatefirewall 6.0.20.14
: 87% :  7 : Malware Defender 2.0.5
: 86% :  8 : PC Tools Firewall Plus 5.0.0.36
: 86% :  9 : Online Armor Personal Firewall 3.0.0.190 Free
: 85% : 10 : Netchina S3 2008 3.5.5.1
: 83% : 11 : Kaspersky Internet Security 2009 8.0.0.506
: 77% : 12 : System Safety Monitor 2.3.0.612
: 72% : 13 : ZoneAlarm Pro 8.0.059.000
: 70% : 14 : Lavasoft Personal Firewall 3.0.2293.8822
: 66% : 15 : Norton Internet Security 2009 16.2.0.7
: 62% : 16 : Dynamic Security Agent 2.0.11.22
: 55% : 17 : Comodo Firewall Pro 2.4.18.184
: 54% : 18 : Webroot Desktop Firewall 5.8.0.25
: 27% : 19 : Trend Micro Internet Security Pro 17.0.1224
: 19% : 20 : G DATA InternetSecurity 2008
: 16% : 21 : FortKnox Personal Firewall 2008 3.0.195.0
: 15% : 22 : Look 'n' Stop 2.06
: 12% : 23 : McAfee Internet Security 2009 10.0.209
: 12% : 24 : F-Secure Internet Security 2008 8.00.101
: 12% : 25 : Panda Internet Security 2008 12.01.00
: 11% : 26 : Avira Premium Security Suite 8.1.00.206
: 11% : 27 : Rising Personal Firewall 2008 20.59.10
: 11% : 28 : ZoneAlarm Free Firewall 8.0.298.000
: 06% : 29 : AVG Internet Security 8.0.93
: 05% : 30 : Ashampoo FireWall FREE 1.20
: 05% : 31 : Windows Live OneCare 2.0.2500.22
: 05% : 32 : CA Internet Security Suite Plus 2009 5.0.0.581
: 05% : 33 : Sunbelt Personal Firewall 4.6.1861.0
: 05% : 34 : ThreatFire Free 4.1.0.25
: 04% : 35 : BullGuard Internet Security 8.0.0.13
: 04% : 36 : eConceal Pro for Windows 2.0.019.1
: 04% : 37 : ESET Smart Security 4.0.417.0
: 03% : 38 : iolo Personal Firewall 1.5.2.7
: 03% : 39 : Filseclab Personal Firewall 3.0.3.8982
: 03% : 40 : Steganos Internet Security 2008 7.5.509
: 02% : 41 : Mamutu 1.7.0.23


источник:
http://www.matousec.com/projects/proactive-security-challenge/results.php