Volgens schattingen bestaat de mail van eenderde van alle mailgebruikers ter wereld voor meer dan 80 procent uit spam. Spamfilters zijn dus geen luxe, maar noodzaak. Zes servergebaseerde spamfilters zijn op hun efficiëntie getest.
Hoe is getest Voor deze test is een gestandaardiseerde verzameling mails voor een spamfiltertest gebruikt: het LingSpam Corpus. Deze verzameling is samengesteld door I. Androutsopoulos, J. Koutsias, K.V. Chandrinos, George Paliouras, en C.D. Spyropoulos voor hun publicatie An Evaluation of Naive Bayesian Anti-Spam Filtering. De makers hebben deze verzameling vrijgegeven, waarvoor dank. We hebben deze testberichten door elke spamfilter laten verwerken en genoteerd hoeveel berichten een filter als spam markeerde en hoeveel valse positieven en valse negatieven daaruit voortvloeiden. Een spamfilter moet gemakkelijk toe te voegen zijn aan het bestaande mailsysteem. Of hij gaat vergezeld van een goed stel voorgedefinieerde triageregels (regels die zorgen voor een drievoudige classificatie, bijvoorbeeld ‘goed’, ‘fout’ en ‘verdacht’), of de gebruiker moet de filter zelf van triageregels voorzien. Spamfilters die de inhoud van de berichttekst niet of onvoldoende controleren, maar die uitsluitend of in hoofdzaak steunen op het herkennen van spam op basis van de administratieve informatie in een bericht-‘header’ (de inhoud van het van- en naar-veld) of verwijzingen naar externe sites die bekend zijn in een spamdatabase, of die berichten filteren op basis van ip-adres of domeinnaam van de zendende mailserver, zullen struikelen over de testprocedure. Dit wil niet zeggen dat het daarom slechte spamfilters zijn. Spam filteren op basis van de administratieve informatie kan effectief en gemakkelijk zijn: gewoonlijk haal je hiermee al 90 procent van de spam eruit. Dit kan echter zowat ieder product bieden, want bl-servers (blacklist) op internet helpen met het identificeren van spam via de mailservers die dat verspreiden. Er is dus nooit een excuus om zoiets niet in te bouwen. Wij vinden dat een spamfilter ook zonder externe hulp moet kunnen filteren. Dat kan alleen maar als hij ook werkelijk de berichttekst onderzoekt. Doet hij dat niet, dan faalt hij in deze test. Zonder elke spamfilter in een ‘live’ omgeving te plaatsen en gedurende een periode van bijvoorbeeld een maand via internet binnenkomende spam te filteren, zien we hier geen oplossing voor. De ‘live’ test heeft allerlei nadelen die hem vrijwel ontoepasbaar maken. Hij kost veel te veel tijd. Bovendien krijgt iedere spamfilter niet exact dezelfde berichten aangeboden, wat een onderlinge vergelijking moeilijk zo niet onmogelijk maakt. Daarom is deze test met behulp van het LingSpam Corpus maar één van de beoordelingscriteria voor de kwaliteit van de geteste spamfilters (uiteindelijk telt het mee voor 25 procent van de prestatiescore). Daarnaast tellen in het eindresultaat ook mee: de algemene specificaties van de filter (20 procent), de kwaliteit van de filtering van de bericht-‘headers’ (20 procent), de specificatie van de regels (20 procent) en de afhandeling van verdachte mails (15 procent). |
Zelflerend
De producent van een spamfilter kan een verzameling regels meeleveren die in de praktijk hun waarde hebben bewezen. Dat is prima, maar gewoonlijk kost een dergelijke oplossing meer geld. De tweede oplossing, een zelflerende spamfilter, is goedkoper, maar kost meer tijd. Hoe meer berichten zo’n spamfilter verwerkt, hoe beter hij wordt in het onderscheiden van spam. Dit is wel arbeidsintensief, omdat de systeembeheerder de spamfilter zal moeten begeleiden en corrigeren. Zo’n zelflerende spamfilter heet een ‘Bayesian filter’ ofwel Bayesiaanse filter, naar de zeventiende-eeuwse bedenker van de basisprincipes voor het achterliggende algoritme.
Bij zelflerende filters is het leerproces cruciaal. Als ze niet genoeg getraind worden, zullen ze slecht functioneren bij het filteren. Alleen na voldoende training worden zelflerende filters pas echt goed in het filteren van spam. Veel spamfilters kunnen contact opnemen met een of meer externe bl-servers (blacklist) op internet om na te gaan of een mailserver op een zwarte lijst staat. De bl-server met de beste reputatie is die van mail-abuse.org, maar die is niet gratis. De testers hebben zelf vrij goede ervaringen met twee gratis publieke bl-servers: relays.ordb.org en bl.spamcop.net.
CA eTrust Secure Content Management Gateway
De eTrust Secure Content Management Gateway of kortweg SCM kan smtp-verkeer onderscheppen en daar virussen, spam en andere ongewenste dingen uit halen, en het http-verkeer bewaken en waar nodig blokkeren. In deze test gaat het alleen om de spam, dus negeren we de andere functies.
Met de SCM Manager Console zijn meerdere SCM’s op afstand te beheren. Voor het onderdeel smtp-bewaking kan de beheerder verschillende reglementen definiëren, bijvoorbeeld voor inkomende en voor uitgaande post. Een reglement kan van toepassing zijn voor bepaalde toegangspoort- en doeladressen, voor bepaalde tijdstippen en voor een bepaalde richting van de post. Een reglement bestaat uit een verzameling regels. Een regel is in principe een inhoudsfilter. Er zijn al veel regels en filters voorgedefinieerd, en de gebruiker kan daar zelf nieuwe bijmaken. Deze spamfilter zou in een echte werkomgeving zowat alles moeten blokkeren, maar als hij alleen op de berichtinhoud kan afgaan, zoals in deze test, gaat hij nogal vaak de mist in. Wel heeft hij meer dan voldoende filterlagen om dat te compenseren.
CleanPort Managed E-mail Filtering
CleanPort is in tegenstelling tot de andere producten in deze test een ‘hosted’ antispamoplossing. Om CleanPort te kunnen gebruiken, is alleen een eigen domeinnaam nodig. Je laat de MX-records van dat domein wijzen naar de mailservers van CleanPort. De CleanPort filterdienst haalt dan spam, virussen en virushoaxes eruit voordat de mail bij de eigen mailserver wordt afgeleverd.
Standaard zet CleanPort alle gefilterde mail in een quarantainefolder. Die kan de gebruiker bekijken om onterecht geblokkeerde mails terug te halen. Omdat het om een uitbestede dienst gaat, verloopt alle beheer via de webbrowser. Binnen een domein kan de beheerder meerdere gebruikers definiëren en dan voor elke gebruiker de te gebruiken diensten en filters bepalen. Hij kan zelf het niveau van de ingebouwde heuristische spamfilter bepalen. Door het niveau van deze heuristische filter te verhogen kan je meer spam blokkeren, maar dat verhoogt ook de kans op valse positieven.
CleanPort filtert mail in meerdere lagen, net zoals de andere producten in deze test. Hij baseert zich in grote mate op wat de testers de administratieve informatie in mails noemen. Daarmee haalt een filter effectief meer dan 90 procent van alle spam eruit. Als CleanPort zich echter uitsluitend op de berichttekst moet baseren, blijkt hij niet zo succesvol in het wieden.
GFI MailEssentials
Mail Essentials 10.1 of kortweg ME integreert naadloos met Exchange Server 2000. Hoewel ME ook samenwerkt met Exchange Server 5.5, is er dan geen sprake van naadloze integratie. De configuratie van MailEssentials valt uiteen in drie stukken: antispam, mailbeheer en algemeen. Antispam omvat alles wat maar te gebruiken valt om een mailbericht als spam of ham te classificeren: witte en zwarte lijsten, zenderreglementen, controle van ‘headers’ en sleutelwoorden, en een Bayesiaanse analyse. De Bayesiaanse filter is te trainen aan de hand van de eigen uitgaande mail. Helaas is het niet mogelijk de Bayesiaanse filter te trainen met een verzameling berichten die reeds gescheiden zijn in spam en ham.
Van alle mails kan de gebruiker opgeven wat ermee moet gebeuren zodra ze niet voldoen aan zijn regels: quarantaine, doorsturen met een vermelding ‘spam’ of omleiden naar een specifiek mailadres. In feite is dat op te geven voor elke specifieke laag van controles. Het is dus mogelijk iets anders te doen met een mail als hij als spam bestempeld wordt door een domeinnamencontrole dan als dat het geval is vanwege ontdekte sleutelwoorden of het resultaat van de Bayesiaanse analyse. GFI MailEssentials biedt een goede spamfilter die, als hij alleen op berichtteksten kan afgaan nog redelijk goed werkt.
NetIQ MailMarshal
Het beheer van NetIQ MailMarshal kan gebeuren met een lokale console, de MailMarshal Configurator, en een webconsole waarmee je op afstand bij MailMarshal kunt. Er zijn twee webconsoles: een beheerconsole voor de netwerkbeheerder en een spamconsole voor het beheren van de mails en wat er mee gebeurd is. Dat laatste kan de verantwoordelijkheid zijn van iemand anders dan de netwerkbeheerder. Het is mogelijk meer MailMarshal-systemen onderling te laten samenwerken in een ‘array’.
Een mailbeleid of -beveiligingsreglement bestaat uit een verzameling regels die afzonderlijk te activeren of uit te zetten zijn. De beheerder kan de regels bewerken en zelf nieuwe regels aanmaken. Er zijn al een flink aantal regels meegeleverd. De reglementelementen zijn onderdelen van regels, zoals gebruikers, groepen, folders en virusscanners. De beveiligingsregels hebben te maken met inkomende of uitgaande mails, virussen, spam, inhoudsfiltering en archivering en bewaking. Verder is er een rapportagemodule op basis van Crystal Reports. NetIQ blijkt vrij goed te zijn in het tegenhouden van spam als hij alleen kan afgaan op de berichttekst. Combineer dat met de filterlagen in verband met de administratieve informatie en de gebruiker is ervan verzekerd dat er weinig mail ongewenst doorkomt.
Sophos PureMessage Small Business Edition
Sophos PureMessage is een toegangspoortsoftware-oplossing om het mailverkeer ‘puur’ te houden – vandaar de naam. Er zijn versies voor Windows en Unix. De Windows-versie kan werken met een gewone smtp-dienst zoals die standaard op Windows 2000 en 2003 servers zit of met een Exchange-server. De PureMessage beheerconsole kan, maar hoeft niet, op een ander systeem draaien dan de eigenlijke PureMessage-toegangspoort.
De nadruk ligt op de viruscontrole. Het programma wekt de indruk dat het oorspronkelijk om een pure antivirustoegangspoort ging die naderhand uitbreidingen kreeg voor inhoud- en spamfiltering. Als we op het tabblad ‘Spam’ klikken, zien we dat de spamfilter standaard uitgeschakeld staat. De enige spaminstelling bestaat uit twee schuifregelaars waarmee je de spamcontrolediepgang kunt bepalen voor spam en veronderstelde spam. Als er te veel valse positieven zijn, schuif je een of beide regelaar(s) naar links. Als er te weinig spam geblokkeerd wordt, kan je ze naar rechts schuiven om een sterkere controle mogelijk te maken – dat verhoogt echter de kans op valse positieven. Hoewel de documentatie van Sophos spreekt over spamscores, blijkt er geen manier te zijn om die zelf te bepalen of om bepaalde scores te veranderen. De regelaars staan standaard ingesteld om alles vanaf een score van 90 (op 100) als spam te beschouwen en alles vanaf score 50 als verdacht.
Uit de testresultaten blijkt dat Sophos helemaal niet goed is in het tegenhouden van spam op basis van de berichtinhoud: de gebruiker moet het echt hebben van witte en zwarte lijsten.
Symantec BrightMail AntiSpam
Symantec BrightMail AntiSpam bestaat uit de BrightMail Scanner, die het eigenlijke filteren van het smtp-verkeer uitvoert, en het BrightMail Control Center (BCC), waarmee je alles beheert. Het is mogelijk om alles op één server te installeren, maar dat is alleen aan te raden voor kleinschalige toepassingen. BCC toont een traditioneel tabblad met telkens links een menustructuur en rechts daarvan een centraal paneel met alle deelinformatie en -instellingen.
Het tabblad ‘Settings’ is het uitgebreidst. Het is onderverdeeld in ‘Antispam’, ‘Antivirus’, ‘Content Filtering’ en ‘System Settings’. Het menu Antispam laat de beheerder witte en zwarte lijsten definiëren, de spamscores instellen en eventueel de toegestane talen van mails beperken. Het menu Inhoudsfiltering is in feite een manier om extra zoektermen te definiëren waarmee je alsnog mails kunt weren. Er zijn er geen voorgedefinieerd.
Bij de systeeminstellingen vinden we het mailbeleid voor de diverse groepen. Standaard is er één groep ‘Default’ gedefinieerd met beveiligingsregels voor spam, vermoede spam, geblokkeerde afzenders, virussen, wormen, bijlagen die niet op virussen te controleren zijn en inhoud die specifiek is voor de organisatie. Voor elke regel staat aangegeven wat er met het bericht moet gebeuren. De beheerder kan verschillende groepen aanmaken voor bijvoorbeeld de diverse afdelingen van de organisatie, met voor elke groep eigen regels.
BrightMail blijkt, als hij zich alleen op de berichttekst moet baseren, het zekere voor het onzekere te nemen en levert alle legitieme mail netjes af zonder ook maar iets te blokkeren, terwijl hij nog bijna de helft van de spam in de test wist te blokkeren. In combinatie met de andere beveiligingslagen zijn we er dus zeker van dat BrightMail alleen rommel blokkeert en zeker geen legitieme mails.
Conclusie
In deze test zijn we het meest onder de indruk van Symantec BrightMail. Het biedt veel functionaliteit, heeft een uitstekende filterwerking en is redelijk geprijsd. Op de tweede plaats komt GFI, terwijl NetIQ en Sophos de derde plaats delen.
Download de specificaties
Johan Zwiekhorst, Jozef Schildermans