Gezocht: software voor http://Speurders.nl

Het ontwerpen en onderhouden van een website die in de top-5 van meest bezochte sites zit, is geen peulenschil. Voor internetveteraan Mark Götz was het componeren van de juiste hardware en software een uitdaging. Speurders.nl draait geheel op oss (open source software) en is van de grond af opgebouwd. Götz vertelt hoe de site tot stand is gekomen en wat de voor- en nadelen van de gebruikte producten zijn.

Mark Götz (1964) Götz verwierf faam met de parodiesite Hatchoo!, waarvoor hij samen met zijn ondernemingspartner Marc de Hond vanaf 1996 ook consultancydiensten verzorgde. Zij waren in 1999 de grondleggers van de Nederlandse vestiging van de veilingsite Ricardo, die voortkwam uit de overname van Götz' site http://Veiling.com. Een jaar nadat Ricardo fuseerde met QXL verliet Götz het bedrijf en nam hij tijd om iets nieuws te bedenken. Sinds oktober 2003 is hij sitemanager van Speurders.nl. Hij stuurt de ontwikkelaars, beheerders en servicedesk aan, beheert het budget en houdt zich bezig met productontwikkeling. Hij is eindverantwoordelijk voor het product Speurders.nl. Hij is een mengvorm van productontwerper, it'er en marketeer, waardoor hij soms tussen twee vuren zit. "Als de marketingafdeling een 'skyscraper' op de site wil plaatsen, trap ik vol op de rem. Ik begrijp dat dit voor veel sites gebruikelijk is, maar voor mij staat de gebruikerservaring voorop."

Zomer 2003: Götz, internetpionier van het eerste uur, krijgt een telefoontje van Michel van der Meer, directeur van het bij TMG (Telegraaf Media Groep) in oprichting zijnde Speurders.nl. Götz' ervaring en expertise was gewenst bij de bouw van een infrastructuur voor een handelsplatform dat binnen vijf jaar alle concurrentie moest verslaan. Aanvankelijk twijfelde hij over het commerciële karakter van TMG en de vrijheid die hij zou hebben bij de selectie van hardware, software en personeel. Het concern beloofde dat Speurders.nl een autonoom onderdeel zou worden, dat in volle vrijheid naar eigen inzicht kon handelen. Dat maakte voor Götz de weg vrij om alle opties open te houden.

Geen strategie

Allereerst oriënteerde Götz zich op bestaande software voor handelsplatformen. Zijn oog viel in eerste instantie op Rosetta, een systeem gebaseerd op asp (application service provider) met Windows 2000 (Advanced) Server, IIS5 en SQL Server 2000 enterprise edition. Rosetta is gespecialiseerd in databasegestuurde advertentiesites. Het licenseert zijn software aan derden, waaronder The Times, TravelAds en Loot.com. Het is eigenaar van Schoolbank.nl en Dienstmakkers.nl, waarvoor het zijn eigen software gebruikt.
"Het systeem was vrijwel kant en klaar, zeer modulair en gemakkelijk te beheren en uit te breiden", vertelt Götz. "Bovendien bleef de benodigde hardware beperkt tot ongeveer tien servers, terwijl we van meer waren uitgegaan. Een nadeel was dat de software nog was gebaseerd op de vorige Windows-versie (Windows 2003 Server was net uit, red.)." Hoewel Rosetta de voorkeur had, kwamen beide partijen er op financieel vlak niet uit. Rosetta startte daarop een eigen handelsplatform in de vorm van Spullenbank.nl en Speurders.nl moest terug naar de tekentafel.
De meest voor de hand liggende optie was toen om de site in eigen beheer te laten bouwen op basis van oss. Sinds het begin van de internethype draaien de sites van TMG op oss. "Daar zit niet echt een bepaalde strategie achter", vertelt Götz, "TMI Internet Services, de it-tak van TMG, gebruikte al vanaf het begin van de internethype Linux en Apache. De meeste expertise lag dus bij oss." Speurders.nl werd gebaseerd op een LAMP-omgeving (Linux Apache MySQL PHP). "Het voordeel van oss is dat er een grote gemeenschap achter schuilt. Iedereen is bereid om te helpen, software is makkelijk zelf uit te bouwen en de hele gemeenschap profiteert van de gevonden oplossingen. Het nadeel is dat je afhankelijk bent van vrijwilligers en je in geval van nood geen beroep kunt doen op ondersteuning door de leverancier."

Illegale zaken

Götz vormde een team van programmeurs en ontwikkelaars die de site vanuit het niets hebben opgebouwd. Het was vanaf het begin meteen duidelijk dat een goede 'backend' de sleutel tot succes zou zijn. "De 'frontend' kan nog zo krachtig en mooi zijn, als de 'backend' niet goed functioneert, krijg je vroeg of laat grote problemen." Hij schakelde de makers van het Poolse Allegro in, de grootste handelssite in die regio. Als directeur marketing en ict bij Ricardo had hij prettig met hen samengewerkt en wist hij wat ze in huis hadden.
Programmeurs van Allegro, eveneens gespecialiseerd in PHP en MySQL, kwamen over naar Amsterdam en werkten samen met het Speurders-team aan de achterkant van de site. Vlotte prestaties, schaalbaarheid en het gedeeltelijk automatiseren van processen was daarbij van groot belang. De 'backend' zou een totaaloverzicht van de gebruiker bieden; alles wat hij aangeboden heeft, waarop een bod is uitgebracht en mogelijk afwijkend gedrag, zoals het bieden op eigen advertenties of het aanbieden van illegale zaken. Speurders nam een 'vlaggetjessysteem' in gebruik. Daarmee wordt bij bepaalde handelingen automatisch een bepaalde score gegenereerd. Er is bijvoorbeeld een Boolean-filter dat scant op woorden als 'seks' en 'wapens'. De servicedesk loopt vervolgens de scores door en bepaalt of al dan niet een actie volgt.
"Op dit moment is dat nog niet volledig geautomatiseerd", vertelt Götz. "De servicedesk kan het nog bolwerken en het is altijd beter om een mens te laten oordelen dan een computer. We hebben wel een Bayesian-filter klaarstaan. Dat berekent verdachte elementen cumulatief en genereert een score. Op basis van een waarschijnlijkheid van bijvoorbeeld 97 procent zouden we de 'backend' zelf advertenties kunnen laten verwijderen." De advertentie verdwijnt dan en de gebruiker krijgt een waarschuwingsmail. In het beheerssysteem is de advertentie nog zichtbaar en kan de gebruiker hem eventueel aanpassen.

Voor en tegen oss Voordelen volgens Götz: grote gemeenschap iedereen is bereid om te helpen contact met de programmeur zelf is mogelijk makkelijk zelf uit te bouwen hele gemeenschap profiteert van gevonden oplossingen prijs Nadelen volgens Götz: vaak geen ondersteuning door leverancier afhankelijk van vrijwilligers sommige hardware-softwarecombinaties in nieuwe kernels werken niet goed kwaliteit van software vooraf lastig te toetsen

Gemiddeld werken er drie man per dag op de servicedesk. Zij houden zowel de advertenties als het forum in de gaten. Ook bemiddelen ze soms bij conflicten tussen kopers en verkopers en helpen ze nog wel eens bij computerproblemen. "Wanneer iemand klaagt dat Internet Explorer steeds vastloopt, kunnen we bijvoorbeeld adviseren om Firefox te gebruiken, al is dat niet onze insteek." Sinds het forum in de lucht is lossen andere gebruikers ook vaak problemen op. Bovendien worden de suggesties op het forum, bijvoorbeeld voor nieuwe rubrieken of mogelijkheden, serieus in overweging genomen. Götz: "Ik sta open voor input van iedereen, of het nu een directeur of een junior programmeur is. Een 'communitymanager' filtert goede ideeën uit het forum. Die bespreken we regelmatig in het team."

Wereldschokkend

De activiteiten van Speurders hebben tot een reorganisatie van de serverruimte bij TMG geleid. "Oorspronkelijk lag hier een 34 Mbit lijn en werd Speurders elders gehost", zegt Götz. "Toen we ervoor kozen om Speurders in de serverruimte van TMG onder te brengen, is het hele platform meteen aangepakt. Bij wereldschokkende gebeurtenissen trok de site van De Telegraaf zoveel verkeer dat de 34 Mbit-lijn volliep. Dat had uiteraard ook gevolgen voor andere sites, zoals Speurders. Er ligt nu een 10 Gbit glasvezellijn via SARA en TeleCity2, die direct aangesloten is op de AMSX. De sites van Speurders en De Telegraaf zijn fysiek gescheiden, zodat bij bijvoorbeeld een ddos-aanval (distributed denial of service) op De Telegraaf Speurders.nl daar geen hinder van ondervindt."
Als hardware is uiteindelijk Dell-apparatuur gekozen, voornamelijk omdat de beheerders er al mee werkten, de apparatuur goed voldeed en het financieel interessant was vanwege een reeds bestaand contract van TMG. In de serverruimte pronken momenteel zo'n vijftig servers, waarvan driekwart is uitgerust met elk twee 2,8 GHz Intel Xeon-processoren en een kwart met elk vier chips. Ieder systeem heeft 4 GB geheugen. Er zijn ongeveer vijftien databaseservers en één masterserver. Daarnaast staan er web- en applicatieservers, proxy's en switches.
Götz vertelt dat zijn strategie bewust gericht is op 'overkill'. "Bij het ontwerpen van de site hebben we de lat vrij hoog gelegd. We zijn gestart met vijftien servers en flink wat personeel. Ik vind het ontzettend belangrijk om groeiruimte te hebben en tegelijkertijd rekening te houden met onverwacht gedrag. It'ers hebben vaak de neiging om situaties krap in te schatten. Daarom heb ik bovenop alle adviezen flink wat extra marge gepland." Aan de enorme groei van het aantal servers te zien heeft Götz dat goed ingeschat. Momenteel worden 38 van de vijftig servers actief gebruikt. Speurders heeft elke dag grofweg zeshonderdduizend bezoekers, waarbij dagelijks een TB aan bandbreedte wordt verbruikt. "Op pieken verbruiken we 300 Mb per seconde."
 
'Ik ook'-product
Götz startte in november 2003 met het functioneel ontwerpen van de site. Een maand later was hij klaar. Na de vastgelopen onderhandelingen met Rosetta begon de bouw in januari 2004. De lancering is vier keer uitgesteld. De prestaties bijvoorbeeld bleken in eerste instantie onvoldoende. Tijdens de laatste testfase bleek dat enkele functies niet correct geïmplementeerd waren. Bovendien waren er niet voldoende garanties dat bepaalde mogelijkheden overeind zouden blijven bij hoge belasting. Uiteindelijk ging de site in augustus 2004 live en volgde de officiële introductie in september.
"We hebben in eerste instantie bewust gekozen voor een 'ik ook'-product. We wilden nog veel meer functionaliteit inbouwen, maar besloten te starten met een basisproduct en dat langzaam uit te bouwen naar het platform dat we oorspronkelijk in gedachten hadden." Het 'soft launch'-principe is standaard bij Speurders. Nieuwe functionaliteit wordt eerst getoetst door een ontwerpbureau, vervolgens ontworpen en getest door programmeurs en de servicedesk, en gaat dan pas live. "Je kunt zoveel stresstests uitvoeren als je wilt, in de praktijk kan het gedrag van een gebruiker compleet anders zijn dan je hebt ingeschat. Dat kan het systeem volledig onderuit halen. Tijdens de softlaunchperiode kunnen gebruikers de nieuwe functionaliteit al uitproberen, maar geven we er naar buiten toe geen ruchtbaarheid aan. Pas wanneer het geheel goed functioneert en geoptimaliseerd is, kondigen we het officieel aan op de hoofdpagina en bij de pers. Onlangs ontdekte de pers dat Speurders al 'cross sell'-diensten aanbood in combinatie met de krant De Telegraaf, terwijl dit officieel nog niet was aangekondigd."
 

http://www.speurders.nl
http://www.rosetta.nl
http://www.allegro.pl
http://www.apache.org
http://www.mysql.com
http://www.php.net

 
Jeroen Horlings