Twenga, de wereldwijde online shopping zoekmachine die onlangs een lokale site in Nederland opende, laat haar ‘zware’ website hosten bij hostingprovider LeaseWeb, een grote reseller van Dell-servers met veel Dell-apparatuur op voorraad. Twenga heeft in eerste instantie ruim 100 servers nodig, voornamelijk om alle productgegevens te onttrekken aan e-commerce websites die door Twenga geïndexeerd zijn. De servers zijn door hostingprovider LeaseWeb ondergebracht in het CO2-neutrale datacenter EvoSwitch.
Twenga vergelijkt meer dan 70 miljoen producten met elkaar, binnen 100.000 productcategorieën bij duizenden e-commercesites over de hele wereld. De shopping-engine maakt daarvoor gebruik van een zelf ontwikkelde crawl- en zoektechnologie. Twenga is een productvergelijkingsite, maar onbevooroordeeld en daarmee wezenlijk anders dan andere sites zoals Kelkoo, Shopping.com of Ciao.com.
Twenga wilde Nederlandse hostingprovider
Twenga breidt snel uit, in Europa maar ook wereldwijd. Daarom wil de directie van Twenga graag een hostingprovider die in Nederland is gevestigd. "Nederland ligt geografisch en vanuit internetperspectief gezien heel centraal," zegt Cédric Anes, technisch directeur en mede-oprichter van Twenga. "Amsterdam is een belangrijk internetknooppunt, waar de belangrijkste telecomcarriers bij elkaar komen. Dat we dus een goede partij in Nederland hebben gevonden, daar zijn we heel blij mee."
Crawlerservers, webservers, databaseservers…
LeaseWeb levert aan Twenga een dedicated hosting oplossing op basis van Linux, die gebruik maakt van het omvangrijke hosting netwerk van LeaseWeb (met een capaciteit van momenteel 210 Gbps). De snelgroeiende oplossing telt in eerste instantie meer dan 100 servers, verdeeld over verschillende 19-inch racks in CO2-neutraal datacenter EvoSwitch (www.evoswitch.com). Het ontwerp voor de hosting oplossing is ontwikkeld door de engineers van Twenga in samenwerking met de engineers van LeaseWeb. De server apparatuur is van Dell, waaronder crawlerservers, search servers, webservers en databaseservers. Ook levert LeaseWeb netwerkapparatuur van Cisco, waaronder firewalls, switches en loadbalancers. LeaseWeb zorgt verder 24×7 voor installatie, beheer en kennisintensieve ondersteuning.
Eigen technologie: De TwengaBot
Het meeste internetverkeer dat Twenga bij LeaseWeb verbruikt is afkomstig van de crawler, een zelf ontwikkelde webbot – de TwengaBot – die per dag meer dan 100 miljoen webpagina’s scant. De TwengaBot verzamelt de productgegevens van meer dan 30.000 e-commerce websites die momenteel door Twenga zijn geïndexeerd. "De TwengaBot vraagt om veel internetcapaciteit van onze hostingprovider," zegt Anes. "In totaal verbruiken we nu 2000 Terabyte aan bandbreedte per maand, maar die hoeveelheid groeit sterk. Driekwart ervan komt van de crawler, maar LeaseWeb heeft gelukkig nogal wat bandbreedte beschikbaar."
Binnen 2 jaar meer dan 500 servers
De zwaarte van de crawltechnologie zal in de nabije toekomst nog veel meer hardwarematige capaciteit vragen. "Een goede shopping zoekmachine, die accurate resultaten toont met de goede producten en de goede prijzen, heeft veel capaciteit nodig," zegt Anes. "De Twenga Boot gebruikt momenteel ongeveer 100 servers, die met elkaar zo’n 100 miljoen webpagina’s per dag scannen, maar dagelijks zullen de engineers van LeaseWeb nieuwe servers voor ons erbij moeten plaatsen. Al binnen twee jaar verwacht ik zelfs meer dan 500 servers in het datacenter nodig te hebben."
Straks virtualiserenOp termijn wil Anes de hosting oplossing bij LeaseWeb gaan virtualiseren, maar eerst wil hij nog wat meer kennis over virtualisatie in zijn eigen organisatie gaan opbouwen. "LeaseWeb heeft nauwe banden met VMware en kan met haar expertise ons straks helpen bij het vinden van de juiste virtualisatie-oplossing," zegt Anes. "Daarmee wordt onze infrastructuur schaalbaarder en kunnen we de capaciteit in het datacenter straks efficiënter gaan benutten."
Anders dan Kelkoo en Shopping.com
Twenga is in 2006 opgericht door Cédric Anes en Bastien Duclaux, die een gat in de markt zagen voor een onbevooroordeelde en uitgebreide online shopping zoekmachine. Twenga is een productvergelijkingsite, maar wezenlijk anders dan andere sites zoals Kelkoo, Shopping.com of Ciao.com. Twenga heeft namelijk geen commerciële deals die de zoekresultaten beïnvloeden. Consumenten krijgen daardoor puur objectieve en dus eerlijke zoekresultaten op hun scherm wanneer zij van Twenga gebruik maken.
