Hazelcast bereikt mijlpaal streamverwerking met miljard events per seconde

Het Hazelcast In-Memory Computing Platform biedt hoge snelheid, cloud-native, gedistribueerde stateful stream processing mogelijkheden geïntegreerd met in-memory storage om software- applicaties aan te sturen met de hoogste doorvoer en laagste latency eisen. High-performance softwaresystemen zijn vandaag de dag nodig voor batchberekeningen op grote datasets die nodig zijn in elke datagestuurde organisatie. Deze systemen bieden ook de ruimte in transactieverwerking en streaming analytics om meer werk in minder tijd uit te voeren. Dit geeft bedrijven meer vrijheid om te experimenteren en nieuwe kansen voor concurrentievoordeel te identificeren.

Het prestatieniveau dat in deze benchmark werd aangetoond, is bijzonder waardevol voor verbeterde machine learning (ML) en AI, bijvoorbeeld bij fraudedetectie en andere taken die geautomatiseerde, real-time beslissingen vereisen. Dergelijke algoritmen worden steeds complexer, nemen steeds meer middelen in beslag en eisen steeds grotere nauwkeurigheid. Kosteneffectieve verwerkingskracht is dan ook cruciaal om voortdurende evolutie en verbetering mogelijk te maken en tegelijkertijd de uitgaven onder controle te houden.

"Ik doe al jaren onderzoek naar stream processing systemen en open source, en ik was erg onder de indruk toen ik deze benchmark resultaten zag," zegt Asterios Katsifodimos, assistent-professor aan de TU Delft. "De streamverwerking van een miljard events per seconde vraagt in de wereld van JVM om nauwgezette parametrisatie en de inzet van duizenden CPU-cores. En zelfs dan is er sprake van latency van enkele seconden. Hoewel de meeste praktijktoepassingen om veel minder doorvoercapaciteit vragen dan een miljard gebeurtenissen per seconde blijkt uit deze benchmark dat Hazelcast Jet gigantische datastreams kan verwerken bij een latency in de orde van grootte van milliseconden. Dit vereist slechts een geringe investering in cloud-nodes, zodat er een groot deel van het budget overblijft voor high availability-implementaties."

“Een miljard events per seconde lijkt vandaag de dag misschien wat overdreven, maar data staat aan de vooravond van een volgende explosie nu steeds meer applicaties naar de cloud en uiteindelijk naar de edge verhuizen," zegt John DesJardins, CTO van Hazelcast. "Door samenwerking met partners waaronder IBM en Intel en dit te combineren met het Hazelcast-platform weten klanten zeker dat hun applicaties grote hoeveelheden data in real-time kunnen verwerken en berekenen, terwijl de hardware-kosten onder controle blijven."

Lees hier verder voor het volledige bericht