Soda en GoDataDriven werken samen aan optimale datakwaliteit

Apache Spark is een van de meest populaire open source-projecten ter wereld, met meer dan 1.000 bijdragers van meer dan 250 organisaties. De populariteit van Spark wordt gedreven door zijn vermogen om grote datasets snel te kunnen verwerken, API's die flexibiliteit en eenvoudige migratie naar gedistribueerde frameworks mogelijk maken en veelzijdigheid bij het verbinden met vrijwel elke gegevensbron. Maar met zoveel organisaties die op deze data vertrouwen om dataproducten te bouwen en te onderhouden, ontbrak het datateams tot nu toe aan de transparantie die nodig is om de datakwaliteit te waarborgen. In samenwerking met GoDataDriven, wiens klanten onder meer Ahold, Bol.com, Unilever, Mollie en ING zijn, heeft Soda Soda Spark uitgebracht, de nieuwste OSS-release om een gemeenschappelijke oplossing te bieden voor een veelvoorkomend probleem voor data-engineers.

 

Soda Spark maakt deel uit van een groeiend pakket OSS-tools voor databetrouwbaarheid voor technici die werken in data-intensieve omgevingen waar datakwaliteit van het grootste belang is. Met behulp van de Soda Spark-bibliotheek kunnen data-engineers fouten van mislukte tests loggen met behulp van hun gewenste logsysteem of via Soda Cloud en zo voorkomen dat zij corrupte gegevens naar hun datameren schrijven. En omdat Spark DataFrames onafhankelijk van gegevensbronnen zijn, kunnen Soda Spark-scans worden uitgevoerd op verschillende gegevensbronnen, waaronder Amazon Athena, Amazon Redshift, Google Big Query en Snowflake.

 

"Transparantie creëert vertrouwen in data dat de katalysator wordt voor een organisatie om echt data-enabled te zijn en zelfverzekerde, datagestuurde beslissingen te nemen", legt Niels Zeilemaker, CTO, GoDataDriven uit. “In Soda herkenden wij een gedeelde overtuiging in het verbeteren van end-to-end workflows voor gegevensproblemen, zodat datateams de mogelijkheid hebben om prioriteiten te stellen en problemen op te lossen op basis van een holistische kijk op wat er in een hele organisatie gebeurt. Lage technische barrières en de levendige ontwikkelaarsgemeenschap van Soda zorgen voor het ideale platform om aan de behoeften van onze klanten te voldoen, te beginnen met de gezamenlijke ontwikkeling van een Spark-integratie die de workflow voor datakwaliteit verder uitbreidt."

 

Door de enorme hoeveelheid dagelijks geproduceerde data, is het vermogen van Spark om ongelijksoortige mogelijkheden voor gegevensverwerking te verenigen, zodat ontwikkelaars één enkel framework kunnen gebruiken om aan al hun verwerkingsbehoeften te voldoen, een cruciaal onderdeel van de moderne datastack geworden. Spark verandert de zakenwereld fundamenteel door bijvoorbeeld on demand videostreaming die precies is afgestemd op de voorkeuren van kijkers mogelijk te maken, maar ook banken die enorme hoeveelheden machine learning-gegevens verwerken te ondersteunen bij fraudepreventie.

 

"Om echte end-to-end waarneembaarheid te bereiken over de hele levenscyclus van dataproducten, moet iedereen in een datateam - van data-engineers tot analisten - data kunnen begrijpen, erop kunnen vertrouwen en er bovenop kunnen blijven zitten", zei Maarten Masschelein, CEO & medeoprichter van Soda. “Door onze samenwerking met GoDataDriven, een adviesbureau dat een uitstekende reputatie heeft opgebouwd door nauw samen te werken met enkele van de meest prominente merken in Nederland en Duitsland, biedt Soda de end-to-end workflows voor datakwaliteit en data-engineeringpraktijken om het vertrouwen in gegevens mogelijk te maken dat organisaties nodig hebben om echt geïnformeerd te worden over gegevens.”

 

Soda Spark wordt geleverd als open source-software onder de Apache-licentie en wordt gratis aangeboden op GitHub. Het product wordt uitgevoerd in de cloud of op de lokale systemen van data-engineers. Ga naar de Soda documentatie (https://docs.soda.io/soda-spark/install-and-use.html) voor meer informatie en hoe je aan de slag kunt gaan.

 

Over Soda

Soda is het bedrijf voor databetrouwbaarheid dat Open Source (OSS) en SaaS-tools biedt waarmee datateams problemen met gegevens kunnen vinden, prioriteren en oplossen. De missie van Soda is om iedereen dichter bij de gegevens te brengen, wat resulteert in dataproducten en -analyses waarop iedereen kan vertrouwen. Soda is een van de 2021 Gartner® Cool Vendors™ in Data Management [1], erkenning en validatie voor onze aanpak voor het oplossen van de grootste uitdaging op het gebied van gegevensbeheer waarmee moderne organisaties worden geconfronteerd: ervoor zorgen dat betrouwbare gegevens van hoge kwaliteit beschikbaar zijn om zelfverzekerde besluitvorming mogelijk te maken, klanten bedienen en tevredenstellen en processen verbeteren. Ga voor meer informatie naar soda.io.

 

Over GoDataDriven

GoDataDriven helpt 's werelds 250 beste bedrijven en categorieleiders om data-innovatie te omarmen, de nieuwste data- en AI-technologieën toe te passen en data- & AI-trainingsprogramma's binnen de gehele onderneming op te zetten. GoDataDriven maakt deel uit van Xebia (xebia.com), een wereldwijde IT-pionier die hoogwaardige adviesdiensten levert die alle aspecten van digitale transformatie dekken. Van softwareontwikkeling tot cloud, data, AI, softwareconsultancy, DevOps en Agile. Tot zijn klanten behoren onder meer Disney, Ahold Delhaize, Tesco, Philips en de ING bank. Xebia heeft 3.100 mensen in dienst die werken vanuit strategisch gelegen kantoren in Europa, APAC, VAE, het VK en de VS en heeft een omzet van meer dan 200 miljoen euro in de laatste vier kwartalen. Bezoek www.godatadriven.com voor meer informatie.