Nieuwe Lakeflow Designer biedt een visuele drag-and-drop interface voor productieklare datastromen
Data- en AI-bedrijf Databricks kondigt vandaag de preview aan van Lakeflow Designer. Deze nieuwe no-code ETL-oplossing stelt niet-technische gebruikers in staat om productieklare datastromen te bouwen via een visuele drag-and-drop interface en een GenAI-assistent die natuurlijke taal begrijpt. Lakeflow Designer is onderdeel van Lakeflow, de uniforme oplossing waarmee data engineers sneller betrouwbare datastromen kunnen ontwikkelen met alle bedrijfskritische data. Lakeflow is nu algemeen beschikbaar.
Tot nu toe stonden ondernemingen voor een lastige keuze: enerzijds konden analisten pipelines bouwen met no-code/low-code tools, maar moesten ze inboeten op governance, schaalbaarheid en betrouwbaarheid. Anderzijds waren ze afhankelijk van technische data engineering-teams om productieklare pipelines te coderen. Vaak zijn die teams echter al overbelast en hebben ze ellenlange backlogs. Hierdoor ontstaan hybride omgevingen die lastig te beheren zijn. Wat datagedreven organisaties nodig hebben, is het beste van deze twee werelden: no-code datapipelines mét governance, schaalbaarheid en betrouwbaarheid.
“De druk op organisaties om hun AI-plannen uit te breiden wordt steeds groter. Door snel de juiste data op de juiste plek te krijgen, kunnen slimme toepassingen sneller worden ontwikkeld”, zegt Ali Ghodsi, medeoprichter en CEO van Databricks. “Met Lakeflow Designer kunnen meer mensen binnen een organisatie productieklare datastromen bouwen. Zo kunnen teams sneller hun ideeën omzetten in resultaten.”
Lakeflow Designer: AI-native drag-and-drop data prepping voor de bedrijfsanalist
De nieuwe Lakeflow Designer stelt bedrijfsanalisten in staat om no-code ETL-datastromen te bouwen met natuurlijke taal en een visuele drag-and-drop gebruikersinterface. Dit biedt dezelfde schaalbaarheid, governance en beheersgemak als pipelines die door data engineers zijn gebouwd. Dankzij de integratie met Lakeflow, Unity Catalog en de Databricks Assistant neemt de nadelen rond no-code-oplossingen weg; niet-technische gebruikers krijgen de snelheid en flexibiliteit om zakelijke vraagstukken op te lossen, en data engineers worden niet verder belast met extra beheer- of governance-uitdagingen.
Nieuwe functionaliteiten in Lakeflow
– Algemene beschikbaarheid Lakeflow: vanaf vandaag is Lakeflow algemeen beschikbaar als uniforme oplossing die alle aspecten van data-engineering verenigt en vereenvoudigt: van data-vergaring tot transformatie en orkestratie. Nieuw zijn declaratieve pipelines, waarmee data engineers van A tot Z productieklare pipelines kunnen bouwen in SQL of Python zonder dat ze de onderliggende infrastructuur hoeven te beheren.
– Nieuwe ontwikkelervaring voor data engineering: Lakeflow heeft nu een volledig nieuwe ontwikkelomgeving die het ontwikkelen van datastromen sneller en efficiënter maakt dankzij AI-ondersteunde codering, debugging en validatie binnen één geïntegreerde gebruikersinterface.
– Nieuwe connectors voor datavergaring: Lakeflow Connect wordt uitgebreid met nieuwe gebruiksklare connectors voor Google Analytics, ServiceNow, SQL Server, SharePoint, PostgreSQL en SFTP. Deze connectors zijn in aanvulling op de reeds beschikbare connectors voor Salesforce Platform en Workday Reports.
– Direct schrijven naar Unity Catalog met Zerobus: Zerobus stelt ontwikkelaars in staat om grote hoeveelheden event-data in bijna real-time direct naar hun lakehouse te schrijven zonder extra infrastructuur zoals een message bus. Deze serverloze infrastructuur levert prestaties op schaal voor IoT-events, clickstream-data, telemetrie en andere event-gedreven toepassingen.
“De nieuwe editor brengt alles samen: code, pipeline-overzicht, resultaten, configuratie en troubleshooting. Geen gedoe meer met talloze browsertabs of het verliezen van context. Ontwikkeling van datastromen is nu veel gerichter en efficiënter. Ik zie direct het effect van elke codewijziging. Met één klik ga ik naar de juiste foutregel, wat debugging versnelt. Alles is met elkaar verbonden: van code naar data, van code naar tabellen en andersom. Wisselen tussen verschillende pipelines is eenvoudig en features zoals automatisch geconfigureerde utility folders halen de complexiteit weg. Dit voelt als hoe pipeline-ontwikkeling hoort te zijn”, zegt Chris Sharratt, Data Engineer bij Rolls-Royce.
“Met de Salesforce-connector van Lakeflow Connect dichten we voor Porsche een belangrijk gat op het gebied van gebruiksgemak en prijs. Op deze manier creëren we een geheel nieuwe klantervaring waardoor de band tussen Porsche en de klant wordt versterkt, dankzij een duidelijke en samenhangende klantreis”, aldus Lucas Salzburger, Project Manager, Porsche Holding Salzburg.
Beschikbaarheid
Tijdens de Data + AI Summit is Databricks Lakeflow algemeen beschikbaar geworden. De nieuwe ontwikkelomgeving voor data engineering is in publieke preview. De nieuwe data connectors zijn beschikbaar in verschillende releasefases en Zerobus start in private preview. Lakeflow Designer komt kort na de Data + AI Summit beschikbaar in private preview.
