It-consultancybedrijf Xebia heeft in samenwerking met AvroTros een geavanceerde gen-ai-oplossing ontwikkeld die de omroep helpt te begrijpen wat kijkers aantrekt of juist doet afhaken.
Het innovatieve systeem analyseert en labelt videomateriaal automatisch. De software identificeert onderwerpen en personen in tv-programma’s, en koppelt deze gegevens aan kijkcijfers. Zo wordt zichtbaar welke onderwerpen en gasten invloed hebben op de kijkcijfers. Om in te spelen op de voorkeuren van kijkers, heeft de omroep behoefte aan meer inzicht in de kijkcijfers.
Tot nu toe moesten redacteuren handmatig urenlange uitzendingen doorlopen om onderwerpen en personen te labelen, een tijdrovend proces dat slechts voor een beperkt aantal programma’s haalbaar was. De door Xebia ontwikkelde technologie automatiseert deze taak volledig, met een nauwkeurigheid van circa negentig procent, waardoor nu de volledige programmering is te analyseren.
Personen in beeld
De oplossing combineert drie krachtige ai-technologieën: spraakherkenning zet gesprekken om in tekst, ai identificeert relevante onderwerpen, en beeldherkenning detecteert personen in beeld. Het systeem draait op Google Cloud Platform en maakt gebruik van Google Speech API voor taaldetectie en transcriptie, Gemini voor het extraheren van onderwerpen, en Google Video Intelligence API voor gezichtsherkenning.
De gegenereerde data worden opgeslagen in een vectordatabase, waardoor redacteuren snel kunnen zoeken in duizenden uren aan videomateriaal. Een intuïtieve webapp stelt hen in staat om automatisch gegenereerde labels te beoordelen en indien nodig te corrigeren.
Dankzij de automatische detectie van onderwerpwisselingen en personen in beeld, kan AvroTros nauwkeurig analyseren welke segmenten van programma’s op de meeste bijval kunnen rekenen. Dit bespaart niet alleen kostbare uren aan handmatig werk, maar stelt de redactie ook in staat om programma’s af te stemmen op de voorkeuren van het publiek. Op termijn biedt deze technologie de omroep ook een dieper inzicht in de onderwerpen die binnen de zender het meest besproken en gewaardeerd worden. Zo worden data niet alleen inzichtelijk gemaakt, maar direct ingezet voor een betere programmering en een gerichtere kijkersbeleving.
