Google Research en DeepMind hebben MedPaLM geïntroduceerd, een open source groot taalmodel voor medische doeleinden. Het combineert HealthSearchQA, een nieuwe dataset met gratis antwoorden op online gezochte medische vragen, met zes bestaande datasets met antwoorden op open vragen over professionele medische onderzoeken, onderzoek en consumentenvragen. De benchmark bevat ook methodologie voor het evalueren van menselijke modelreacties langs verschillende assen, waaronder feitelijkheid, precisie, potentiële schade en vooringenomenheid. Voor de hoofdjury van de Computable Awards 2023 reden om MedPaLM van Google Research en DeepMind te nomineren in de categorie Customer Experience.
De HealthsearchQA-dataset, die bestaat uit 3375 veel gestelde consumentenvragen, is samengesteld op basis van medische diagnoses en de bijbehorende symptomen. Alle gebruikers die de seed-zinnen invoerden, kregen de openbaar beschikbare veel gestelde vragen te zien die werden opgehaald met behulp van de seed-gegevens en gemaakt door een zoekmachine.
Een groep artsen stelde bijvoorbeeld vast dat 92,6 procent van de MedPaLM-antwoorden overeenkwam met de door de arts gegenereerde antwoorden (92,9 procent), waarmee duidelijk is dat de klant sneller kan worden geholpen en op een toegankelijke manier.
