Op Carnegie Mellon University krijgt machine learning een sociaal karakter

Articulab van Carnegie Mellon probeerde inzicht te krijgen in de manier waarop robotassistenten met mensen kunnen samenwerken om taken uit te voeren en relaties te ontwikkelen, in plaats van simpelweg het werk over te nemen van menselijke assistenten. Ze gebruikt de Machine Learning Engine van het Google Cloud Platform om de interactie tussen robots en mensen te bestuderen en de robots te trainen in hun sociaal bewustzijn.

Kunstmatige intelligentie sociale vaardigheden geven

In 2016 had de Annual Meeting of the New Champions in Tianjin, China, een opmerkelijk debuut: SARA, de Socially Aware Robot Assistant (sociaal bewuste robotassistent) die op een hele nieuwe manier interactie kan hebben met mensen. SARA was niet zomaar een vervanging van een menselijke assistent en verwerkt informatie bovendien niet op een onpersoonlijke manier. SARA was anders: intuïtief, vriendelijk, betrokken en ontworpen om 'samen te werken' met menselijke gebruikers, gezichtsuitdrukkingen te herkennen en daarop te reageren, voorkeuren te leren kennen en de uitvoer van taken te verbeteren op basis van de gebruikers die ze ontmoet. Ze was ook geprogrammeerd om bepaalde sociale signalen te interpreteren, te knikken wanneer een gebruiker aan het woord is en verschillende intonaties te herkennen.

Een half jaar later, in januari 2017, werd het project gepresenteerd op het World Economic Forum in Davos, Zwitserland. Daar was het de enige demonstratie die werd gehouden in het Davos Congress Center. SARA, die als virtuele persoonlijke assistent diende, gaf deelnemers informatie over de verschillende sessies. Ook kon SARA deelnemers aan elkaar voorstellen, suggesties doen voor plekken waar ze iets konden eten en meer.

Aanvankelijk diende SARA als virtuele persoonlijke assistent met een specifieke toepassing: hulp bieden bij de conferentie en interactie hebben met de gasten. Zo kon ze meer te weten komen over de interesses en doelen van leiders uit de hele wereld en vervolgens sessies aanbevelen die ze wellicht zouden willen bijwonen. Wat zelfs nog mooier was, was dat SARA aan de hand van haar gesprekken een band kon opbouwen met iedereen die met haar sprak, waarbij ze meer te weten kwam over hun voorkeuren en doelen. Vervolgens kon ze in toekomstige gesprekken hulp bieden die beter was afgestemd op de persoonlijke situatie.

SARA is ontwikkeld door Articulab, een klein team van de Carnegie Mellon University. De missie van het team is te bestuderen hoe menselijke interactie in sociale en culturele contexten werkt als input voor computersystemen, wat tegelijk meer inzicht geeft in menselijke interactie. Hoe communiceren mensen met technologie en hoe kan die communicatie in de toekomst worden verbeterd? Het cultiveren van een sociale band is essentieel, net zoals dat bij mensen onderling het geval is. Het Articulab-team formuleert het als volgt: "De sociale en emotionele relaties die de kern van onze maatschappij vormen, worden door SARA niet genegeerd. Ze gebruikt deze relaties juist om beter te kunnen samenwerken."

Wat zeggen de onderzoekers

"GCP versnelt academisch onderzoek naar KI."

Yoichi Matsuyama, postdoc bij het Language Technologies Institute en projectleider voor SARA

SARA ontwikkelen met Google-tools

Onder leiding van Justine Cassell, hulpdecaan voor Technology Strategy and Impact op de School of Computer Science van de Carnegie Mellon University, was Articulab al bekend geraakt met het Google Cloud Platform (GCP) voordat SARA in beeld kwam. Dit gebeurde dankzij tools en financiering voor andere onderzoeksprojecten. "Omdat we TensorFlow al gebruikten voor enkele machine-learningtaken, was het voor ons een kleine stap om GCP te gaan gebruiken voor onze recente deep-learningprojecten", vertelt Yoichi Matsuyama, postdoc bij het Language Technologies Institute en projectleider voor SARA. "We gebruikten ook al bepaalde Google API's, waaronder de Google API voor spraakherkenning, voor onze gespreksagents, en we gebruikten Firebase voor crowdsourcingframeworks voor gegevensverzameling." GCP blijft in gebruik terwijl SARA wordt uitgebreid voor nieuwe domeinen en toepassingen. "We zitten nog in de implementatiefase", zegt hij. "GCP versnelt academisch onderzoek naar KI."

Volgens Matsuyama maakt het lab veelvuldig gebruik van de Compute Engine, inclusief GPU-instanties met vier keer Nvidia Tesla K80 en TensorFlow. Dit jaar werkt het team aan modellen zoals op deep reinforcement learning gebaseerde sociale beredenering in de context van taken, en sociaal geconditioneerde generatie van natuurlijke taal.

Terugkijkend op de introductie van SARA 1.0 op het World Economic Forum zegt Matsuyama: "Er waren meer dan 250 deelnemers die tijdens de vierdaagse conferentie probeerden SARA te gebruiken. Alles bij elkaar genomen, was het een geslaagde start, maar we zijn nog steeds bezig de bevindingen te analyseren om te evalueren wat goed werkt en wat niet." Hij voegt daaraan toe: "Een belangrijke bevinding die uit de gegevens naar voren kwam, is dat de ‘verstandhouding’, dat wil zeggen relaties tussen mensen, is gerelateerd aan het behalen van de beoogde resultaten. In dit geval had de verstandhouding invloed op de mate waarin aanbevelingen werden geaccepteerd. Wanneer er een goede verstandhouding was, dus wanneer SARA een goede relatie had met de gebruiker, was die gebruiker sneller geneigd aanbevelingen ter harte te nemen. Dat is de belangrijkste vondst tot nu toe, maar we blijven werken aan de analyse van de gegevens."

Uitbreiding naar nieuwe domeinen, waaronder het onderwijs

SARA's werk is pas net begonnen. Een andere toepassing van de 'sociaal bewuste kunstmatige intelligentie' van Articulab is tot nu toe onder meer het onderwijs, bijvoorbeeld door kinderen op scholen met een klein budget te helpen en door samenwerking tussen kinderen te stimuleren (waardoor ze beter kunnen leren). Ook kan SARA worden gebruikt om kinderen met het aspergersyndroom of andere vormen van hoogfunctionerend autisme te laten oefenen met sociale vaardigheden en relaties met anderen.

Michael Madaio, promovendus aan het Human-Computer Interaction Institute en projectleider van het project 'Rapport-Aware Peer Tutor' (RAPT) merkt op dat in de gegevens over lesbegeleiding van mens tot mens die ze hebben verzameld, "de verstandhouding tussen de leerlingen die samenwerken in hoge mate verband houdt met hun betrokkenheid bij hun taak, met hun probleemoplossend vermogen en uiteindelijk met hoe goed ze kunnen leren." Met andere woorden: het kan voor iedereen gunstig zijn om op een sociale manier samen te werken.

Madaio legt uit dat om een beter begrip te krijgen van de verstandhouding die bestaat bij onderwijs met educatieve apps, ze tools willen bieden die meer doen dan helpen met leren. "Er bestaan al onderwijsplatforms," zegt hij, "maar onderwijsonderzoek heeft aangetoond dat leerlingen niet een soort robots zijn die informatie verwerken en berekeningen doen. Er is namelijk ook een sociaal aspect. Het is belangrijk dat er een band wordt opgebouwd met andere leerlingen. Een virtuele leerlingbegeleider moet bovendien leren op een goede manier feedback te geven. Hoe kun je een kind het beste duidelijk maken dat ze het fout hebben? Misschien begin je beleefd, niet zo direct, om de boodschap voorzichtig over te brengen. Na verloop van tijd kan deze relatie echter groeien, zodat de virtuele leerlingbegeleider wat directer kan zijn en specifieke feedback kan geven waar ze uiteindelijk meer aan hebben."

Als een virtuele leerlingbegeleider succes heeft, kun je "de kans vergroten dat ze willen terugkomen", zegt hij. Dat is belangrijk, net als de mate waarin leerlingen betrokken zijn. "Het gaat er niet alleen om of leerlingen terugkomen voor hulp, maar ook om wat ze doen wanneer ze interactie hebben met de virtuele leerlingbegeleider. Stellen ze zich meer open? Vinden ze het niet erg om meer te vertellen over hun leerdoelen en dingen waar ze zich zorgen over maken?” Het is een onderlinge band, en net als elke andere band moet deze groeien. Wat zo bijzonder is, en wat SARA heeft laten zien, is dat er überhaupt zo'n band kan ontstaan.

Tot dusver wordt er positief gereageerd op toepassing in het onderwijs. Madaio wijst er echter op dat "we nog geen implementatie op school hebben geprobeerd. De uitdaging dit jaar is om uit te zoeken wat er komt kijken bij zo'n grootschalige toepassing." Ze proberen zich voor te stellen hoe praktische implementatie er in de toekomst uit zal zien, bijvoorbeeld buddy's die helpen met huiswerk of leesvaardigheidstrainers voor kinderen die moeite met lezen hebben.

Er zijn geen plannen voor een virtueel lesbegeleidingssysteem binnen Carnegie Mellon zelf, maar het team wil mogelijk wel een persoonlijke assistent implementeren die studenten onder andere kan informeren over lezingen die worden gehouden op de campus en aanbevelingen kan doen voor evenementen. Misschien wel het meest ambitieuze doel van Articulab is een versie van SARA te ontwikkelen die niet alleen werkt op een vierdaagse conferentie, maar die zeven dagen per week, 24 uur per dag in meerdere domeinen actief is. Het is een uitdaging, maar een zeer interessant idee dat tal van mogelijkheden biedt.

Wat zeggen de onderzoekers

"Het gaat er niet alleen om of leerlingen terugkomen voor hulp, maar ook om wat ze doen wanneer ze interactie hebben met de virtuele leerlingbegeleider. Stellen ze zich meer open? Vinden ze het niet erg om meer te vertellen over hun leerdoelen en dingen waar ze zich zorgen over maken?"

Michael Madaio, promovendus, Human-Computer Interaction Institute

Organisatieprofiel

De universiteit werd in het jaar 1900 opgericht door Andrew Carnegie en heette aanvankelijk nog Carnegie Technical Schools. In 1912 werd de naam gewijzigd in Carnegie Institute of Technology en werden er vierjarige opleidingen aangeboden. Ruim vijftig jaar later ging de universiteit samen met het Mellon Institute of Industrial Research. Zo ontstond de Carnegie Mellon University, een onderzoeksuniversiteit in Pittsburgh, Pennsylvania met vestigingen in binnen- en buitenland. De universiteit staat bekend om de toonaangevende, interdisciplinaire lesprogramma's op het gebied van onder meer kunst, bedrijfskunde, informatica, techniek, sociologie, bestuurskunde en natuurwetenschappen. CMU heeft bijna 14.000 studenten uit meer dan honderd landen.

Gebruikte producten

Hartelijk dank voor je aanmelding.

Laat ons weten waarin je geïnteresseerd bent.