Emotion monitor

ReflectieRealisaties

Mijn stage

Op 1 maart 2021 ben ik gestart bij IDA Media Foundery voor mijn stage. Vanuit IDA had ik een opdracht gekregen, die in tijden van Corona vrij toepasselijk is namelijk een applicatie die met behulp van AI tijdens online meetings de emoties van de deelnemers meten en vervolgens evalueren en rapporteren aan de gebruiker.

IDA

IDA Media Foundery is een IT consultancy bedrijf met een hoofdzetel in Kontich. IDA maakt deel uit van de Cronos group en Xplore Group. Het grootste deel van hun werk bestaat uit het helpen van andere bedrijven als bv. de VRT, Philips enz. met hun website en webapps. Een goed voorbeeld hiervan is de Sporza app of de webwinkel van Philps Hue.

Het project

De applicatie die ik voor hen heb ontwikkeld is vrij simpel van concept: tijdens een meeting wordt een applicatie opengezet die in real-time de emotie van de deelnemers toont.

Dit was de basisfunctionaliteit van de app. De ontwikkeling bestond natuurlijk uit meerdere fases, elke fase had zijn eigen doel. Sinds ik dit project alleen ondernam had ik totale vrijheid op wat ik ging gebruiken en op welke manier ik het doel ging realiseren.

Onderzoek

Ik ben gestart met het onderzoeken en bedenken hoe ik mijn doel ging bereiken en welke technologieën ik ging gebruiken. Uiteindelijk ben ik gestart met de volgende technologieën

  • Vue.js 3 - front end

  • Electron - run time

  • Tensorflow.js - ai

Vue.js Front End

Dus voor mij front end heb ik gekozen voor Vue.js omdat ik al wat ervaring hiermee had. Bijkomend was het vrij handig voor het opzetten en generen van de verschillende schermen en het bijhouden van de data.

Electron Run Time

Electron heb ik gekozen omdat het mij toeliet om mijn applicatie 100% lokaal te draaien. Hierdoor moest ik mij niet bezig houden met het veilig maken van de data en het schrijven van servercode waardoor ik me volledig kon focussen op de functionaliteit van de applicatie.

Tensorflow.js AI

Sinds Tensorflow.js je toelaat om Tensoflow modellen te draaien op website's was dit extreem handig voor deze toepassing. Dit liet me terug toe om alles lokaal op de pc van de gebruiker te draaien.

Uitwerken

Nadat ik besloten had hoe ik mijn applicatie ging opstellen, ben ik begonnen met het uitwerken van de functionaliteiten, waaronder de belangrijkste:

  • emoties detecteren op een gezicht

  • beeld schermen kiezen + gebruiken in de ai

  • verslagen opslaan + uitlezen

Rol

Ontwerper- programmeur