Microsoft AI Kiosk

Wir wurden von Microsoft angefragt, eine interaktive Demo für Besucher einer Ladenflächensektion über den Bereich Azure Cognitive Services zu machen.

In einem gemeinsamen Workshop kam schnell der Konsens auf, direkt auf Menschen zu reagieren und die AI Technologie mit etwas spielerischem, selbsterklärendem und nachvollziehbarem zu demonstrieren.




Die Monostream Glotzi Installation im Microsoft Pop-up house in Zürich

Die Monostream Glotzi Installation im Microsoft Pop-up house in Zürich

Gesichts und Emotionserkennung

Die primäre Funktion ist das kontinuierliche Erkennen und Verfolgen von Gesichtern mit einer hochauflösenden Webcam. Erkannte Gesichter werden dann in Echtzeit über die Azure Cloud Face API ausgewertet und auf dem Grossbildschirm visualisiert.



Glotzi in Action zeigt Emojis, Alter, Gender, Haarfarbe und Accessories

Glotzi in Action zeigt Emojis, Alter, Gender, Haarfarbe und Accessories

Datenaufbereitung

Die Emojis drücken in ihrer Symbolik die erkannten Emotionen: Wut, Verachtung, Ekel, Angst, Freude, Neutralität, Traurigkeit und Überraschung aus. Die Ausprägung deren wird durch die Grösse angezeigt. Neben dem Alter und Haarfarbe werden auch einige modische Accessoires direkt erkennt und dargestellt.

Face training app

Face training app



Eigenes Gesichter trainieren und benennen

Das System erlaubt es, das eigene Gesicht auf einem persönlichen Gerät, wie einem Mobil-Telefon, ohne Installation einer App der KI zu trainieren und mit einem Namen zu versehen. Der Besucher wird so fortan erkannt und entsprechend beschriftet. Direkt zur App


Technische Details

Architektur und Komponenten

Die Hauptapplikation ist in HTML und Angular geschrieben, und erkennt Gesichter mittels im Browser ausgeführtem Tensorflow Machine Learning. Das direkte Feedback wird durch einen Rahmen um das Gesicht visualsiert. Es dient auch dazu, zu erkennen, ob Menschen vor der Kamera stehen oder das System in einem Standby Modus ist, wo es Videos abspielt und keine weiteren Analysen macht.

Snapshots der Kamera werden im Sekundentakt an ein .NET Core Backend Service gesendet und dort die Azure Face API aggregiert. Dies auch, um keine Access Keys im zugänglichen Client-Codes zu haben. Das sichtbare Json auf dem Bildschirm zeigt die technischen Rohdaten.

Zugehörig ist eine Angular Mobile Applikation, die es Besuchern erlaubt, das AI-Netzwerk mit ihren Gesichtern zu trainieren und mit einem Namen zu versehen. Diese App verwendet den gleichen Backend Service.

Die Applikation ist Cross-Platform ausgelegt, und funktioniert auch bestens auf einem Tablet wie dem iPad.

Glotzi Komponenten

Glotzi Komponenten

CI / CD

Die Lösung wurde in Hackathons und einem GitFlow Prozess entwickelt, und wird bei jedem Check-In kontinuierlich in Azure DevOps gebuildet und auf mehrere Kanäle deployet: direkt auf einen Azure App Service als abrufbare Web-Applikation, aber auch als Zip-File inkl. Browser, einem Watchdog und Updater für den Kiosk in der Ladenfläche.






Azure Pipelines

Azure Pipelines

Source Code

Nehmen Sie doch bei Interesse am Source Code, technischen Details oder einem Austausch für ähnliche, oder ganz andere Projekte Kontakt mit uns auf. Wir würden uns freuen.


Source Code in GitHub

Source Code in GitHub




Philipp Knecht