zur Hauptnavigation springen zum Inhaltsbereich springen

BayWISS-Kolleg Digitalisierung www.baywiss.de

Projekte im Kolleg Digitalisierung

© Alexander Debieve

Hybridization of Emotion Recognition Systems

Computerized emotion recognition refers to machines detecting humans’ emotional state. In the context of marketing, for instance, it enables meaningful interactions with customers [1]–[3]. Existing research on computerized emotion recognition covers different types of data, technologies [3], [4], and emotion classification concepts [5], [6].

Research in the field of computerized (facial) emotion recognition is still mainly focusing on the improvement of deep learning models, with the downside of increasing complexity. These approaches usually employ purely subsymbolic artificial intelligence (AI) approaches that are based exclusively on statistical/mathematical methods, usually realized as Artificial Neural Networks (ANNs).

Despite their astonishing performance, these techniques have several limitations. Prior studies show that pure deep learning models lack in interpretability, verifiability, abstract reasoning, and transferability to other areas [7]–[10]

For this reason, research activities of AI are currently shifting to the development of hybrid AI architectures (neuro-symbolic AI; also referred to as model-based deep learning). These combine traditional AI approaches (symbolic AI), which are based on logic, rules and knowledge-representations, with modern AI methods (subsymbolic AI), which are purely data-driven.

The goal of this project is to shift AI-based emotion recognition systems to a new level by means of such hybrid AI architectures.



[1]         T. Davenport, A. Guha, D. Grewal, und T. Bressgott, „How artificial intelligence will change the future of marketing“, Journal of the Academy of Marketing Science, Bd. 48, Nr. 1, S. 24–42, 2020.

[2]         L. Davoli u. a., „On Driver Behavior Recognition for Increased Safety: A Roadmap“, Safety, Bd. 6, Nr. 4, Dez. 2020, doi: 10.3390/safety6040055.

[3]         M.-H. Huang und R. T. Rust, „A strategic framework for artificial intelligence in marketing“, Journal of the Academy of Marketing Science, Bd. 49, Nr. 1, S. 30–50, Jan. 2021, doi: 10.1007/s11747-020-00749-9.

[4]         J. Marín-Morales u. a., „Affective computing in virtual reality: emotion recognition from brain and heartbeat dynamics using wearable sensors“, Scientific reports, Bd. 8, Nr. 1, S. 1–15, 2018.

[5]         J. A. Eliot und A. Hirumi, „Emotion theory in education research practice: An interdisciplinary critical literature review“, Educational technology research and development, Bd. 67, Nr. 5, S. 1065–1084, 2019.

[6]         A. Mehrabian, „Pleasure-arousal-dominance: A general framework for describing and measuring individual differences in temperament“, Current Psychology, Bd. 14, Nr. 4, S. 261–292, 1996.

[7]         K. Hamilton, A. Nayak, B. Božić, und L. Longo, „Is Neuro-Symbolic AI Meeting its Promise in Natural Language Processing? A Structured Review“, arXiv:2202.12205 [cs], Feb. 2022, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2202.12205

[8]         S. Kambhampati, S. Sreedharan, M. Verma, Y. Zha, und L. Guan, „Symbols as a Lingua Franca for Bridging Human-AI Chasm for Explainable and Advisable AI Systems“, arXiv:2109.09904 [cs], Dez. 2021, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2109.09904

[9]         X. Xie, K. Kersting, und D. Neider, „Neuro-Symbolic Verification of Deep Neural Networks“, arXiv:2203.00938 [cs], März 2022, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2203.00938

[10]       A. Oltramari, J. Francis, C. Henson, K. Ma, und R. Wickramarachchi, „Neuro-symbolic Architectures for Context Understanding“, arXiv:2003.04707 [cs], März 2020, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2003.04707

[11]       E. Karpas u. a., „MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning“, arXiv:2205.00445 [cs], Mai 2022, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2205.00445

[12]       Z. Susskind, B. Arden, L. K. John, P. Stockton, und E. B. John, „Neuro-Symbolic AI: An Emerging Class of AI Workloads and their Characterization“, arXiv:2109.06133 [cs], Sep. 2021, Zugegriffen: 4. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2109.06133

[13]       M. K. Sarker, L. Zhou, A. Eberhart, und P. Hitzler, „Neuro-Symbolic Artificial Intelligence: Current Trends“, arXiv:2105.05330 [cs], Mai 2021, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2105.05330

[14]       V. Belle, „Symbolic Logic meets Machine Learning: A Brief Survey in Infinite Domains“, arXiv:2006.08480 [cs], Juni 2020, Zugegriffen: 8. Mai 2022. [Online]. Verfügbar unter: arxiv.org/abs/2006.08480




Betreuer Julius-Maximilians-Universität Würzburg:

Prof. Dr. Frank Schwab

Interessen und Forschungsschwerpunkte:

Evolutions- und emotionspsychologische Aspekte der Massen- und Individualmedien:

  •   Film und Bewegtbildkommunikation (Schwerpunkt: Kino und Digitales Bewegtbild)

  •   Psychologische Mechanismen der Medienselektion und Mediennutzung (Schwerpunkt  Bio-psychologische Grundlagen von Mediennutzungsmotiven)

  •   Evolutionäre Medienpsychologie (Schwerpunkt: Theorie und Phylogenese von Spiel und Entertainment)

  •   Kommunikation in Unternehmen (Schwerpunkt: Interne (medienvermittelte) Organisationskommunikation)

Mitglied der DGPs (Fachgruppen: Medienpsychologie und Organisationspsychologie), der DGPuK (Rezeptionsforschung), der ICA, der MVE und der GIB.

Betreute Projekte:

Betreuer Hochschule für angewandte Wissenschaften Neu-Ulm:

Prof. Dr. Philipp Brune


  • Angewandte Künstliche Intelligenz und Natural Language Processing
  • Web Engineering
  • Enterprise Application Engineering und Legacy Modernization
  • Software Engineering Education
  • Health Information Systems


Betreutes Projekt:
Hybridization of Emotion Recognition Systems

Betreuer Julius-Maximilians-Universität Würzburg:

Prof. Dr. Sebastian von Mammen


• Real-Time Interactive Systems (Visual Programming, Immersion, Software Engineering)

• Interactive Simulations (Serious Games, Simulations in Health, Logistics, Construction,...)

• Artificial Life (Self-Organisation, Adaptive Systems, Evolution)

• Artificial Intelligence (Agent-Based Modeling, Procedural Content Generation)  

Betreutes Projekt:
Hybridization of Emotion Recognition Systems

Jens Gebele

Jens Gebele

Hochschule für angewandte Wissenschaften Neu-Ulm


Treten Sie mit uns in Kontakt. Wir freuen uns auf Ihre Fragen und Anregungen zum Verbundkolleg Digitalisierung.

Katharina Raab

Katharina Raab

Koordinatorin BayWISS-Verbundkolleg Digitalisierung

Julius-Maximilians-Universität Würzburg
Graduate Schools of Science and Technology
Beatrice-Edgell-Weg 21
97074 Würzburg