Institut des Systèmes Intelligents
et de Robotique

Titre : Directeur.trice de Recherches
Adresse : 4 place Jussieu, CC 173, 75252 Paris cedex 05
Téléphone : +33 (0) 1 44 27 28 85
Email : khamassi(at)isir.upmc.fr
Equipe : AMAC (AMAC)

Brève biographie

Après un diplôme d'ingénieur à l'ENSIIE (anciennement sous la tutelle du CNAM) à Evry, j'ai effectué un DEA de Sciences Cognitives (Cogmaster) puis une thèse entre l'Université Pierre et Marie Curie et le Collège de France dirigée par Agnès Guillot et Sidney I. Wiener sur l'apprentissage en situation de navigation chez les animaux et les robots. J'ai pendant ma thèse développé les techniques suivantes : modélisation computationnelle, expérimentation robotique, enregistrements électrophysiologiques chez le rat en comportement, analyses de données comportementales et neurophysiologiques. En 2008, j'ai effectué un court séjour au Japon dans le laboratoire de Kenji Doya à Okinawa Institute of Science and Technology. Puis j'ai effectué un post-doctorat à l'INSERM à Lyon, où mes travaux se situaient à l'interface entre l'équipe de neurophysiologie d'Emmanuel Procyk, et l'équipe de modélisation et robotique de Peter F. Dominey.

De 2010 à 2020, j'ai été chargé de recherches au CNRS, affecté à l'Institut des Systèmes Intelligents et de Robotique (ISIR UMR 7222) au sein de Sorbonne Université (ex : Université Pierre et Marie Curie), Paris, France. Je suis également co-directeur des études et membre du conseil pédagogique du Cogmaster à l'Ecole Normale Supérieure (Paris Sciences Lettres) / EHESS / Université de Paris. J'ai obtenu mon Habilitation à Diriger des Recherches (HDR) en Biologie à l'UPMC le 6 mai 2014. Je suis également Associate Editor pour les journaux Frontiers in Neurorobotics et Frontiers in Decision Neuroscience, et Editorial Board Member pour les journaux Intellectica et Neurons, Behavior, Data analysis, and Theory (NBDT). J'ai été chercheur invité au Center for Mind/Brain Sciences de l'Université de Trento, Italie en 2014-2015, où je collaborais principalement avec Giorgio Coricelli, Nadège Bault, David Pascucci et Massimo Turatto. J'ai été également chercheur invité au Department of Experimental Psychology, Université d'Oxford, en 2017-2020, où je collaborais principalement avec Matthew Rushworth, Marios Panayi, Jérôme Sallet, Chris Summerfield et Marco Wittmann. Depuis janvier 2016, je suis chercheur invité au Intelligent Robotics and Automation Laboratory de l'Ecole Polytechnique d'Athènes (NTUA), Grèce, où je collabore principalement avec Costas Tzafestas et Petros Maragos.

En 2020, j'ai été promu directeur de recherche au CNRS, et reste affecté au même laboratoire.

Télécharger mon CV complet (en anglais) ou mon CV court (en anglais).

Activités de Recherche

Les recherches de notre groupe se situent à l'interface entre Neurosciences et Robotique, se focalisant sur : les capacités d'apprentissage et de prise de décision chez les animaux ; les mécanismes cérébraux associés dans le cortex préfrontal, l'hippocampe et les ganglions de la base ; leurs applications à l'apprentissage chez les robots autonomes. Nous étudions en particulier comment le cerveau coordonne différents systèmes parallèles d'apprentissage, le réseau hippocampo-préfrontal détectant les différents états du monde (e.g. nouveauté vs familiarité ; contexte A vs contexte B) et les changements de performance de l'agent (e.g. progrès, stagnation, déclin) pour choisir de manière adaptative : le système approprié à chaque situation (e.g. apprendre un graphe cognitif de l'environnement ou non) et l'état correspondant d'apprentissage (e.g. exploration vs exploitation). Ces nouveaux modèles computationnels sont ensuite testés sur des plateformes robotiques intéragissant avec le monde réel, avec l'objectif dual de contribuer à améliorer la flexibilité comportementale chez les robots et de contribuer aux Neurosciences en testant la robustesse de différentes hypothèses biologiques. Une des questions récentes que nous abordons est de savoir si des mécanismes similaires d'apprentissage et de traitement des signaux de récompense peuvent être à l'oeuvre à la fois dans des contextes sociaux et non-sociaux. Ceci est à la fois clé pour comprendre ce qu'il y a de si spécial avec la dimension sociale des mécanismes d'apprentissage dans le cerveau, et pour permettre des interactions homme-robot plus adaptatives et efficaces.

Sélection de publications

Neurosciences

• Khamassi, M. and Girard, B. (2020). Modeling awake hippocampal reactivations with model-based bidirectional search. Biological Cybernetics, 114:231-248.
• Wittmann, M.K., Fouragnan, E., Folloni, D., Klein-Flügge, M.C., Chau, B., Khamassi, M. and Rushworth, M.F.S. (2020). Global reward state affects learning, the raphe nucleus, and anterior insula in monkeys. Nature Communications. To appear.
• Cinotti, F.* and Fresno, V.* and Aklil, N. and Coutureau, E. and Girard, B. and Marchand, A.° and Khamassi, M.° (2019). Dopamine blockade impairs the exploration-exploitation trade-off in rats. Scientific Reports, 9:6770. (* equally contributing authors) (° equally contributing senior authors)
• Lee, B., Gentry, R., Bissonette, G.B., Herman, R.J., Mallon, J.J., Bryden, D.W., Calu, D.J., Schoenbaum, G., Coutureau, E., Marchand, A., Khamassi, M.  and Roesch, M.R. (2018). Manipulating the revision of reward value during the intertrial interval increases sign tracking and dopamine releases. PLoS Biology, 16(9): e2004015. Commented by Eshel, N. & Steinberg, E.E. in the same issue.
• Dollé, L. and Chavarriaga, R. and Guillot*, A. and Khamassi*, M. (2018). Interactions of spatial strategies producing generalization gradient and blocking: a computational approach. PLoS Computational Biology, 14(4):e1006092. (* equally contributing authors)
• Bavard, S., Lebreton, M., Khamassi, M., Coricelli, G. and Palminteri, S. (2018). Reference point and range-adaptation produce both rational and irrational choices in human reinforcement learning. Nature Communications, 9(1):4503.
• Khamassi, M., Quilodran, R., Enel, P., Dominey, P.F. and Procyk, E. (2015). Behavioral regulation and the modulation of information coding in the lateral prefrontal and cingulate cortex. Cerebral Cortex, 25(9):3197-218.
• Palminteri, S., Khamassi, M., Joffily, M. and Coricelli, G. (2015). Contextual modulation of value signals in reward and punishment learning. Nature Communications, 6:8096.
• Lesaint, F., Sigaud, O., Flagel, S.B., Robinson, T.E. and Khamassi, M. (2014). Modelling individual differences observed in Pavlovian autoshaping in rats using a dual learning systems approach and factored representations. PLoS Computational Biology, 10(2):e1003466.
• Benchenane, K., Peyrache, A., Khamassi, M., Tierney, P.L., Gioanni, Y., Battaglia, F.P. and Wiener, S.I. (2010). Coherent theta oscillations and reorganization of spike timing in the hippocampal-prefrontal network upon learning. Neuron, 66(6):912-36.
• Peyrache, A., Khamassi, M., Benchenane, K., Wiener, S.I. and Battaglia, F.P. (2009). Replay of rule-learning related neural patterns in the prefrontal cortex during sleep. Nature Neuroscience, 12(7):919-26.

Robotique

• Staffa, M., Rossi, S., Tapus, A. and Khamassi, M. (2020). Behavior Adaptation, Interaction and Artificial Perception for Assistive Robotics (Editorial). International Journal of Social Robotics. To appear.
• Zaraki, A.*, Khamassi, M.*, Wood, L., Lakatos, G., Tzafestas, C., Amirabdollahian, F., Robins, B. and Dautenhahn, K. (2019). A Novel Reinforcement-Based Paradigm for Children to Teach the Humanoid Kaspar Robot. International Journal of Social Robotics, 12(3):709-720. (* equally contributing authors).
• Velentzas, G., Tsitsimis, T., Rano, I., Tzafestas, C. and Khamassi, M. (2018). Adaptive reinforcement learning with active state-specific exploration for engagement maximization during simulated child-robot interaction. Paladyn Journal of Behavioral Robotics, 9:235-253.
• Chatila, R., Renaudo, E., Andries, M., Chavez Garcia, R.O., Luce-Vayrac, P., Gottstein, R., Alami, R., Clodic, A., Devin, S., Girard, B. and Khamassi, M. (2018). Towards Self-Aware Robots. Frontiers in Robotics and AI, 5:88.
• Khamassi, M., Velentzas, G., Tsitsimis, T. and Tzafestas, C. (2018). Robot fast adaptation to changes in human engagement during simulated dynamic social interaction with active exploration in parameterized reinforcement learning. IEEE Transactions on Cognitive and Developmental Systems, 10(4):881-893.
• Aklil, N., Girard, B., Denoyer, L. and Khamassi, M. (2018). Sequential action selection and active sensing for budgeted localization in robot navigation. International Journal of Semantic Computing, 12(1):102-127.
• Khamassi, M., Girard, B., Clodic, A., Devin, S., Renaudo, E., Pacherie, E., Alami, R. and Chatila, R. (2016). Integration of Action, Joint Action and Learning in Robot Cognitive Architectures. Intellectica, 2016(65):169-203.
• Caluwaerts, K., Staffa, M., N'Guyen, S., Grand, C., Dollé, L., Favre-Félix, A., Girard, B. and Khamassi, M. (2012). A biologically inspired meta-control navigation system for the Psikharpax rat robot. Bioinspiration & Biomimetics, 7(2):025009.
• Khamassi, M., Lallée, S., Enel, P., Procyk, E. and Dominey P.F. (2011). Robot cognitive control with a neurophysiologically inspired reinforcement learning model. Frontiers in Neurorobotics, 5:1.
• Khamassi, M., Lachèze, L., Girard, B., Berthoz, A. and Guillot, A. (2005). Actor-Critic Models of Reinforcement Learning in the Basal Ganglia: From Natural to Artificial Rats. Adaptive Behavior, 13(2):131-148
• Meyer, J.-A., Guillot, A., Girard, B. Khamassi, M., Pirim, P. and Berthoz, A. (2005). The Psikharpax Project: Towards Building an Artificial Rat. Robotics and Autonomous Systems, 50(4):211-223.

Offres de stage

Des sujets de stage dans l'équipe sont régulièrement proposés, comme ici : http://chronos.isir.upmc.fr/~khamassi/documents/MK_2019_RLwithReplayRobot.pdf. Vous pouvez néanmoins envoyer à tout moment me contacter par email pour des candidatures spontanées en stage, thèse ou post-doc.

Exemples de travaux