Institut des Systèmes Intelligents
et de Robotique

Partenariats

UPMC

CNRS

INSERM

Tremplin CARNOT Interfaces

Labex SMART

Rechercher

Cours Robotique Cogmaster

khamassi Mehdi
Titre : Chargé de Recherche
Adresse : 4 place Jussieu, CC 173, 75252 Paris cedex 05
Téléphone : +33 (0) 1 44 27 28 85
Email : khamassi(at)isir.upmc.fr
Equipe : AMAC (AMAC)

 

Modélisation Robotique en Sciences Cognitives (CA10)

CogMaster, ENS-EHESS-Paris5, Paris (2016-2017)

Coordinateurs du cours : Mehdi Khamassi et Benoît Girard

Crédits : 6 ECTS - Langue d’enseignement : Français - Volume horaire : 42h de cours (14 x 3h)

2e semestre (28 février – 6 juin 2017) - Créneau hebdomadaire : Mardi 13h30 – 16h30

Lieu pour les cours : 45 rue des Saintes-Pères, salle R209 si ouverte (2ème étage) sinon salle de Broglie D (1er étage) ;

Lieu pour les TPs : 45 rue des Saintes-Pères, salle Durkheim (escalier de gauche en entrant, la salle est à côté de l'entrée de l'amphi Binet).

 

Descriptif du cours : L’objectif du cours est d’introduire l’approche robotique des Sciences Cognitives. Comprendre cette approche dans une perspective historique sur son évolution récente par rapport à l’Intelligence Artificielle classique qui se focalisait sur la cognition désincarnée, sur le raisonnement de haut niveau, abstrait et virtuel, mais qui a échoué à intégrer différentes capacités cognitives dans un même agent. Comprendre la dimension incarnée de la robotique (le corps participant à la résolution d’une tâche donnée, et la cognition étant vue comme imbriquée dans des boucles sensori-motrices), sa dimension incrémentale et développementale (l’architecture du contrôleur accumulant progressivement des couches de complexité croissante, comme a pu le faire l’évolution naturelle, et les motivations intrinsèques de l’agent le poussant à acquérir de l’information et des compétences motrices et cognitives de difficulté croissante), sa dimension intégrative de multiples fonctions cognitives (perception, décision, action, contrôle moteur, exploration/curiosité, apprentissage, interaction sociale). Le cours donnera une introduction aux différents méthodes, algorithmes et outils utilisés dans ce champ de la robotique, en insistant sur le lien avec les méthodes de modélisation du cerveau et du comportement humain : apprentissage machine, méthodes de catégorisation des données sensori-motrices, réseaux de neurones, algorithmes de cartographie de type SLAM, méthodes bayésiennes, commande optimale, exploration, motivation. Le cours mettra en avant les interactions récentes de la robotique avec d’autres disciplines lui ayant permis de faire des progrès récents et une fertilisation croisée sur les architectures cognitives (psychologie), le contrôle moteur et la sélection de l’action (neurosciences), la navigation et l’apprentissage (informatique), l’imitation et l’interaction sociale (psychologie développementale). En particulier, le cours insistera sur les développements récents en robotique cognitive reposant sur une interaction de plus en plus forte avec les neurosciences computationnelles, ceci permettant à la fois d’enrichir les capacités cognitives des robots en s’inspirant de modèles du cerveau et d’utiliser le robot comme une plateforme de test en condition réelle de modèles computationnels auparavant validés dans des simulations simplifiées. Un des points importants du cours consistera à illustrer comment la modélisation robotique en Sciences Cognitives peut apporter des connaissances complémentaires par rapport à la simulation de modèles. La dernière impliquant le plus souvent une simulation parfaite et simplifiée du monde, l’expérimentation robotique oblige à faire des hypothèses sur l’interaction entre processus cognitifs. Elle permet également d’extraire et d’analyser de nouvelles propriétés des dynamiques sensori-motrices pouvant contribuer à étendre les modèles simulés existants et à faire de nouvelles prédictions expérimentales liées aux activités cérébrales sous-jacentes chez l’humain.

Prérequis : Le cours nécessite quelques connaissances mathématiques sur les probabilités, le calcul différentiel (fonctions, dérivées, intégrales, notion d’équations aux dérivées partielles), des éléments d’algèbre linéaire (vecteurs, matrices), et des connaissances de base en informatique/programmation pour les ateliers de mise en pratique et le projet (incluant le plus souvent une simulation robotique d’un modèle computationnel).

Les étudiants sont fortement encouragés à suivre ce cours parallèlement à C06 « Introduction aux neurosciences computationnelles » et CA6(b) « Introduction à l’apprentissage machine appliqué aux neurosciences et à la cognition ». Il est également recommandé mais pas obligatoire d’avoir suivi au 1er semestre le cours CA6(a) « Cours avancé en neuroscience théorique ».

Validation : Synthèse d’article (avec réplication des simulations du modèle computationnel proposé dans l'article) présentée à l’oral (voir liste d'articles proposés en bas de page) + notes de TPs. Les TPs seront pour certains en matlab, pour les autres en python. Cliquer ici pour télécharger un document pdf donnant la correspondance entre commandes python/matlab. Cliquer ici pour télécharger une présentation en pdf donnant un guide/tutoriel python numerical computing pour les utilisateurs matlab.

 

Contenu du cours : 14 séances de 3h (Intervenants entre parenthèses)
28/02/2017 Introduction du cours : vers un modèle robotique des architectures cognitives (Mehdi Khamassi / Raja Chatila) pdf1 pdf2
07/03/2017 Perceptions visuelle et auditive actives (David Filliat / Bruno Gas) pdf1 pdf2
14/03/2017 Apprentissage (Olivier Sigaud / Mehdi Khamassi) pdf1 pdf2 pdf3
21/03/2017 Séance de mise en pratique TD/TP sur l'apprentissage par renforcement (Romain Cazé
28/03/2017 Contrôle moteur (Emmanuel Guigon) pdf1
04/04/2017 Cognition spatiale (Benoît Girard / Angelo Arleo) pdf1 pdf2
18/04/2017 Séance de mise en pratique TD/TP sur la navigation multi-stratégies (Alexandre Coninx
25/04/2017 Robotique collective et évolutionniste (Nicolas Bredèche / Stéphane Doncieuxpdf1 pdf2
02/05/2017 Séance de mise en pratique TD/TP sur la régression pour la robotique (Nicolas Perrin
09/05/2017 Signal social / Imitation / Perception et émotion pour l’interaction (Mohamed Chetouani / Philippe Gaussierpdf1
16/05/2017 Curiosité / Robotique développementale (Pierre-Yves Oudeyerpdf1 pdf2 video1 video2
23/05/2017 Approches bayésiennes (Pierre Bessièrepdf1 dropbox
30/05/2017 Séance de mise en pratique TD/TP sur la reconnaissance d'émotions (Mohamed Chetouani)
06/06/2017 Evaluation (présentation orale des synthèses d’articles) (Romain Cazé, Alexandre Coninx, David Filliat, Mehdi Khamassi)

 

La liste d'articles suivants n'est pas encore définitives ! Elle sera bientôt mise à jour et proposée pour la synthèse (évaluation finale) :

L'exercice consiste à faire une synthèse d’article avec réplication des simulations du modèle/algorithme proposé dans l'article. Le premier objectif est de voir si les résultats sont réplicables. Le deuxième est de comprendre plus en profondeur le modèle/algorithme en le prenant en main et en le simulant. Le troisième objectif est d'apporter un regard critique sur les limites de ce modèle/algorithme (soit en proposant une amélioration du modèle, soit en proposant une analyse fondée sur des simulations supplémentaires du même modèle [par exemple sur d'autres données ou dans un autre scénario], soit une critique du modèle lui-même ou de la méthode de l'article, soit une discussion au regard des autres modèles/algorithmes de l'état de l'art).

Pour certains articles, le code source n'est pas fourni. Dans ce cas il faut réimplémenter le modèle/algo dans le langage de votre choix et avec le simulateur de votre choix. L'objectif est de reproduire au moins quelques courbes de résultats de l'article. Si jamais vous n'y arrivez pas, vous pouvez contacter les auteurs pour leur demander des précisions sur l'implémentation, sur les paramètres, ou contacter les responsables de l'U.E. pour leur faire part des difficultés et trouver une solution ensemble pour les surmonter.

Pour d'autres articles, le code source est fourni. Dans ce cas, il faut non seulement reproduire quelques courbes de résultats mais aussi faire des simulations supplémentaires pour aller plus loin que l'analyse et l'interprétation proposée(s) par l'article.

Voici la liste d'articles proposés :

- Mangin O., Filliat D., ten Bosch L, Oudeyer P.Y., MCA-NMF: Multimodal concept acquisition with non-negative matrix factorization. PLOS ONE, October 21, 2015. (le code et les données sont disponibles en ligne)

- J. Tani, S. Nolfi (1999) Learning to perceive the world as articulated: an approach for hierarchical learning in sensory-motor systems. Neural Networks, 12(7–8): 1131–1141.

- Botvinick, Niv et Barto (2008) Hierarchically organized behavior and its neural foundations: A reinforcement-learning perspective. Cognition, 113(3): 262–280. (le code est disponible en ligne, voir lien dans l'article)

Dezfouli, A., & Balleine, B. W. (2013). Actions, action sequences and habits: evidence that goal-directed and habitual action control are hierarchically organized. PLoS Comput Biol, 9(12), e1003364.

Keramati, M., Dezfouli, A., & Piray, P. (2011). Speed/accuracy trade-off between the habitual and the goal-directed processes. PLoS Comput Biol, 7(5), e1002055. (code source)

Gershman, S. J., & Niv, Y. (2015). Novelty and Inductive Generalization in Human Reinforcement Learning. Topics in cognitive science, 7(3), 391-415.

Gershman, S. J., Monfils, M. H., Norman, K. A., & Niv, Y. (2016). The Computational Nature of Memory Reconsolidation. bioRxiv, 036442.

Gershman, S. J., & Niv, Y. (2012). Exploring a latent cause theory of classical conditioning. Learning & behavior, 40(3), 255-268.

- Girard, B. and Tabareau, N. and Pham, Q.C. and Berthoz, A. and Slotine, J.-J. (2008). Where neuroscience and dynamic system theory meet autonomous robotics: a contracting basal ganglia model for action selection. Neural Networks. Vol 21 No 4 Pages 628-641. (code source ; il s’agit de répliquer l’expérience en robotique simulée de la section 5, il y aura du travail pour re-programmer des comportements, et interfacer le simulateur avec le modèle).

Girard, B. and Cuzin, V. and Guillot, A. and Gurney, K.N. and Prescott, T.J. (2003). A Basal ganglia inspired model of action selection evaluated in a robotic survival task. Journal of Integrative Neuroscience. Vol 2 No 3 Pages 179-200. (code source ; il s'agit de faire une version simulée de la tâche initialement testée en robotique réelle, et de programmer des comportements équivalents à ceux qui avaient été mis en place)

Mikolov, T., Joulin, A., Chopra, S., Mathieu, M., & Ranzato, M. A. (2014). Learning longer memory in recurrent neural networks. arXiv preprint arXiv:1412.7753.

Koutnik, J., Greff, K., Gomez, F., & Schmidhuber, J. (2014). A clockwork rnn. arXiv preprint arXiv:1402.3511.

Wang, J. X., Kurth-Nelson, Z., Tirumala, D., Soyer, H., Leibo, J. Z., Munos, R., ... & Botvinick, M. (2016). Learning to reinforcement learn. arXiv preprint arXiv:1611.05763.

M. Riedmiller, J. Peters, and S. Schaal, Evaluation of policy gradient methods and variants on the cart-pole benchmark, in IEEE International Symposium on Approximate Dynamic Programming and Reinforcement Learning (ADPRL), 2008.

D Philipona, JK O'Regan, JP Nadal. (2003). Is there something out there? Inferring space from sensorimotor dependencies. Neural computation, Vol. 15, No. 9, Pages 2029-2049. (lecture complémentaire)

Fiete, I. R., Burak, Y., & Brookings, T. (2008). What grid cells convey about rat location. The Journal of Neuroscience, 28(27), 6858-6871.

Forestier S, Oudeyer P-Y.  2016. Modular Active Curiosity-Driven Discovery of Tool Use. 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). (code source ; tutoriel ; lecture complémentaire ; lecture complémentaire)

- Pugh JK, Soros LB and Stanley KO (2016) Quality Diversity: A New Frontier for Evolutionary Computation. Front. Robot. AI 3:40.

- R Jonschkowski, O Brock (2014). State Representation Learning in Robotics: Using Prior Knowledge about Physical Interaction. Robotics: Science and Systems, 2014 .

Lehman, J., & Stanley, K. O. (2010). Abandoning Objectives: Evolution Through the Search for Novelty Alone. Evolutionary Computation, 19(2), 189–223. (code source similaire)

- Ringeval, F. and Marchi, E. and Grossard, C. and Xavier, J. and Chetouani, M. and Cohen, D. Schuller. B.(2016). Automatic analysis of typical and atypical encoding of spontaneous emotion in the voice of children. Proceedings INTERSPEECH 2016, 17th Annual Conference of the International Speech Communication Association. (contacter Mohamed Chetouani pour avoir l'accès aux données)