Jobs

Incremental Learning for Classification of Objects of Interest

A PhD position is available in the domain of incremental learning for object of interest classification in the context of a trilateral collaboration between LabSTICC (ENSTA Bretagne and IMT Atlantique), Naval Group and Flinders University in Adelaide, Australia.

The 3-year doctoral scholarship is funded under the CIFRE program and aims to advance the state-of-the-art in incremental learning for object of interest classification from imagery acquired by aerial, underwater or terrestrial drones/robots.

Full details of the thesis subject are available at:

    https://www.ensta-bretagne.fr/clement/PhD_ILCOI.pdf

Expected starting date of the thesis is from Septembre/October 2019.

Interested applicants should contact Quentin Oliveau (quentin.oliveau@naval-group.com) and Benoit Clement (benoit.clement@ensta- bretagne.fr) by email with the reference [ILCOI]

Lien vers le sujet détaillé
Download : Pdf du sujet détaillé (126.29 ko)

Les Interactions Multimodales dans le contexte de l’Internet des Objets

Localisation

• Rennes : Orange Labs (lieu principal)
• Brest : Lab-STICC / IMT Atlantique

Contacts

Les candidatures (CV et lettre de motivation) sont à envoyer aux contacts suivants :

• Anthony Foulonneau : anthony.foulonneau@orange.com
• Jérémy Lacoche : jeremy.lacoche@orange.com
• Thierry Duval : thierry.duval@imt-atlantique.fr

Les notes de dernière année du candidat pourront également être demandées.

Description

Votre rôle est d’effectuer un travail de thèse sur les interactions multimodales dans le contexte de l’Internet des objets. Un nombre toujours plus grand d'objets de notre quotidien deviennent "connectés", réalisant ainsi l'idée depuis longtemps anticipée d'un Internet des objets (IoT).

Que ce soit dans les bâtiments (maison, entreprise, ...), les voitures, dans la ville, ou même directement portés par l’utilisateur (wearable), ces objets sont les briques des environnements intelligents de demain. L’apport de l’IoT ne se limite cependant pas à l’ajout d’une connectivité à des objets unitaires, ou à la création de services dédiés à chacun d'eux. C'est pris dans leur ensemble, et en tant qu’écosystème, que ces objets redéfiniront en profondeur notre rapport au monde digital. D'abord, parce que la multiplication des capteurs produit une somme de données, qui une fois agrégées et traitées, est capable de caractériser toujours plus finement nos actions et notre environnement. L’Internet des objets ouvre ainsi la voix au « contexte-aware computing », et au-delà, à des systèmes ambiants, pervasifs et ubiquitaires. Ensuite, parce que la multiplication des interacteurs est à la fois source de complexité et d'opportunité dans les interactions homme - machine. Elle submerge l'utilisateur d'informations et d'actions potentielles, dans lesquelles il lui est parfois difficile de s'y retrouver. Mais elle apporte également de nouvelles conditions, favorables au développement de nouveaux paradigmes d'interaction. Parmi ceux-là, la multimodalité est un concept particulièrement intéressant. Elle tire avantage des multiples interacteurs, en s'appuyant sur leur complémentarité, dans le cadre d'une interaction distribuée. De plus, dans ce contexte d’environnements ultra-connectés et pervasifs les interactions multimodales sont particulièrement adaptées puisqu’elles offrent une manière naturelle d'interagir avec les équipements, notamment par les gestes, la parole ou la manipulation directe.

 

Profil souhaité

• Compétences (scientifiques et techniques) et qualités personnelles souhaitées par le poste
  • Programmation (C++/C#/Python)
  • Interface Homme Machine (2D et/ou 3D)
  • architecture logicielle et modélisation
  • Rigueur, autonomie, capacité de synthèse, de présentation et rédaction
  • Anglais
  • Des connaissances en interaction (vocale, gestuelle, tangible, ...) ou réalité augmentée seraient un plus
• Formation demandée :
  • Master recherche ou diplôme d’ingénieur dans le domaine de l’informatique (spécialisation IHM / interaction)
• Expériences souhaitées (stages, ...)
  • Expérience en interaction homme-machine (formation ou stage)
  • Avoir une expérience dans un contexte recherche serait un plus (labo académique ou
    industriel)

Objectifs

L'objectif global de la thèse est la mise en œuvre d'un framework d’adaptation des modalités d’interaction
en fonction du contexte d’usage. Pour atteindre cet objectif, plusieurs verrous sont à lever :

• Dans les environnements IoT, l’incroyable richesse et diversité des interacteurs susceptibles d’être
  intégrés aux dispositifs interactifs multimodaux, rend difficile la maitrise et la connaissance à priori
  (i.e. lors de la conception du dispositif) de la topologie et des caractéristiques de ces interacteurs.
  Dans ce contexte, comment abstraire celles-ci pour éviter le fastidieux travail d’adaptation à
  chacun des interacteurs pour le développeur ? Pour répondre à cette question, vous pourrez vous
  appuyer sur les résultats des travaux en plasticité des interfaces.
• Comment intégrer la prise en compte du contexte dans les deux principaux processus des
  systèmes multimodaux, à savoir la fusion et la fission de modalité ? Il sera notamment intéressant
  de faire la distinction entre les critères génériques dont la prise en compte pourra être
  automatisée, et les critères spécifiques, qui dépendent directement de l’application à mettre en
  œuvre. Pour ces derniers, il s’agira alors d’offrir des mécanismes pour faciliter leur intégration.
• Des questions se posent aussi du point de vue de l’usage de tels dispositifs :
  • Comment l’utilisateur peut-il anticiper l’interaction attendue dans un environnement
    interactif dynamique (question de l’affordance) ?
  • Comment l’utilisateur peut-il agir sur les choix de modalité pour qu’ils correspondent mieux à ces besoins, ces attentes (question de la personnalisation) ?

Illustration

Voici un exemple pour mieux illustrer la problématique de l’interaction multimodale contextuelle dans les
environnements IOT : la réservation de salle de réunion en entreprise.
Henri est chargé d'organiser un important séminaire pour son entreprise, qui réunit les principaux clients
de celle-ci. C'est l'occasion pour lui de mettre à l'épreuve les nombreuses technologies du bâtiment dans
lequel il travaille. Il se place devant l'un des écrans d'informations et s'adresse à celui-ci :
- "affiche-moi le plan du premier étage"
Il pointe alors le doigt sur l'amphithéâtre, s'adressant toujours à l'écran d'information :
- "je voudrais réserver cette salle début octobre. Indique-moi les jours où elle est libre toute la journée".
Cette fois-ci le système répond oralement à Henri :
- "L'amphithéâtre est libre le mardi 3 et le vendredi 6 octobre"
- "Très bien, envoie moi ça sur mon smartphone, je finaliserai la réservation plus tard".
Le jour du séminaire, les invités se présentent à l'accueil du bâtiment, au rez-de-chaussée. Après un
rapide enregistrement, ils sont guidés par le système qui profite des nombreux écrans d'information pour
afficher à leur passage, la direction à suivre pour rejoindre l'amphithéâtre.
Pendant ce temps-là, Henri se prépare à prononcer le discours d'ouverture du séminaire. Sur la scène de
l'amphithéâtre, il répète discrètement son discours à l'aide de ses lunettes de réalité augmentée qui lui
servent de prompteur. De plus elles l’informent en direct du nombre d'invités présents dans la salle.

Rémunération

Offre de thèse Cifre
Salaire : ~30-35K annuel
Pour plus d’information sur le salaire et autres avantages : https://orange.jobs/site/en-phd/index.htm#content

Références

[1] Bolt, Richard A. 1980. « “Put-That-There”: Voice and Gesture at the Graphics Interface ». In , 262-70.
ACM Press.
[2] Nigay, Laurence, et Joëlle Coutaz. 1993. « A Design Space for Multimodal Systems: Concurrent
Processing and Data Fusion ». In , 172-78. ACM Press.
[3] Dumas, Bruno, Denis Lalanne, et Sharon Oviatt. 2009. « Multimodal Interfaces: A Survey of Principles,
Models and Frameworks ». In Human Machine Interaction, édité par Denis Lalanne et Jürg Kohlas,
5440:3-26. Berlin, Heidelberg: Springer Berlin Heidelberg.
[4] Coutaz, Joëlle, Ann Blandford, et Jon May. 1995. « Four easy pieces for assessing the usability of
multimodal interaction: the CARE properties ». In . Lillehammer.
[5] Bouchet, Jullien, Laurence Nigay, et Thierry Ganille. 2004. « ICARE Software Components for Rapidly
Developing Multimodal Interfaces ». In , 251. ACM Press.
[6] Serrano, Marcos, Laurence Nigay, Jean-Yves L. Lawson, Andrew Ramsay, Roderick Murray-Smith, et
Sebastian Denef. 2008. « The Openinterface Framework: A Tool for Multimodal Interaction. » In , 3501. ACM
Press.
[7] Bodell, Michael, Deborah Dahl, Ingmar Kliche, Jim Larson, Brad Porter, Dave Raggett, T.V. Raman, et al.
2012. Multimodal Architecture and Interfaces. https://www.w3.org/TR/mmi-arch/.
[8] Loquendo, Paolo Baggia, Daniel C. Burnett, Jerry Carter, Deborah A. Dahl, Gerry McCobb, et Dave
Raggett. s. d. Extensible Multi-Modal Annotations (EMMA). https://www.w3.org/TR/emma/.
[9] Avouac, Pierre-Alain, Philippe Lalanda, et Laurence Nigay. 2012. « Autonomic Management of
Multimodal Interaction: DynaMo in Action ». In Proceedings of the 4th ACM SIGCHI Symposium on
Engineering Interactive Computing Systems - EICS ’12, 35. Copenhagen, Denmark: ACM Press.
[10] Thevenin, D., Coutaz, J. Plasticity of User Interfaces : Framework and Research Agenda. In Proc.
Interact99, Edinburgh, A. Sasse & C. Johnson Eds, IFIP IOS Press Publ. , 1999, pp.110-117

Download : Sujet détaillé (73.96 ko)