Typologie des épreuves

TYPOLOGIE DES ÉPREUVES (EXTRAITS DU RÈGLEMENT)

1- Vérification de conformité des systèmes robotisés
2- Tests libres
3- Epreuve de présentation 
4- Epreuve blanche
5- Epreuve finale
6- Evaluation
7- Publication des résultats

Le concours se déroulera en plusieurs phases réparties sur les cinq jours : une phase de vérification de conformité des systèmes robotisés, une phase d’entrainement et une phase de compétition.  La  phase  d’entrainement  proposera  des  sessions  de  tests  libres  et  une  épreuve « blanche » visant à mettre les équipes dans les conditions de réalisation d’une épreuve dynamique de compétition. La compétition en elle-même repose sur deux épreuves : une épreuve de présentation du projet (épreuve statique) et une épreuve « finale » (épreuve dynamique) visant à la réalisation d’une mission telle que définie dans le § I.3.

Durant  les  épreuves,  les  concurrents  devront  démontrer  un  certain  nombre  de  capacités  rapportant des points, le vainqueur du défi sera l’équipe ayant accumulé le plus grand nombre de points.
 

1- Vérification de conformité des systèmes robotisés

La  vérification  de  conformité  du  système  robotisé  est  obligatoire  avant  tout  accès  aux  arènes.
L'organisation  s'assure  que  le  système  robotisé  est  conforme  au  règlement  (voir  §  IV)  et  au  dossier technique (vérification statique), puis s’il a un comportement sain (vérification dynamique) :
     a.   vérification du bon fonctionnement de l'arrêt d'urgence,
     b.   vérification du comportement du système face à des obstacles, 
     c.   vérification  du  comportement  du  système  en  cas  de  perte  de  la  liaison  de  données, surtout  en  cas  de  calculs  déportés  (interruption  volontaire  de  la  communication  et observation du résultat).
     d.   vérification des fréquences utilisées et puissances émises.

Si un système robotisé est composé de plusieurs robots alors chaque robot qui le compose doit être présenté  à  la  vérification  de  conformité.  En  fonction  du  résultat,  l’organisation  valide  ou  non l’autorisation pour chaque robot à évoluer dans les arènes.
Des  créneaux  spécifiques  d’accès  aux  arènes  (voir  §  V)  seront  réservés  en  J2  pour  la  vérification de conformité  des  systèmes  de  chaque  équipe.  Suivant  la  disponibilité  de  l’équipe  organisatrice,  une première phase de vérification statique pourrait avoir lieu en J1 pour les équipes qui le souhaiterait.

2- Tests libres

Chaque équipe disposera de créneaux pour réaliser des tests libres dans les arènes avec ses robots qui auront été, au préalable, déclarés conforme. Ces tests doivent permettre aux équipes de s’entrainer et de préparer leurs systèmes aux épreuves blanche et finale.
En J3, les équipes, sur la base du volontariat, pourront soumettre à l’organisation les résultats de leurs essais d’exploration. L’organisation les traitera de façon à valider auprès de l’équipe que les fichiers fournis respectent bien les formats attendus.

3- Epreuve de présentation

L’épreuve  de  présentation  comprend  un  dossier  technique,  une  soutenance  orale  et  un  poster technique.
Chaque équipe devra fournir un Dossier Technique avant le 1 er  juin 2011. Il pourra être accompagné d’un reportage vidéo.

Ce dossier technique, qui pourra être inclus dans le livrable dû à l’ANR au terme des 18 premiers mois du  projet,  est  un  document  ne  devant  pas  excéder  30  pages  (illustrations,  références,  sommaire  et annexes compris) et présentant le découpage suivant :
     a.   Résumé
     b.   Introduction
     c.   Description organisationnelle : 
          i.   Organisation de l’équipe ;
          ii.   Description du projet (avec tâches réalisées, planning et budget réalisés).
     d.   Description technique
     Fonctionnalités et architecture du système robotisé, techniques mises en œuvre et justification des choix sur les thèmes : 
                 1.   Architecture générale du système (matérielle et logicielle) 
                 2.   Gestion des obstacles
                 3.   Stratégie d’exploration 
                 4.   Localisation et cartographie 
                 5.   Classification des objets, sols et murs.
                 6.   Modes de visualisation des données cartographiques / classifications. 
          iii.   Eléments justifiant la conformité du système au règlement:
                 1.   Coût du système robotisé (doit être inférieur à 50 k€). 
                 2.   Système de communication, fréquences/canaux utilisés, puissance. 
                 3.   Comportement en cas de perte de communication.
                 4.   Sécurité des biens et des personnes. 
                 5.   Protocole à suivre pour extraire les données. 
                 6.   Exemples de données produites.
     e.   Perspectives (avancement des réflexions sur la cartographie 3D, idées supplémentaires par rapport aux annotations sémantiques, idées d’évolutions pour 2012, …) 
     f.    Références

Le  dossier  technique  devra être  fourni  au  format  électronique  (de  préférence  pdf) et  imprimable  au format A4, avec des marges de 25 mm minimum et une police de 10 points minimum.
En  J3,  chaque  équipe  présentera,  au  cours  d’une  soutenance  orale,  son  projet  au  jury  pendant  15 minutes. Le support numérique de la présentation (format ppt ou pdf) doit être fourni au début de l’épreuve. Cet exposé sera suivi de 20 minutes de questions de la part du jury. Les fonctionnalités et
capacités du système robotisé, les techniques employées, les choix entrepris et l’innovation apportée seront entre autres exposés.
Un Poster résumant le projet (le robot et ses fonctionnalités) devra être réalisé et fourni, au format A1. Ce  poster  technique  sera  affiché  sur  le  stand  de  l’équipe  afin  de  présenter rapidement le  projet aux visiteurs des stands des équipes. Il pourra également servir de support aux présentations statiques. Il
inclura les logos de l’ANR et de la DGA. Il sera en outre affiché lors de la soirée de clôture.

4- Epreuve blanche

L’épreuve blanche permet à l’organisation de vérifier que le système robotisé est capable de produire un résultat exploitable par ses outils d’évaluations et permet au candidat d’effectuer un test dans les mêmes conditions que l’épreuve finale. Ainsi, le système robotisé devra être capable d’effectuer une mission telle que définie au § I.3 dans les conditions du §II.5

Cette épreuve sera évaluée selon le même barème de notation que l’épreuve finale, détaillé en Annexe II.  Les  points  obtenus  lors  de  l'épreuve  blanche  ne  servent  qu’à  établir  l'ordre  de  passage  pour  la finale.

5- Epreuve finale

Le dernier jour aura lieu l’épreuve finale. Elle correspond à l’épreuve dynamique de la compétition.
Le  système  robotisé  devra  effectuer  une  mission  telle  que  celle  définie  au  §  I.3  dans  les  conditions définies ci-dessous. L’épreuve sera évaluée selon le barème de notation détaillé en Annexe II.
L’équipe appelée se rend sur une des aires de préparation de l’arène où va se dérouler l’épreuve, selon les trois phases suivantes.
 

• Préparation
  5 minutes de préparation pendant lesquelles l’aire de préparation devant l’arène est accessible pour positionner le système robotisé (le ou les robots) devant l’entrée de l’arène sur l’aire de départ et le mettre en configuration pour démarrer. Il n’est pas permis pendant cette période de faire pénétrer le robot dans l’arène.
  A l’issue de cette période de préparation, le système est considéré comme étant :
  - placé devant l’entrée de l’arène,
  -  mis  en  route  (initialisation  du  système  robotisé  dans  son  ensemble,  établissement  des
  communications),
  - dans un état d’attente du départ.
  Dès  que  les  5  minutes  sont  écoulées,  le  ou  les  robots  sont  autorisés  à  pénétrer  dans  l’arène.  Un organisateur effectue dès que l’équipe donne le signal le lancement de la mission qui doit être simple (ex. appui sur ON). 
   
• Mission
  Chaque  équipe  disposera  de  30  minutes  pour  effectuer  la  mission  définie  au  §  I.3  et  dont  les principaux éléments sont rappelés ci-dessous.
  
  1.   Le   système   robotisé   devra   reconnaître   l’ensemble   des   pièces   et   des   objets   les constituant :  il  devra  ainsi  cartographier les  pièces,  les  dénombrer,  les  caractériser, en établir la topologie ainsi que les dimensions, ainsi que détecter, identifier et localiser les objets.
  2.   La clef joue un rôle particulier : la localiser correctement apporte un bonus, la localiser incorrectement apporte un malus.
  3.   Le ballon joue un rôle particulier : il doit être poussé volontairement par le robot. 
  4.   Avant  la  fin  des  30  minutes,  le  système  robotisé  devra  être  sorti  de  l’arène  et  être revenu à l’aire de départ ou subir une pénalité.
  5.   Le temps mis pour effectuer la mission sera chronométré, le temps restant apporte un bonus.
  
  A  l’issue  de  sa  mission,  le  système  robotisé  doit  être  en  mesure  de  produire  une  cartographie  avec annotations sémantiques des lieux visités, localisant les différents objets et les obstacles, ainsi que des fichiers de log (cf. annexe I).
  Durant  la  mission  le  système  est  autonome :  aucune  intervention  humaine  sur  le  système  robotisé n’est autorisée. La  mission  est  considérée  comme  terminée  si :  le  temps  imparti  est  terminé  ou  l’organisation  a ordonné  l’arrêt  du  système  robotisé  (comportement  dangereux,  …)  ou  le  responsable  de  l’équipe  a demandé l’arrêt définitif du système robotisé ou le robot est sorti de l’arène.
  Au  cours  de  la  mission,  en  cas  de  dysfonctionnement  important  et  à  la  demande  du  responsable d’équipe,  seul  un  opérateur  de  l’organisation  est  autorisé  à  aller  dans  l’arène  pour  éteindre  le(s) robot(s) et le(s) ramener au point de départ. Le temps continue alors à s’écouler. L’équipe peut décider soit  de  refaire  la  mission  avec  le  temps  restant  et  en  effaçant  toutes  les  informations  recueillies précédemment, soit de conserver les données cartographiques acquises et les fournir telles qu’elles au jury,  mais  elle  doit  prendre  la  décision  sans  visionner  ces  données.  Chaque  mission  recommencée entraîne une pénalité en termes de points.
  Si à la fin des 30 minutes des robots sont toujours présents dans l’arène, l’organisation les éteindra et les ramènera à l’équipe. De même, si le système robotisé termine sa mission avant la fin des 30 minutes, l’équipe peut choisir de relancer une mission dans les mêmes conditions que celles décrites dans le paragraphe ci-dessus pour le cas d’un dysfonctionnement important.
   
• Restitution
  Chaque équipe disposera de 5 minutes pour produire le résultat de sa mission : une cartographie et des annotations sémantiques des lieux visités. Il devra être produit de façon autonome par le système. Toute manipulation réalisée par un membre de l’équipe et visant à apporter une valeur ajoutée aux données  de  résultats  (par  ex.  visionnage  de  plusieurs  cartes  pour  sélection  d’une  en  particulier, redressement  de  la  carte,  annotations  supplémentaires  dans  les  logs,  …),  est  interdite.  Seules  des instructions  ayant  pour  unique  rôle  de  copier  les  résultats  sur  le  support  amovible  USB  de l’organisation seront autorisées. Ces actions doivent toutes être décrites au sein du rapport technique et les éventuels compléments nécessaires  apportés au  jury  pour éviter  tout  malentendu  pendant  les épreuves. 
  Lors de la restitution, la cartographie devra être exportée dans le format donné en annexe I et ce afin d’évaluer  équitablement  les  différentes  équipes.  De  même,  des  fichiers  de  log  seront  également fournis à l’issue de la mission (format et champs minimums spécifiés en annexe I, ils seront de plus
  décrits par chaque équipe dans le dossier technique).
  Dans  un  second  temps,  les  candidats  pourront  montrer  un  autre  mode  de  restitution  original  et informeront  dans  le  dossier  technique  l’organisation  et  le  jury  des  choix  réalisés.  Ce  mode  de restitution  et  son  format  devront  être  détaillés  dans  le  dossier  technique.  La  capacité  de  rejouer  la mission hors ligne sera pourra également être démontrée.

 

6- Evaluation

Pour cette deuxième édition du concours, l’accent est mis sur la reconnaissance et la localisation des objets à reconnaitre (notation en conséquence). 
Le barème, support de l’évaluation, est fourni en Annexe II. 

Pour  la  cartographie,  il  est  demandé  une  cartographie  2D  de  l’arène  (qui  aura  un  sol  non  plan),  la réalisation  d’une  liste  d’objets  et  leur  classification,  et  la  construction  d’une  carte  topologique.  La localisation dans les trois dimensions des objets à reconnaitre est demandée.

Les résultats de mission à fournir sont décrits en Annexe I.

7- Publication des résultats

La publication des résultats de l’épreuve blanche sera réalisée en fin de J4. Ils serviront à déterminer l’ordre de passage lors de l’épreuve finale.

Le classement final sera établi à partir de la notation obtenue à l'issue de la présentation orale (dossier technique  +  soutenance  orale)  et  des  points  accumulés  lors  de  l’épreuve  finale.  Ce  classement  sera annoncé durant la soirée de clôture. Des prix pourront être octroyés aux gagnants et seront attribués par le jury aux équipes ayant accumulé le plus de points lors du défi.