Facebook AI apprend à l’IA à voir à la première personne

Aujourd’hui nous souhaitons vous informer que les équipes de recherche de Facebook AI se lancent dans un ambitieux projet de recherche baptisé Ego4D.

Celui-ci permettra de faire progresser la compréhension du monde par les systèmes d'IA avec une perspective égocentrique (à la première personne) et à plus long terme de concevoir des assistants domestiques ou des lunettes AR/VR plus intelligents et immersifs.
Le projet rassemble 13 universités et laboratoires dans 9 pays, qui ont jusqu'à présent collecté plus de 2 200 heures de vidéos à la première personne, mettant en scène plus de 700 participants dans leur vie quotidienne.
La plupart des vidéos partagées en ligne et disponibles pour l'apprentissage des machines ont été filmées à la troisième personne. Cependant, l'IA qui comprend le monde du point de vue de la première personne pourrait ouvrir une nouvelle ère d'expériences immersives, à mesure que des dispositifs comme les lunettes en réalité augmentée et les casques en réalité virtuelle deviennent aussi utiles dans la vie quotidienne que les smartphones.
En comprenant le monde tel que nous le voyons, les dispositifs de réalité augmentée pourraient nous montrer exactement comment tenir des baguettes pendant une leçon de batterie, nous guider dans la réalisation d'une recette ou nous aider à retrouver nos clés par exemple.
En collaboration avec le consortium et Facebook Reality LabsResearch (FRL Research), Facebook AI a également développé 5 critères de référence centrés sur l'expérience visuelle égocentrique.
Ces critères peuvent servir de base au développement d'assistants IA plus intelligents, capables de comprendre et d'interagir dans le monde réel mais aussi dans le métaverse où la réalité physique, la réalité augmentée et la réalité virtuelle sont réunies dans un même espace.