Na tarefa, dois robôs turistas de IA têm o desafio de se comunicar para navegarem por imagens de 360 graus dos bairros da cidade de Nova York. Isso é feito com a ajuda de um robô guia (foto) que não vê nada além de um mapa 2D dos espaços, com marcos genéricos como “restaurante” e “hotel”.

O teste não permitiu que os robôs compartilhassem suas visões, exigindo que se comunicassem para conseguirem navegar por um local específico. Cada experimento nessa tarefa é concluído quando o guia faz uma previsão de que o os robôs turistas chegaram ao local da meta. Se a previsão estiver correta, o episódio será gravado como bem-sucedido no sistema.

O Talk the Walk foi criado com o objetivo de criar máquinas que possam efetivamente “conversar” com humanos. Além dessa tecnologia, os pesquisadores do Facebook também desenvolveram um novo mecanismo de atenção chamado Masked Attention for Spatial Convolution (MASC), que ajuda o robô guia a interpretar as mensagens do robô turista em relação ao mapa geral para prever sua localização. Esta máscara espacial prevê onde o turista está atualmente, com base no rastreamento de seu progresso.

Finalmente, a tarefa mostrou que humanos usando linguagem natural são piores em se localizar do que robôs de IA usando comunicação sintética. Como as outras comparações do Talk the Walk entre desempenho humano e de máquina, esse é um resultado importante, pois ajuda a estabelecer uma linha de base para um estudo mais aprofundado dos desafios relacionados ao desenvolvimento de sistemas de IA. *Fonte: Panrotas