por
Los investigadores del MIT han compilado un conjunto de datos que captura el comportamiento detallado de un sistema robótico que empuja físicamente cientos de objetos diferentes. Utilizando el conjunto de datos, el más grande y diverso de su clase, los investigadores pueden entrenar a los robots para "aprender" la dinámica de empuje que es fundamental para muchas tareas complejas de manipulación de objetos, incluida la reorientación e inspección de objetos y despojo de escenas.
Para capturar los datos, los investigadores diseñaron un sistema automatizado que consiste en un brazo robótico industrial con control preciso, un sistema de seguimiento de movimiento en 3D, cámaras de vigilancia tradicionales y profundas, así como Un software que lo ensambla todo. El brazo empuja alrededor de objetos modulares que se pueden ajustar de acuerdo con el peso, la forma y la distribución de la masa. Con cada impulso, el sistema captura el impacto de estas características en el empuje del robot.
El conjunto de datos, llamado "Omnipush", contiene 250 empujes diferentes de 250 objetos, para un total de aproximadamente 62,500 empujes únicos. Los investigadores ya lo están utilizando para, por ejemplo, crear modelos que ayuden a los robots a predecir dónde aterrizarán los objetos cuando sean empujados.
"Necesitamos muchos datos ricos para que nuestros robots aprendan", dice Maria Bauza, una estudiante graduada en el Departamento de Ingeniería Mecánica (MechE) y primera autora de un artículo que describe Omnipush presentado en la próxima Conferencia Internacional. Robots y sistemas inteligentes. "Aquí, recopilamos datos de un sistema robótico real (y) los objetos son lo suficientemente variados como para capturar la riqueza de los fenómenos que lo impulsan. Esto es importante para ayudar a los robots a comprender cómo funciona el empuje y a traducir esa información en objetos similares en el mundo real. "
Ferran Alet y Yen-Chen Lin, estudiantes graduados del Laboratorio de Computación e Inteligencia Artificial y el Departamento de Ingeniería Eléctrica e Informática (EECS) se unen a Bauza. Tomás Lozano-Pérez, profesor de excelencia en la enseñanza en la Facultad de Ingeniería; Leslie P. Kaelbling, profesora de informática e ingeniería Panasonic; Phillip Isola, profesor asistente en EECS; y Alberto Rodríguez, profesor asociado en MECE.
Diversificar los datos.
¿Por qué centrarse en el comportamiento de empuje? El modelado de la dinámica de empuje que implica fricción entre objetos y superficies, explica Rodríguez, es esencial para las tareas robóticas de nivel superior. Considere el robot visual y técnicamente impresionante que puede interpretar a Jenga, recientemente codiseñado por Rodríguez. "El robot realiza una tarea compleja, pero el corazón de la mecánica subyacente siempre está empujando un objeto afectado, por ejemplo, por la fricción entre los bloques", dice Rodríguez.
Omnipush se basa en un conjunto de datos similar integrado en el laboratorio de manipulación y mecanismos (MCube) de Rodríguez, Bauza y otros investigadores que capturaron datos repulsivos en solo 10 objetos. Después de hacer público el conjunto de datos en 2016, recopilaron los comentarios de los investigadores. Una de las quejas fue la falta de diversidad de objetos: los robots entrenados en el conjunto de datos estaban luchando por generalizar la información a nuevos objetos. Tampoco había video, lo cual es importante para la visión por computadora, la predicción de video y otras tareas.
Para su nuevo conjunto de datos, los investigadores utilizan un brazo robótico industrial con un control preciso de la velocidad y la posición de un empujador, esencialmente una varilla de acero vertical. Cuando el brazo empuja los objetos, un sistema de seguimiento de movimiento "Vicon", utilizado en películas, realidad virtual y para investigación, rastrea los objetos. También hay una cámara RGB-D, que agrega información de profundidad al video capturado.
La clave fue la construcción de objetos modulares. Las piezas centrales uniformes, hechas de aluminio, parecen estrellas de cuatro puntas y pesan alrededor de 100 gramos. Cada pieza central contiene marcadores en el centro y puntos para que el sistema Vicon pueda detectar su ubicación en un milímetro.
Las piezas más pequeñas de cuatro formas (cóncava, triangular, rectangular y circular) se pueden unir magnéticamente a cualquier lado de la pieza central. Cada pieza pesa entre 31 y 94 gramos, pero se pueden insertar pesos adicionales que oscilan entre 60 y 150 gramos en los pequeños orificios de la habitación. Todas las piezas de objetos en forma de rompecabezas están alineadas tanto horizontal como verticalmente, lo que hace posible emular la fricción que tendría un solo objeto de la misma forma y la misma distribución de la masa. Todas las combinaciones de diferentes lados, pesos y distribuciones en masa produjeron hasta 250 artículos únicos.
Con cada empuje, el brazo se mueve automáticamente a una posición aleatoria a varios centímetros del objeto. Luego selecciona una dirección aleatoria y empuja el objeto por un segundo. Comenzando desde donde se detuvo, elige otra dirección aleatoria y repite el proceso 250 veces. Cada impulso registra la pose del objeto y el video RGB-D, que se puede usar para varios propósitos de predicción de video. La recopilación de datos tomó 12 horas al día, durante dos semanas, por un total de más de 150 horas. La intervención humana solo era necesaria cuando se reconfiguraban manualmente los objetos.
Los objetos no se ven específicamente como objetos de la vida real. En cambio, están diseñados para capturar la diversidad de "cinemática" y "asimetrías de masa" que se esperan de los objetos del mundo real que modelan la física del movimiento de objetos del mundo real. Los robots pueden entonces extrapolar, por ejemplo, el modelo físico de un objeto Omnipush con distribución de masa desigual a cualquier objeto del mundo real con una distribución de peso desigual similar.
"Imagina que estás empujando una mesa de cuatro patas, donde la mayor parte del peso está en una pierna. Cuando empujas la mesa, ves que gira sobre la pierna pesada y debes reajustarla. Comprender que la distribución masiva y su efecto en el resultado de un impulso es algo que los robots pueden aprender con este conjunto de objetos ", dice Rodríguez.
Alimentar nuevas investigaciones
En un experimento, los investigadores utilizaron Omnipush para formar un modelo para predecir la pose final de los objetos empujados, basándose únicamente en la pose inicial y la descripción del empuje. Formaron el modelo en 150 objetos Omnipush y lo probaron en una parte de los objetos que quedaron. Los resultados mostraron que el modelo formado por Omnipush era dos veces más preciso que los modelos formados en algunos conjuntos de datos similares. En su artículo, los investigadores también registraron puntos de referencia en términos de precisión que otros investigadores pueden usar para fines de comparación.
Como Omnipush captura las cargas de video, una de las aplicaciones potenciales es la predicción de video. Un colaborador, por ejemplo, ahora usa el conjunto de datos para formar un robot para esencialmente "imaginar" empujar objetos entre dos puntos. Después de entrenar en Omnipush, el robot recibe dos imágenes de video como entrada, mostrando un objeto en su posición inicial y final. Con la ayuda de la posición inicial, el robot predice todas las imágenes de video futuras asegurando que el objeto alcance su posición final. Luego empuja el objeto de manera que coincida con cada imagen de video predicha hasta que alcance la imagen con la posición final.
"El robot pregunta:" Si hago esta acción, ¿dónde estará el objeto en este marco? "Luego selecciona la acción que maximiza la probabilidad de colocar el objeto en la posición deseada", explica Bauza. "Decide cómo mover objetos imaginando primero cómo cambiarán los píxeles de la imagen después de un pulso".
"Omnipush incluye mediciones precisas del movimiento de objetos, así como datos visuales, para una clase importante de interacciones robot-objeto en todo el mundo", dice Matthew T. Mason, profesor de informática y robótica en la Universidad. Carnegie Melon. "Los investigadores de robótica pueden usar estos datos para desarrollar y probar nuevos enfoques para el aprendizaje de robótica … que impulsarán los avances continuos en la manipulación robótica".
