Los límites de la IA en la ciencia de los materiales
Investigadores de la Universidad Friedrich Schiller de Jena revelan los puntos fuertes y débiles de los modelos lenguaje-imagen en tareas científicas
Los actuales modelos de voz-imagen basados en IA son muy buenos para reconocer contenidos, pero alcanzan sus límites cuando se trata de procesos científicos más complejos. Así lo demuestra un reciente estudio realizado por investigadores de la Universidad Friedrich Schiller de Jena en colaboración con socios internacionales. En este trabajo, los investigadores analizaron sistemáticamente por primera vez hasta qué punto los modelos modernos de IA pueden procesar información visual y textual en química y ciencia de materiales.
Innovador método de evaluación de la IA
"Nuestro estudio resuelve un problema en la investigación de la IA: ¿cómo se pueden evaluar de forma justa los sistemas multimodales si no está claro qué datos han visto ya los modelos durante el entrenamiento?", explica el Dr. Kevin Maik Jablonka, director de un grupo de investigación junior de la Fundación Carl Zeiss en la Universidad Friedrich Schiller de Jena y el Instituto Helmholtz de Polímeros en Aplicaciones Energéticas (HIPOLE) de Jena, la innovación metodológica. El procedimiento de evaluación desarrollado permite por primera vez analizar sistemáticamente los puntos fuertes y débiles de los actuales sistemas de IA en aplicaciones científicas.
"Los sistemas de IA multimodal capaces de comprender tanto texto como imágenes se consideran el futuro de los sistemas de asistencia científica", explica Jablonka. "Queríamos averiguar si estos modelos tienen realmente potencial para ayudar a los investigadores en su trabajo diario, desde la evaluación de la literatura hasta el análisis de datos".
Más de mil tareas de la vida científica cotidiana
Para probar las capacidades de la IA multimodal, el equipo internacional desarrolló el procedimiento de evaluación "MaCBench" (https://macbench.lamalab.org), que comprende más de 1.100 tareas realistas de tres áreas clave del trabajo científico: extraer datos de la bibliografía, comprender experimentos de laboratorio y simulación e interpretar resultados de mediciones. Las pruebas incluían tareas que iban desde el análisis de datos espectroscópicos y la evaluación de la seguridad en el laboratorio hasta la interpretación de estructuras cristalinas.
El equipo analizó los principales modelos de IA en función de su capacidad para comprender y relacionar información científica. "A diferencia de los modelos puramente textuales, estos sistemas deben ser capaces de procesar simultáneamente información visual y textual, una capacidad esencial para el trabajo científico", explica Jablonka.
Éxito con tareas sencillas, debilidades con el pensamiento complejo
Los resultados del estudio presentado ahora muestran un panorama diferenciado: Mientras que los modelos de IA reconocían con fiabilidad los equipos de laboratorio o extraían datos estandarizados casi sin errores, se revelaron debilidades fundamentales en los análisis espaciales y la vinculación de distintas fuentes de información. "Resultó especialmente llamativo que los modelos procesaran significativamente mejor la misma información cuando se presentaba como texto en lugar de como imagen", informa Jablonka. "Esto indica que la integración de distintos tipos de datos aún no funciona de forma óptima".
Otro descubrimiento sorprendente fue que el rendimiento de los modelos estaba fuertemente correlacionado con la frecuencia de los materiales de prueba en Internet. "Esto sugiere que los modelos se basan en parte en el reconocimiento de patrones a partir de datos de entrenamiento en lugar de desarrollar una comprensión científica real", afirma el investigador.
Bases para mejorar los sistemas de asistencia de IA
Los hallazgos podrían ser beneficiosos para el desarrollo de futuros asistentes científicos de IA: "Antes de que estos sistemas puedan utilizarse de forma fiable en investigación, su percepción espacial y la vinculación de diferentes tipos de información deben mejorarse fundamentalmente", resume Jablonka. "Nuestro trabajo muestra formas concretas de afrontar estos retos y mejorar las herramientas de IA para las ciencias naturales".
Nota: Este artículo ha sido traducido utilizando un sistema informático sin intervención humana. LUMITOS ofrece estas traducciones automáticas para presentar una gama más amplia de noticias de actualidad. Como este artículo ha sido traducido con traducción automática, es posible que contenga errores de vocabulario, sintaxis o gramática. El artículo original en Alemán se puede encontrar aquí.
Publicación original
Más noticias del departamento ciencias
