Inteligencia artificial en la química moderna: comparación entre humanos y máquinas
"Las posibilidades de la inteligencia artificial en Química despiertan cada vez más interés, así que queríamos averiguar lo buenos que son realmente estos modelos"
Un reciente estudio realizado por investigadores de la Universidad Friedrich Schiller de Jena ha investigado la potencia de los modernos modelos de IA, como GPT-4, en química y su rendimiento en comparación con los expertos humanos. Utilizando un método de prueba de nuevo desarrollo denominado "ChemBench", el equipo dirigido por el Dr. Kevin M. Jablonka pudo demostrar que los modelos de IA son convincentes en determinadas áreas de tareas, pero también presentan claros puntos débiles. El equipo informa de ello en la revista científica "Nature Chemistry".
"Las posibilidades de la inteligencia artificial en Química despiertan cada vez más interés, así que queríamos averiguar hasta qué punto son realmente buenos estos modelos", explica Jablonka, director del Grupo de Investigación Junior de la Fundación Carl Zeiss "Polímeros en aplicaciones energéticas" de la Universidad Friedrich Schiller de Jena y del Instituto Helmholtz de Polímeros en Aplicaciones Energéticas (HIPOLE) de Jena. En el centro del estudio estaba "ChemBench", una herramienta desarrollada por los investigadores que se comparó con las habilidades de los químicos.
Más de 2.700 tareas comparadas entre humanos y máquinas
Para poner a prueba las capacidades de la IA, el equipo de la Universidad de Jena desarrolló un procedimiento de prueba especial que utiliza tareas reales de la química moderna. En la herramienta "ChemBench" se integraron más de 2.700 preguntas de diversas áreas de la Química, desde la orgánica hasta la analítica. Abarcan tanto conocimientos básicos como problemas complejos y se basan en los planes de estudios típicos de Química. El rendimiento de los modelos de IA se comparó con el de 19 expertos experimentados en las mismas tareas.
Mientras que a los humanos se les permitió utilizar ayudas como Google o programas químicos durante parte del estudio, los modelos de IA tuvieron que arreglárselas sin esos recursos externos. "Por tanto, los modelos pudieron extraer sus conocimientos exclusivamente del entrenamiento con datos existentes", explica Jablonka. "También probamos dos agentes de IA con acceso a herramientas externas, pero no pudieron seguir el ritmo de los mejores modelos", añade el químico. Además de la precisión de las respuestas, los investigadores también evaluaron la fiabilidad de las propias respuestas de la IA.
La IA es más rápida y eficaz, los humanos son más reflexivos y autocríticos
Los resultados del estudio muestran un panorama desigual, informa Jablonka: "Incluso para preguntas muy exigentes tipo libro de texto, algunos modelos de IA demostraron ser más eficientes que los humanos". Sin embargo, mientras que los químicos admitían abiertamente en algunos casos que no podían responder a una pregunta con certeza, los mejores modelos de IA mostraban una tendencia opuesta: a menudo daban respuestas con gran confianza, aunque el contenido fuera incorrecto.
"Las respuestas incorrectas con gran convicción pueden acarrear problemas"
"Esto fue particularmente notable con preguntas sobre la interpretación de estructuras químicas, como la predicción de espectros de RMN", dice Jablonka. Aquí, los modelos parecían dar respuestas claras, aunque a veces cometieran errores fundamentales. Los expertos humanos, en cambio, dudaban más a menudo y cuestionaban sus propias conclusiones. "Esta discrepancia es un factor decisivo para la aplicabilidad práctica de la IA en química", sentencia Jablonka, porque: "Un modelo que proporciona respuestas incorrectas con gran convicción puede acarrear problemas en áreas sensibles de la investigación".
"Nuestra investigación demuestra que la IA puede ser un importante complemento a la experiencia humana, no como sustituto, sino como una valiosa herramienta que apoya el trabajo", resume Kevin Jablonka. "Nuestro estudio sienta así las bases para una colaboración más estrecha entre la IA y la pericia humana en Química".
Nota: Este artículo ha sido traducido utilizando un sistema informático sin intervención humana. LUMITOS ofrece estas traducciones automáticas para presentar una gama más amplia de noticias de actualidad. Como este artículo ha sido traducido con traducción automática, es posible que contenga errores de vocabulario, sintaxis o gramática. El artículo original en Inglés se puede encontrar aquí.
Publicación original
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, ... Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; "A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists"; Nature Chemistry, 2025-5-20
Más noticias del departamento ciencias
