Utilizar la IA como tutor de exámenes
La inteligencia artificial ayudará a los examinandos a estudiar mejor
En el centro de servicios WestAI, las instituciones de investigación de Renania del Norte-Westfalia apoyan a las empresas en el desarrollo de aplicaciones innovadoras de IA. Una cooperación entre Forschungszentrum Jülich y la editorial u-form ilustra ahora cómo puede ser una colaboración de este tipo.
El año pasado, la inteligencia artificial (IA) superó con éxito varios exámenes, entre ellos el examen para obtener la licencia médica en Estados Unidos. Ahora la IA se propone ayudar a los examinandos humanos a estudiar con más eficacia. Con la ayuda de expertos del Forschungszentrum Jülich, la editorial u-form Verlag pretende desarrollar un tutor de IA para la preparación de exámenes. En el marco de un proyecto de investigación conjunto con el centro de servicios de IA WestAI, se probarán varios modelos lingüísticos que se integrarán en los programas de formación de la editorial.
"Parte de nuestra colaboración consistirá en comparar la idoneidad de grandes modelos comerciales como GPT-4 y Claude 2 con modelos de código abierto, cuyo uso resulta atractivo para las empresas por motivos de protección de datos, por ejemplo", explica Fritz Niesel, investigador y consultor de IA en el Centro de Supercomputación de Jülich.
Un primer caso de uso es el examen final de la Cámara de Industria y Comercio (IHK) para aprendices de comercio. U-form Verlag, especializada en la preparación de exámenes, ofrece los correspondientes programas de formación. La IA debería permitir evaluar automáticamente las respuestas de texto libre y señalar los errores a los alumnos.
Una de las preguntas del examen es, por ejemplo, en qué se diferencian un "monopolio de suministro" y un "polipropio". Antes, los alumnos sólo podían comparar sus respuestas de forma independiente con una solución de ejemplo. En el futuro, la IA también les proporcionará información directa sobre la exactitud e integridad de sus respuestas.
"La evaluación con Claude 2 de Anthropic funciona bastante bien en principio", dice Fritz Niesel. En algunos aspectos, sin embargo, la IA se enfrenta a los mismos problemas que un examinador humano, ya que las respuestas formuladas libremente son a veces ambiguas o imprecisas. No siempre pueden clasificarse claramente según un esquema de evaluación. Por ejemplo, el término alemán "Nachfrager" que aparece en la respuesta de ejemplo de la imagen podría significar varios compradores o un único comprador. Por tanto, los puntos concedidos son en cierta medida una cuestión de interpretación.
"Muchos modelos de código abierto son actualmente mucho más débiles en comparación. Siguen teniendo grandes carencias, sobre todo en alemán, y la mayoría de los modelos se entrenaron principalmente en inglés", afirma Fritz Niesel. Sin embargo, el hecho de que los usuarios puedan configurar sus propias aplicaciones y ejecutarlas en su propio hardware habla en favor del código abierto. De este modo, los valiosos conocimientos corporativos pueden protegerse de la distribución no autorizada.
Respuesta de Mixtral-8x7B: "La respuesta es correcta en parte, pero no lo suficientemente detallada. Se da un ejemplo de monopolio de suministro y de polopolio, pero no se indica claramente el número de proveedores y compradores. Sin embargo, para el monopolio de oferta se utiliza una descripción y un ejemplo correctos, por lo que se conceden 2 puntos. Aunque se utiliza una definición correcta para el polipolo, falta un ejemplo y el número de compradores, por lo que sólo se concede 1 punto. Se concede otro punto por el uso correcto de un término".
En el caso de prueba anterior, Mixtral-8x7B llega al mismo resultado que Claude 2. El modelo lingüístico Mixtral-8x7B está considerado por muchos como el mejor modelo de código abierto disponible en la actualidad. Sin embargo, la explicación dada por Mixtral-8x7B es inferior a la de Claude 2, con partes de ella simplemente erróneas o poco claras. Por ejemplo, en la respuesta no se da ningún ejemplo de polipropileno, a diferencia de lo que se indica en la explicación. Mixtral-8x7B también concede un punto "por el uso correcto de un término". ¿Pero a qué término se refiere?
"Se trata de un punto débil típico que puede mejorarse mediante ingeniería rápida -es decir, entradas especialmente personalizadas para la IA- y algún ajuste fino", estima Fritz Niesel. En el proyecto, los socios planean ahora seguir investigando si los modelos de código abierto pueden utilizarse como tutores de exámenes de forma tan eficaz como las IA comerciales más potentes.
WestAI por un uso innovador de la IA
La cooperación ha sido posible gracias al centro de servicios de IA WestAI, uno de los cuatro financiados por el Ministerio Federal de Educación e Investigación para impulsar la investigación en IA y su transferencia a aplicaciones prácticas en Alemania. Su principal objetivo es colaborar con empresas de nueva creación y pequeñas y medianas empresas.
WestAI proporciona a las partes interesadas de la industria y la ciencia acceso a modelos de IA e infraestructuras informáticas de IA de alto rendimiento. Los socios de WestAI aportan sus respectivos conocimientos de forma específica para ayudar a las empresas a utilizar las tecnologías de IA más avanzadas, poner en práctica ideas innovadoras y abrir nuevos campos de aplicación. La atención se centra en el lanzamiento de nuevos modelos de IA multimodal y generativa.
Nota: Este artículo ha sido traducido utilizando un sistema informático sin intervención humana. LUMITOS ofrece estas traducciones automáticas para presentar una gama más amplia de noticias de actualidad. Como este artículo ha sido traducido con traducción automática, es posible que contenga errores de vocabulario, sintaxis o gramática. El artículo original en Inglés se puede encontrar aquí.
Más noticias del departamento ciencias
Reciba la química en su bandeja de entrada
No se pierda nada a partir de ahora: Nuestro boletín electrónico de química, análisis, laboratorio y tecnología de procesos le pone al día todos los martes y jueves. Las últimas noticias del sector, los productos más destacados y las innovaciones, de forma compacta y fácil de entender en su bandeja de entrada. Investigado por nosotros para que usted no tenga que hacerlo.
