Enseñar a la IA a entender la importancia de la puntualidad podría conducir a mejores modelos de predicción.
Un par de investigadores de la Universidad de Innsbruck en Austria ha desarrollado un método para determinar cuán bien un sistema de inteligencia artificial (IA) comprende la ‘validez temporal’, un referente que podría tener implicaciones significativas para el uso de productos de IA generativa como ChatGPT en el sector fintech.
La validez temporal se refiere a qué tan relevante es una declaración dada para otra declaración a lo largo del tiempo. Básicamente, se refiere al valor temporal de las declaraciones emparejadas. Una IA que se evalúa por su capacidad para predecir la validez temporal recibiría un conjunto de declaraciones y se le pediría que elija la más estrechamente relacionada en el tiempo.
En su reciente artículo de investigación preimpreso titulado «Predicción de Cambio de Validez Temporal», Georg Wenzel y Adam Jatowt utilizan el ejemplo de una declaración en la que se declara que una persona está leyendo un libro en un autobús.
Los investigadores crearon un conjunto de datos etiquetado de ejemplos de entrenamiento que luego utilizaron para construir una tarea de evaluación para modelos de lenguaje grandes (LLMs). Eligieron ChatGPT como modelo fundacional para las pruebas debido a su popularidad entre los usuarios finales y descubrieron que tenía un rendimiento inferior en comparación con modelos menos generalizados.
CHATGPT se encuentra entre los modelos de rendimiento inferior, lo cual es consistente con otros estudios sobre la comprensión de TCS. Sus deficiencias pueden deberse al enfoque de aprendizaje few-shot y a la falta de conocimiento sobre las características específicas del conjunto de datos.»
Esto indica que situaciones en las que la validez temporal juega un papel en la determinación de la utilidad o precisión, como en la generación de noticias o la evaluación de los mercados financieros, probablemente se manejarán mejor con modelos de IA específicos que con servicios más generalistas como ChatGPT.
Los investigadores también demostraron que experimentar con la predicción de cambio de valor temporal durante el ciclo de entrenamiento de un LLM tiene el potencial de conducir a puntajes más altos en la tarea de evaluación de cambio temporal.
Aunque el artículo no discute específicamente las implicaciones más allá del experimento en sí, una de las limitaciones actuales de los sistemas de IA generativos es su falta de capacidad para distinguir entre eventos pasados y presentes dentro de un conjunto de literatura.
Enseñar a estos sistemas a determinar las declaraciones más relevantes a lo largo de un corpus, con la temporalidad como factor determinante, podría revolucionar la capacidad de los modelos de IA para realizar predicciones en tiempo real en sectores a gran escala como los mercados de criptomonedas y de valores.
Fuente: Cointelegraph
