Human-on-the-loop continual learning: data, knowledge and agents for model adaptation

Abstract

(English) How do we effectively adapt a Machine Learning (ML) model when real-world data changes? This seemingly straightforward question underlies one of the most persistent challenges in deploying ML systems in production environments. As data distributions inevitably shift over time, ML models experience performance degradation, requiring systematic approaches to adaptation. Our work begins with data-driven techniques and progressively incorporates knowledge-based approaches, culminating in a "human-on-the-loop" paradigm where human specialists provide domain knowledge that guides autonomous AI processes. This thesis addresses the research question: How can we develop intelligent systems for ML model adaptation that effectively leverage human domain expertise? Our research spans four interconnected contributions, evolving from foundational Continual Learning (CL) approaches to sophisticated agent-based systems. First, we develop Task-Agnostic Domain-Incremental Learning (TADIL), an unsupervised data-driven approach that enables models to recognize when they need adaptation without explicit task boundaries, outperforming previous task identification methods by 6% in accuracy. This addresses the fundamental challenge of determining when model changes are necessary in continuously evolving environments. Next, we propose an experience replay method (TADILER) enhanced by LLM-generated descriptions and zero-shot clustering, where human domain knowledge guides template and description design for medical imaging tasks. This approach improves CL by reducing forgetting by 3.1% over traditional techniques while maintaining privacy in sensitive domains like healthcare. Building on these CL foundations, we develop LLM-based agents incorporating the structural insights gained from our earlier approaches. Our Cognitive Architecture for Monitoring Agent (CAMA) applies feature engineering principles through a decision procedure that transforms complex monitoring data into actionable insights via three key steps: Refactor, Break Down, and Compile. With humans providing domain knowledge and drift thresholds, CAMA surpasses state-of-the-art monitoring interpretation baselines by 33.3% in accuracy while requiring only 6% computational overhead. Finally, we present the Kahneman-Clear Agent (KC-Agent), a cognitive architecture inspired by dual-process theory that combines fast pattern-based responses (System 1) and deliberate analytical improvements (System 2). This architecture integrates human-provided dataset descriptions and cognitive science principles to provide theoretical guarantees for safe model enhancement while improving adaptation performance by 5.7% on new data distributions compared to conventional approaches. Through rigorous experimentation across multiple domains including autonomous driving, medical imaging, and financial prediction tasks, we demonstrate that our approaches significantly outperform conventional adaptation methods while maintaining computational efficiency. Our contributions advance the state-of-the-art in ML model maintenance by providing practical, theoretically-grounded solutions for the critical challenge of adapting to evolving data distributions. The proposed frameworks enable more robust, reliable, and efficient AI systems that can maintain performance over extended operational periods in dynamic real-world environments, marking an important step toward AI systems that learn continuously while preserving previously acquired knowledge.

(Català) Com adaptem eficaçment un model d'Aprenentatge Automàtic (ML) quan les dades del món real canvien? Aquesta pregunta aparentment senzilla subjau a un dels reptes més persistents en el desplegament de sistemes ML en entorns de producció. A mesura que les distribucions de dades inevitablement canvien amb el temps, els models ML experimenten degradació en el seu rendiment, requerint enfocaments sistemàtics d'adaptació. El nostre treball comença amb tècniques basades en dades i incorpora progressivament enfocaments basats en coneixement, culminant en un paradigma "human-on-the-loop" on especialistes humans proporcionen expertise que guia processos autònoms d'IA. Aquesta tesi aborda la pregunta d'investigació: Com podem desenvolupar sistemes intel·ligents per a l'adaptació de models ML que aprofitin eficaçment l'expertise humà? La nostra investigació abasta quatre contribucions interconnectades, evolucionant des d'enfocaments fonamentals d'Aprenentatge Continu (CL) fins a sofisticats sistemes basats en agents. Primer, desenvolupem Task-Agnostic Domain-Incremental Learning (TADIL), un enfocament no supervisat basat en dades que permet als models reconèixer quan necessiten adaptació sense límits de tasques explícits, superant a mètodes previs d'identificació de tasques en un 6% en precisió. Això aborda el repte fonamental de determinar quan són necessaris canvis en el model en entorns que evolucionen contínuament. A continuació, proposem un mètode de repetició d'experiències (TADILER) millorat mitjançant descripcions generades per LLM i agrupament zero-shot, on l'expertise humà guia el disseny de plantilles i descripcions per a tasques d'imatge mèdica. Aquest enfocament millora el CL reduint el forgetting en un 3.1% respecte a tècniques tradicionals, mentre manté la privacitat en camps sensibles com l'atenció sanitària. Basant-nos en aquests fonaments de CL, desenvolupem agents basats en LLM que incorporen les perspectives estructurals obtingudes dels nostres enfocaments anteriors. La nostra Cognitive Architecture for Monitoring Agent (CAMA) aplica principis d'enginyeria de característiques a través d'un procediment de decisió que transforma dades complexes de monitorització en percepcions accionables mitjançant tres passos clau: Refactoritzar, Desglossar i Compilar. Amb humans proporcionant expertise i llindars de deriva, CAMA supera les línies base d'interpretació de monitorització de l'estat de l'art en un 33.3% en precisió, requerint només un 6% de sobrecàrrega computacional. Finalment, presentem el Kahneman-Clear Agent (KC-Agent), una arquitectura cognitiva inspirada en la teoria de processos duals que combina respostes ràpides basades en patrons (Sistema 1) i millores analítiques deliberades (Sistema 2). Aquesta arquitectura integra descripcions de conjunts de dades proporcionades per humans i principis de ciència cognitiva per oferir garanties teòriques de millora segura de models, millorant el rendiment d'adaptació en un 5.7% en noves distribucions de dades comparat amb enfocaments convencionals. Mitjançant una experimentació rigorosa en múltiples camps, incloent conducció autònoma, imatge mèdica i tasques de predicció financera, demostrem que els nostres enfocaments superen significativament els mètodes d'adaptació convencionals mantenint eficiència computacional. Les nostres contribucions avancen l'estat de l'art en manteniment de models ML proporcionant solucions pràctiques i teòricament fonamentades per al repte crític d'adaptar-se a distribucions de dades en evolució. Les tècniques proposades permeten sistemes d'IA més robustos, fiables i eficients que poden mantenir el rendiment durant períodes operatius perllongats en entorns dinàmics del món real, marcant un pas important cap a sistemes d'IA que aprenen contínuament mentre preserven el coneixement prèviament adquirit.

(Español) ¿Cómo adaptamos eficazmente un modelo de Aprendizaje Automático (ML) cuando los datos del mundo real cambian? Esta pregunta aparentemente sencilla subyace a uno de los desafíos más persistentes en el despliegue de sistemas ML en entornos de producción. A medida que las distribuciones de datos inevitablemente cambian con el tiempo, los modelos ML experimentan degradación en su rendimiento, requiriendo enfoques sistemáticos de adaptación. Nuestro trabajo comienza con técnicas basadas en datos e incorpora progresivamente enfoques basados en conocimiento, culminando en un paradigma "human-on-the-loop" donde especialistas humanos proporcionan expertise que guía procesos autónomos de IA. Esta tesis aborda la pregunta de investigación: ¿Cómo podemos desarrollar sistemas inteligentes para la adaptación de modelos ML que aprovechen eficazmente el expertise humano? Nuestra investigación abarca cuatro contribuciones interconectadas, evolucionando desde enfoques fundamentales de Aprendizaje Continuo (CL) hasta sofisticados sistemas basados en agentes. Primero, desarrollamos Task-Agnostic Domain-Incremental Learning (TADIL), un enfoque no supervisado basado en datos que permite a los modelos reconocer cuándo necesitan adaptación sin límites de tareas explícitos, superando a métodos previos de identificación de tareas en un 6% en precisión. Esto aborda el desafío fundamental de determinar cuándo son necesarios cambios en el modelo en entornos que evolucionan continuamente. A continuación, proponemos un método de repetición de experiencias (TADILER) mejorado mediante descripciones generadas por LLM y agrupamiento zero-shot, donde el expertise humano guía el diseño de plantillas y descripciones para tareas de imagen médica. Este enfoque mejora el CL reduciendo el forgetting en un 3.1% respecto a técnicas tradicionales, mientras mantiene la privacidad en campos sensibles como la atención sanitaria. Basándonos en estos fundamentos de CL, desarrollamos agentes basados en LLM que incorporan las perspectivas estructurales obtenidas de nuestros enfoques anteriores. Nuestra Cognitive Architecture for Monitoring Agent (CAMA) aplica principios de ingeniería de características a través de un procedimiento de decisión que transforma datos complejos de monitorización en percepciones accionables mediante tres pasos clave: Refactorizar, Desglosar y Compilar. Con humanos proporcionando expertise y umbrales de deriva, CAMA supera las líneas base de interpretación de monitorización del estado del arte en un 33.3% en precisión, requiriendo solo un 6% de sobrecarga computacional. Finalmente, presentamos el Kahneman-Clear Agent (KC-Agent), una arquitectura cognitiva inspirada en la teoría de procesos duales que combina respuestas rápidas basadas en patrones (Sistema 1) y mejoras analíticas deliberadas (Sistema 2). Esta arquitectura integra descripciones de conjuntos de datos proporcionadas por humanos y principios de ciencia cognitiva para ofrecer garantías teóricas de mejora segura de modelos, mejorando el rendimiento de adaptación en un 5.7% en nuevas distribuciones de datos comparado con enfoques convencionales. Mediante una experimentación rigurosa en múltiples campos, incluyendo conducción autónoma, imagen médica y tareas de predicción financiera, demostramos que nuestros enfoques superan significativamente los métodos de adaptación convencionales manteniendo eficiencia computacional. Nuestras contribuciones avanzan el estado del arte en mantenimiento de modelos ML proporcionando soluciones prácticas y teóricamente fundamentadas para el desafío crítico de adaptarse a distribuciones de datos en evolución. Las técnicas propuestas permiten sistemas de IA más robustos, fiables y eficientes que pueden mantener el rendimiento durante períodos operativos prolongados en entornos dinámicos del mundo real, marcando un paso importante hacia sistemas de IA que aprenden continuamente mientras preservan el conocimiento previamente adquirido.