The DCT as the basis for nonlinear signal processing and task-oriented communications

Abstract

(English) This dissertation addresses two fundamental and increasingly connected challenges in modern information processing: nonlinear learning and task-oriented communications. Both fields require compact, interpretable and efficient representations of nonlinear functions. These representations are essential for building learning models as well as for transmitting information relevant to a downstream task. Traditional approaches, often dominated by black-box architectures and data-driven approaches, face limitations in interpretability, scalability and robustness. This motivates the search for structured and principled alternatives. At the core of this work lies the discrete cosine transform (DCT), a classical signal processing tool reinterpreted here as a unifying framework for nonlinear modeling and communication. By leveraging its mathematical properties, such as orthogonality, energy compaction and oscillatory structure, the DCT is shown to offer advantages far beyond its traditional role in image compression. The dissertation explores how the DCT can support both efficient learning algorithms and the design of novel modulation strategies that jointly encode data and computation. The study begins with the integration of the DCT in adaptive learning algorithms for univariate nonlinear functions, where the structural properties of the DCT enable fast convergence and low complexity solutions. This method is successfully applied to the compensation of nonlinearities in wireless communication channels. The approach merges the structure and interpretability of classical signal processing blocks with the flexibility and performance of data-driven methods. The work then extends to multivariate settings through the introduction of the Expressive Neural Network (ENN), a multilayer perceptron that integrates the DCT within its activation functions. This architecture preserves the interpretability of the DCT while enabling expressive and scalable modeling. Thanks to the structure provided by the DCT, even small networks can learn complex nonlinear mappings. On the communications front, the dissertation investigates the emerging paradigm of task-oriented communications, where the focus shifts to transmitting data relevant to a computation task. To this end, the oscillatory nature of the DCT is employed to design modulation schemes that embed computation within the physical waveform. A novel DCT-based modulation is proposed, and classical schemes are revisited through the lens of the DCT, enabling function computation through frequency modulations. These concepts are further extended to multi-user wireless systems, where the DCT guides the design of a new multiple access scheme tailored for federated edge learning (FEEL). This approach offers robust, low-power and efficient aggregation of distributed data for collaborative edge learning. Altogether, this work demonstrates that the DCT, a classical tool introduced nearly 50 years ago, can be revitalized as a foundational building block for modern signal processing. Its structure offers a powerful, interpretable and efficient foundation for addressing contemporary challenges in intelligent information processing. By bridging classical signal processing with contemporary machine learning and communication challenges, the dissertation presents a unified framework for nonlinear representation, learning and communications.

(Català) Aquesta tesi doctoral aborda dos reptes fonamentals i cada cop més interconnectats en el processament modern de la informació: l’aprenentatge no lineal i les comunicacions orientades a tasques. Ambdós camps requereixen representacions compactes, interpretables i eficients de funcions no lineals. Aquestes representacions són essencials tant per a la construcció de models d’aprenentatge com per a la transmissió d’informació rellevant per a una tasca posterior. Els enfocaments tradicionals, sovint dominats per arquitectures de tipus "caixa negra" i aproximacions basades en grans volums de dades, presenten limitacions en interpretabilitat, escalabilitat i robustesa. Això motiva la recerca d’alternatives estructurades i fonamentades. Al centre d’aquest treball hi trobem la transformada cosinus discreta (DCT), una eina clàssica del processament de senyal que es reinterpreta aquí com un marc unificador per al modelatge no lineal i la comunicació. Aprofitant propietats matemàtiques com l’ortogonalitat, la compactació d’energia i l’estructura oscil·latòria, es demostra que la DCT ofereix avantatges molt més enllà del seu ús tradicional en la compressió d’imatges. La tesi explora com la DCT pot donar suport tant al disseny d’algorismes d’aprenentatge eficients com a l’elaboració d’estratègies de modulació que codifiquen conjuntament dades i computació. L’estudi comença amb la integració de la DCT en algorismes d’aprenentatge adaptatius per a funcions univariables no lineals, on les propietats estructurals de la DCT permeten una convergència ràpida i solucions de baixa complexitat. El mètode s’aplica amb èxit a la compensació de no linealitats en canals de comunicacions. L’enfocament combina l’estructura i interpretabilitat dels blocs clàssics de processament de senyal amb la flexibilitat i el rendiment dels mètodes basats en dades. El treball s’estén posteriorment a entorns multivariable amb la introducció de l'Expressive Neural Network (ENN), un perceptró multicapa que incorpora la DCT dins de les funcions d’activació. Aquesta arquitectura conserva la interpretabilitat de la DCT alhora que permet un modelatge expressiu i escalable. Gràcies a l’estructura proporcionada per la DCT, fins i tot xarxes petites poden aprendre mapes no lineals complexos. En l’àmbit de les comunicacions, la tesi investiga el paradigma emergent de les comunicacions orientades a tasques, on l’objectiu passa a ser la transmissió de dades rellevants per a una tasca computacional. En aquest context, s’utilitza la naturalesa oscil·latòria de la DCT per dissenyar esquemes de modulació que integrin la computació dins la pròpia ona física. Es proposa una nova modulació basada en la DCT, i es revisen modulacions clàssiques des del punt de vista de la DCT, permetent el càlcul de funcions mitjançant modulacions en freqüència. Aquests conceptes s’estenen a sistemes multiusuari, on la DCT guia el disseny d’un nou esquema d’accés múltiple adaptat per a l’aprenentatge federat (FEEL). Aquest enfocament permet una agregació robusta, eficient i de baix consum de dades distribuïdes per a l’aprenentatge col·laboratiu. En conjunt, aquest treball demostra que la DCT, una eina clàssica introduïda fa gairebé 50 anys, pot ser revitalitzada com a pilar fonamental del processament de senyal modern. La seva estructura ofereix una base potent, interpretable i eficient per fer front als reptes contemporanis del processament intel·ligent de la informació. En connectar el processament de senyal clàssic amb els desafiaments actuals de l’aprenentatge automàtic i les comunicacions, la tesi presenta un marc unificat per a la representació, aprenentatge i comunicació de funcions no lineals.

(Español) Esta tesis doctoral aborda dos desafíos fundamentales y cada vez más interconectados en el procesado moderno de la información: el aprendizaje no lineal y las comunicaciones orientadas a tareas. Ambos campos requieren representaciones compactas, interpretables y eficientes de funciones no lineales. Estas representaciones son esenciales tanto para construir modelos de aprendizaje como para transmitir información relevante para una tarea posterior. Los enfoques tradicionales, a menudo dominados por arquitecturas de tipo “caja negra” y métodos basados en grandes volúmenes de datos, presentan limitaciones en cuanto a interpretabilidad, escalabilidad y robustez. Esto motiva la búsqueda de alternativas estructuradas y fundamentadas. En el núcleo de este trabajo se encuentra la transformada discreta del coseno (DCT), una herramienta clásica del procesado de señal reinterpretada aquí como un marco unificador para el modelado no lineal y la comunicación. Aprovechando propiedades matemáticas como la ortogonalidad, la compactación de energía y la estructura oscilatoria, se demuestra que la DCT ofrece ventajas que van mucho más allá de su uso tradicional en la compresión de imágenes. La tesis explora cómo la DCT puede apoyar tanto el diseño de algoritmos de aprendizaje eficientes como el desarrollo de estrategias de modulación que codifiquen conjuntamente datos y computación. El estudio comienza con la integración de la DCT en algoritmos de aprendizaje adaptativo para funciones no lineales univariantes, donde las propiedades estructurales de la DCT permiten una rápida convergencia y soluciones de baja complejidad. Este método se aplica con éxito a la compensación de no linealidades en canales de comunicación inalámbrica. El enfoque combina la estructura e interpretabilidad de los bloques clásicos de procesado de señal con la flexibilidad y el rendimiento de los métodos basados en datos. El trabajo se extiende luego a entornos multivariable mediante la introducción de la Expressive Neural Network (ENN), un perceptrón multicapa que incorpora la DCT dentro de las funciones de activación. Esta arquitectura conserva la interpretabilidad de la DCT a la vez que permite un modelado expresivo y escalable. Gracias a la estructura que proporciona la DCT, incluso redes pequeñas son capaces de aprender mapas no lineales complejos. En el ámbito de las comunicaciones, la tesis investiga el paradigma emergente de las comunicaciones orientadas a tareas, donde el objetivo pasa a ser la transmisión de datos relevantes para una tarea computacional. Con este fin, se emplea la naturaleza oscilatoria de la DCT para diseñar esquemas de modulación que integren la computación en la propia onda física. Se propone una nueva modulación basada en la DCT, y se revisan esquemas clásicos desde la perspectiva de la DCT, lo que permite realizar cómputo de funciones mediante modulaciones en frecuencia. Estos conceptos se extienden a sistemas multiusuario, donde la DCT guía el diseño de un nuevo esquema de acceso múltiple adaptado para el aprendizaje federado (FEEL). Este enfoque permite una agregación robusta, de bajo consumo y eficiente de datos distribuidos para el aprendizaje colaborativo. En conjunto, este trabajo demuestra que la DCT, una herramienta clásica introducida hace casi 50 años, puede revitalizarse como un componente fundamental del procesado de señal moderno. Su estructura ofrece una base poderosa, interpretable y eficiente para enfrentar los desafíos contemporáneos del procesado inteligente de la información. Al tender puentes entre el procesado de señal clásico y los desafíos actuales del aprendizaje automático y las comunicaciones, la tesis presenta un marco unificado para la representación, el aprendizaje y la transmisión de funciones no lineales.