Towards a safe and efficient OpenMP

Abstract

(English) The growing complexity of contemporary multi-core and heterogeneous architectures necessitates parallel programming models capable of efficiently leveraging the available computational resources while ensuring performance, safety and programmability. OpenMP has emerged as the de facto standard for shared-memory parallel programming, offering a straightforward and adaptable approach to task-based execution. Nevertheless, despite its widespread adoption, OpenMP lacks support for key aspects such as memory locality in task scheduling on standard (non-NUMA) architectures and adaptability to runtime conditions in the scope of high-performance computing and fault tolerance for real-time systems, leading to suboptimal performance across various applications. As a consequence, this thesis presents a set of techniques aimed at addressing these limitations. The first contribution is an affinity-aware scheduling technique designed to improve data locality and cache utilization, thereby minimizing memory access overhead. The second contribution introduces a dynamic variant selection mechanism that adapts function execution to runtime conditions, enhancing adaptability and performance portability. The third contribution proposes a task replication mechanism to enhance fault tolerance, promoting system reliability in safety-critical applications. Lastly, we integrate OpenMP into a model-driven engineering framework to enable the automated generation of parallel code for cyber-physical systems, bridging the gap between high-performance and embedded systems. Through these advancements, this research elevates the OpenMP programming model by improving performance, safety, and programmability, making it more suitable for both high-performance computing and critical real-time embedded systems domains.

(Català) La creixent complexitat de les arquitectures contemporànies multinúcli i heterogènies exigeix models de programació paral·lela capaços d’aprofitar eficientment els recursos computacionals disponibles, garantint alhora el rendiment, la seguretat i la programabilitat. OpenMP s’ha consolidat com l’estàndard de facto per a la programació paral·lela amb memòria compartida, oferint un enfocament senzill i adaptable per a l’execució basada en tasques. No obstant això, malgrat la seva àmplia adopció, OpenMP no dona suport a aspectes clau com la localitat de memòria en la planificació de tasques en arquitectures estàndard (no-NUMA) ni l’adaptabilitat a condicions d’execució en l’àmbit de la computació d’alt rendiment i la tolerància a errors en sistemes en temps real, cosa que comporta un rendiment subòptim en diverses aplicacions. Com a resposta, aquesta tesi presenta un conjunt de tècniques orientades a abordar aquestes limitacions. La primera contribució és una tècnica de planificació conscient de l’afinitat, dissenyada per millorar la localitat de dades i l’ús de la memòria cau, minimitzant així la sobrecàrrega en l’accés a la memòria. La segona contribució introdueix un mecanisme de selecció dinàmica de variants que adapta l’execució de funcions a les condicions en temps d’execució, millorant l’adaptabilitat i la portabilitat del rendiment. La tercera contribució proposa un mecanisme de replicació de tasques per millorar la tolerància a errors, afavorint la fiabilitat del sistema en aplicacions crítiques per a la seguretat. Finalment, s’integra OpenMP en un entorn d’enginyeria dirigida per models per permetre la generació automatitzada de codi paral·lel en sistemes ciberfísics, escurçant la distància entre els sistemes d’alt rendiment i els sistemes empotrats. Amb aquests avenços, aquesta recerca eleva el model de programació OpenMP mitjançant la millora del rendiment, la seguretat i la programabilitat, fent-lo més adequat tant per a la computació d’alt rendiment com per als sistemes empotrats crítics en temps real.

(Español) La creciente complejidad de las arquitecturas contemporáneas multinúcleo y heterogéneas exige modelos de programación paralela capaces de aprovechar eficientemente los recursos computacionales disponibles, garantizando al mismo tiempo el rendimiento, la seguridad y la programabilidad. OpenMP se ha consolidado como el estándar de facto para la programación paralela en memoria compartida, ofreciendo un enfoque sencillo y adaptable para la ejecución basada en tareas. No obstante, a pesar de su amplia adopción, OpenMP carece de soporte para aspectos clave como la localidad de memoria en la planificación de tareas sobre arquitecturas estándar (no-NUMA) y la adaptabilidad a condiciones de ejecución en el ámbito de la computación de alto rendimiento y la tolerancia a fallos en sistemas en tiempo real, lo que conlleva un rendimiento subóptimo en diversas aplicaciones. Como consecuencia, esta tesis presenta un conjunto de técnicas orientadas a abordar estas limitaciones. La primera contribución es una técnica de planificación consciente de la afinidad, diseñada para mejorar la localidad de los datos y el aprovechamiento de la caché, minimizando así la sobrecarga en el acceso a memoria. La segunda contribución introduce un mecanismo de selección dinámica de variantes que adapta la ejecución de funciones a las condiciones en tiempo de ejecución, mejorando la adaptabilidad y la portabilidad del rendimiento. La tercera contribución propone un mecanismo de replicación de tareas para mejorar la tolerancia a fallos, promoviendo la fiabilidad del sistema en aplicaciones críticas para la seguridad. Por último, se integra OpenMP en un marco de ingeniería dirigida por modelos para permitir la generación automatizada de código paralelo en sistemas ciberfísicos, cerrando la brecha entre los sistemas de alto rendimiento y los sistemas embebidos. A través de estos avances, esta investigación eleva el modelo de programación OpenMP al mejorar el rendimiento, la seguridad y la programabilidad, haciéndolo más adecuado tanto para la computación de alto rendimiento como para los sistemas embebidos críticos en tiempo real.