Compact data structures for remote sensing data

Abstract

En aquesta era digital, diàriament s'estan generant i processant una enorme quantitat de dades. S'acumulen fins a tal punt que és necessari i imperatiu utilitzar la compressió de dades per reduir la mida de les dades de manera que puguin ocupar el mínim espai possible. Entre els molts esquemes de compressió de dades, n'hi ha un conegut com a estructures de dades compactes, i serà el focus d'aquesta tesi. Aquestes estructures emmagatzemen dades de manera eficient alhora que ofereixen accés en temps real a les dades del domini comprimit, és a dir, per consultar un element individual, no és necessari descomprimir tota l'estructura. Les estructures de dades compactes també proporcionen compressió sense pèrdues, garantint així cap pèrdua d'informació durant el procés de compressió.

Les escenes hiperespectrals de teledetecció són dades d'imatge que es transmeten des de sensors situats en avions o en satèl·lits que orbiten la Terra als receptors de les estacions terrestres. A causa de la mida de les dades, s'han de comprimir de manera que es puguin transmetre més ràpidament i quan arribin a les estacions terrestres es puguin emmagatzemar de manera eficient per estalviar espai. Per tant, la compressió de dades és necessària per a una transmissió més ràpida i un espai d'emmagatzematge reduït.

Aquesta tesi es proposa explorar diverses maneres diferents d'utilitzar estructures de dades compactes per oferir un millor rendiment pel que fa a les relacions de compressió i el temps d'accés per a dades hiperespectrals de teledetecció. En primer lloc, es descriu un mètode predictiu i un mètode diferencial dissenyats per treballar amb una estructura de dades compacta i avaluar les millores realitzades. A continuació, presentem un estudi de diferents codis de longitud variable que es poden utilitzar conjuntament amb estructures de dades compactes per aconseguir guanys de compressió més elevats. A continuació, analitzem l'estructura d'arbre de la matriu ràster de manera que només es guardin els nodes que contenen dades rellevants, fent que l'estructura sigui més compacta. Finalment, investiguem una estructura de dades compacta proposada recentment i examinem com el seu rendiment es compara amb els altres.

Els experiments han demostrat que aquests mètodes proposats produeixen resultats que segueixen sent competitius amb les tècniques i mètodes tradicionals que s'han utilitzat.

En esta era digital, diariamente se generan y procesan una enorme cantidad de datos. Se acumulan hasta tal punto que es necesario e imperativo utilizar la compresión de datos para reducir el tamaño de los datos y que ocupen el menor espacio posible. Entre los muchos esquemas de compresión de datos, existe uno conocido como estructuras de datos compactas, y será el foco de esta tesis. Estas estructuras almacenan datos de manera eficiente al mismo tiempo que brindan acceso en tiempo real a los datos en el dominio comprimido, es decir, para consultar un elemento individual, no es necesario descomprimir toda la estructura. Las estructuras de datos compactas también proporcionan una compresión sin pérdidas, lo que garantiza que no se pierda información durante el proceso de compresión.

Las escenas hiperespectrales de teledetección son datos de imágenes que se transmiten desde sensores ubicados en aeronaves o en satélites que orbitan alrededor de la Tierra a receptores en estaciones terrestres. Debido al tamaño de los datos, es necesario comprimirlos de tal manera que puedan transmitirse más rápidamente y, cuando lleguen a las estaciones terrestres, puedan almacenarse de manera eficiente para ahorrar espacio. Por lo tanto, la compresión de datos es necesaria para una transmisión más rápida y un espacio de almacenamiento reducido.

Esta tesis se propone explorar varias formas distintas de utilizar estructuras de datos compactas para proporcionar un mejor rendimiento con respecto a las relaciones de compresión y el tiempo de acceso a los datos hiperespectrales de detección remota. Primero, describimos un método predictivo y un método diferencial diseñado para trabajar con una estructura de datos compacta y evaluar las mejoras realizadas. Luego presentamos un estudio de diferentes códigos de longitud variable que se pueden usar junto con estructuras de datos compactas para lograr mayores ganancias de compresión. A continuación, analizamos la estructura de árbol de la matriz ráster para que solo se guarden los nodos que contienen datos relevantes, lo que hace que la estructura sea más compacta. Finalmente, investigamos una estructura de datos compacta propuesta recientemente y examinamos cómo su rendimiento se compara con los demás.

Los experimentos han demostrado que estos métodos propuestos producen resultados que siguen siendo competitivos con las técnicas y métodos tradicionales que se han utilizado.

In this digital era, an enormous amount of data are being generated and processed daily. They accumulate to such an extent that it is necessary and imperative to use data compression to reduce the data size so that they can take up as little space as possible. Among the many data compression schemes, there is one known as compact data structures, and it will be the focus of this thesis. These structures store data efficiently while also providing real-time access to the data in the compressed domain, i.e., to query an individual element, it is not necessary to decompress the whole structure. Compact data structures also provide lossless compression, thus ensuring no information loss during the compression process.

Remote sensing hyperspectral scenes are image data that are transmitted from sensors located in aircraft or in satellites orbiting the Earth to receivers at ground stations. Due to the size of the data, they need to be compressed in such a way that they can be transmitted more quickly and when they reach the ground stations, they can be stored in an efficient manner to save space. Therefore, data compression is necessary for faster transmission and reduced storage space.

This thesis sets out to explore several distinct ways of using compact data structures to provide better performance with regard to compression ratios and access time for remote sensing hyperspectral data. First, we describe a predictive method and a differential method designed to work with a compact data structure and evaluate the improvements made. Then we present a study of different variable-length codes that can be used in tandem with compact data structures to achieve higher compression gains. Next, we analyze the tree structure of the raster matrix so that only nodes that contain relevant data are saved, thus making the structure more compact. Finally, we investigate a recently proposed compact data structure and examine how its performance stacks up against the others.

Experiments have shown that these proposed methods produce results that remain competitive with the traditional techniques and methods that have been in use.