On data-driven models for image restoration

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Vitoria Carrera, Patricia
dc.date.accessioned
2021-10-25T10:15:55Z
dc.date.available
2021-10-25T10:15:55Z
dc.date.issued
2021-07-09
dc.identifier.uri
http://hdl.handle.net/10803/672662
dc.description.abstract
Restoration of a high-quality image from a degraded recording is an important problem in early vision processing. In this thesis, we tackle three image restoration problems: image inpainting, colorization, and motion blur kernel estimation for deblurring. In the first part, we present a timeline evolution of the inpainting research using deep learning approaches. We analyze the different approaches that have been developed for image inpainting and test them in the context of art restoration. Additionally, we propose an automatic semantic inpainting method able to reconstruct corrupted information of an image by semantically interpreting the image itself. Moreover, we address the problem of automatic detection of the regions in the image where the information is corrupted by particular lens artifacts, namely, spot flares, and finally their reconstruction via inpainting. In the second part, we propose an automatic colorization approach based on adversarial learning coupled with semantic information able to infer one colorization solution for a given image. Qualitative and quantitative results show the capacity of the proposed method to colorize images in a realistic way achieving state-of-the-art results. Lastly, in the third part, we propose a general, non-parametric model for dense non-uniform motion blur estimation. Given a blurry image, a set of adaptive basis kernels, as well as the mixing coefficients at the pixel level, are estimated, producing a per-pixel map of motion blur. This rich but efficient forward model of the degradation process allows the utilization of existing tools for solving inverse problems.
en_US
dc.description.abstract
La restauració d'una imatge d'alta qualitat a partir d'una versió degradada és un problema important en el processament de la visió a etapes primerenques. En aquesta tesi, abordem tres problemes de restauració d'imatges: inpanting, colorització i estimació dels nuclis de borrositat per moviment per a la reducció de la borrositat. En la primera part, presentem una evolució temporal dels mètodes d'inpainting basats en aprenentatge profund. Analitzem els diferents enfocs que s'han desenvolupat i els testegem en el context de la restauració d'art. També, proposem un mètode automàtic per inpainting capaç de reconstruir la informació corrupta d'una imatge interpretant semànticament la pròpia imatge. A més, abordem el problema de la detecció automàtica de les regions en la imatge on la informació està corrompuda per artefactes d'un tipus particular anomenat "flare spot", i finalment els reconstruïm mitjançant un algoritme d'inpainting. En la segona part, proposem un algoritme de colorització automàtica basat en aprenentatge adversari juntament amb la incorporació d'informació semàntica. El mètode proposat és capaç d'estimar una de les moltes possibles solucions. Els resultats qualitatius i quantitatius mostren la capacitat del mètode proposat per coloritzar imatges de manera realista aconseguint resultats competitius i de l'estat de l'art. Finalment, en la tercera part, proposem un model general no paramètric per a l'estimació densa dels nuclis de borrositat de moviment no uniformes per a la reducció de la borrositat. Donada una imatge borrosa, s'estimen un conjunt de nuclis de base adaptatius a la imatge donada, així com els coeficients de la barreja a nivell de píxel, produïnt un mapa per píxel de desenfocament pel moviment. Aquest model complet i eficient del procés de degradació permet l'utilització d'eines existents per a resoldre problemes inversos.
en_US
dc.description.abstract
La restauración de una imagen de alta calidad a partir de una versión degradada es un problema importante en el procesamiento de la visión en etapas tempranas. En esta tesis, abordamos tres problemas de restauración de imágenes: inpanting , colorización y estimación de los núcleos de borrosidad por movimiento para la reducción de la borrosidad. En la primera parte, presentamos una evolución temporal de los métodos de inpainting basados en aprendizaje profundo. Analizamos los diferentes enfoques que se han desarrollado y los probamos en el contexto de la restauración de arte. Además, proponemos un método automático para inpainting capaz de reconstruir la información corrupta de una imagen interpretando semánticamente la propia imagen. Además, abordamos el problema de la detección automática de las regiones en la imagen donde la información está corrompida por artefactos de lentes particulares llamados "flare spot" y finalmente se reconstruyen mediante un algoritmo de inpainting. En la segunda parte, proponemos un algoritmo de colorización automática basado en aprendizaje adversario junto con la incorporación de información semántica. El algoritmo es capaz de estimar una de las múltiples posibles soluciones. Los resultados cualitativos y cuantitativos muestran la capacidad del método propuesto para colorear imágenes de manera realista logrando resultados competitivos con el estado del arte. Por último, en la tercera parte, proponemos un modelo general no paramétrico para la estimación densa de los núcleo de movimiento no uniformes para la reducción de la borrosidad. Dada una imagen borrosa, se estiman un conjunto de núcleos de base adaptativos a la imagen dada, así como los coeficientes de mezcla a nivel de píxel, produciendo un mapa por píxel de desenfoque de movimiento. Este modelo completo y eficiente del proceso de degradación permite la utilización de herramientas existentes para resolver problemas inversos.
en_US
dc.format.extent
266 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Deep learning
en_US
dc.subject
Image inpainting
en_US
dc.subject
Image deblurring
en_US
dc.subject
Colorization
en_US
dc.subject
GANs
en_US
dc.subject
Blur estimation
en_US
dc.subject
Image restoration
en_US
dc.subject
Image processing
en_US
dc.subject
Aprenentatge profund
en_US
dc.subject
Inpainting
en_US
dc.subject
Reducció de la borrositat
en_US
dc.subject
Colorització
en_US
dc.subject
Nuclis de borrositat
en_US
dc.subject
Restauració d'imatge
en_US
dc.subject
Processament d’imatge
en_US
dc.title
On data-driven models for image restoration
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
en_US
dc.contributor.authoremail
patricia.vitoria@upf.edu
en_US
dc.contributor.director
Ballester, Coloma
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documents

tpvc.pdf

266.2Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)