Descriptor control of sound transformations and mosaicing synthesis

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Coleman, Graham Keith
dc.date.accessioned
2016-07-27T10:35:54Z
dc.date.available
2016-07-27T10:35:54Z
dc.date.issued
2016-02-05
dc.identifier.uri
http://hdl.handle.net/10803/392138
dc.description.abstract
Sampling, as a musical or synthesis technique, is a way to reuse recorded musical expressions. In this dissertation, several ways to expand sampling synthesis are explored, especially mosaicing synthesis, which imitates target signals by transforming and compositing source sounds, in the manner of a mosaic made of broken tile. One branch of extension consists of the automatic control of sound transformations towards targets defined in a perceptual space. The approach chosen uses models that predict how the input sound will be transformed as a function of the selected parameters. In one setting, the models are known, and numerical search can be used to find sufficient parameters; in the other, they are unknown and must be learned from data. Another branch focuses on the sampling itself. By mixing multiple sounds at once, perhaps it is possible to make better imitations, e.g. in terms of the harmony of the target. However, using mixtures leads to new computational problems, especially if properties like continuity, important to high quality sampling synthesis, are to be preserved. A new mosaicing synthesizer is presented which incorporates all of these elements: supporting automatic control of sound transformations using models, mixtures supported by perceptually relevant harmony and timbre descriptors, and preservation of continuity of the sampling context and transformation parameters. Using listening tests, the proposed hybrid algorithm was compared against classic and contemporary algorithms, and the hybrid algorithm performed well on a variety of quality measures.
en_US
dc.description.abstract
El mostreig, com a tècnica musical o de síntesi, és una manera de reutilitzar expressions musicals enregistrades. En aquesta dissertació s’exploren estratègies d’ampliar la síntesi de mostreig, sobretot la síntesi de “mosaicing”. Aquesta última tracta d’imitar un senyal objectiu a partir d’un conjunt de senyals font, transformant i ordenant aquests senyals en el temps, de la mateixa manera que es faria un mosaic amb rajoles trencades. Una d’aquestes ampliacions de síntesi consisteix en el control automàtic de transformacions de so cap a objectius definits a l’espai perceptiu. L’estratègia elegida utilitza models que prediuen com es transformarà el so d’entrada en funció d’uns paràmetres seleccionats. En un cas, els models són coneguts, i cerques númeriques es poden fer servir per trobar paràmetres suficients; en l’altre, els models són desconeguts i s’han d’aprendre a partir de les dades. Una altra ampliació es centra en el mostreig en si. Mesclant múltiples sons a la vegada, potser és possible fer millors imitacions, més específicament millorar l’harmonia del resultat, entre d’altres. Tot i així, utilitzar múltiples mescles crea nous problemes computacionals, especialment si propietats com la continuïtat, important per a la síntesis de mostreig d’alta qualitat, han de ser preservades. En aquesta tesi es presenta un nou sintetitzador mosaicing que incorpora tots aquests elements: control automàtic de transformacions de so fent servir models, mescles a partir de descriptors d’harmonia i timbre perceptuals, i preservació de la continuïtat del context de mostreig i dels paràmetres de transformació. Fent servir proves d’escolta, l’algorisme híbrid proposat va ser comparat amb algorismes clàssics i contemporanis: l’algorisme híbrid va donar resultats positius a una varietat de mesures de qualitat.
en_US
dc.format.extent
193 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/3.0/es/
dc.rights.uri
http://creativecommons.org/licenses/by-nc-nd/3.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Sampling synthesis
en_US
dc.subject
Mosaicing
en_US
dc.subject
Concatenative sound synthesis
en_US
dc.subject
Sparse approximation
en_US
dc.subject
Sound transformations
en_US
dc.subject
Sound effects
en_US
dc.subject
Curse of dimensionality
en_US
dc.subject
Sound texture transfer
en_US
dc.subject
Machine learning
en_US
dc.subject
Nonlinear regression
en_US
dc.subject
Subjective evaluation of audio
en_US
dc.subject
Listening tests
en_US
dc.subject
Structured sparsity
en_US
dc.subject
Síntesi de mostreig
en_US
dc.subject
Síntesi concatenativa de so
en_US
dc.subject
Aproximació escassa
en_US
dc.subject
Transformacions de so
en_US
dc.subject
Efectes de so
en_US
dc.subject
Maledicció de la dimensionalitat
en_US
dc.subject
Transferencia de textura de so
en_US
dc.subject
Aprenentatge automàtic
en_US
dc.subject
Regressió no lineal
en_US
dc.subject
Evaluació subjectiva de l’audio
en_US
dc.subject
Proves d’escolta
en_US
dc.subject
Escassetat estructurada
en_US
dc.title
Descriptor control of sound transformations and mosaicing synthesis
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
en_US
dc.contributor.authoremail
graham.coleman@upf.edu
en_US
dc.contributor.director
Serra, Xavier
dc.contributor.director
Bonada, Jordi
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documents

tgkc.pdf

2.664Mb PDF

This item appears in the following Collection(s)