UNIVERSITA' DEGLI STUDI DI MILANO - Facoltà di Scienze Matematiche, Fisiche e Naturali - Corso di Laurea in Scienze dell'informazione

Un sistema prototipale per la sintesi di processi musicali guidata dall'analisi di forme grafiche

Tesi di Laurea di Marco Solinas Matr. 433947

Il lavoro svolto in questa tesi riguarda lo studio dei rapporti tra immagine e suono.
In questo campo, sono state realizzate numerose ricerche, alcune delle quali al L.I.M., allo scopo di trovare un legame profondo tra il mondo visivo e quello sonoro, che vada oltre la semplice sincronizzazione di eventi musicali e immagini. Alcune ricerche hanno avuto come obiettivo la descrizione di brani musicali attraverso una rappresentazione grafica diversa da quella tradizionale su pentagramma; altre si sono avvalse di immagini per generare processi sonori.
Questo studio intende offrire un contributo alla ricerca del legame tra mondo visivo e sonoro. A tal fine è stato realizzato un programma in grado di generare dall'analisi di un'immagine delle sequenze musicali, che forniscano una descrizione sonora dell'immagine stessa. Tale descrizione riguarda gli aspetti qualitativi dell'immagine, e cerca di stabilire una corrispondenza a livello percettivo tra elementi grafici e oggetti sonori.
Il programma è diviso in due parti principali: una dedicata all'elaborazione dell'immagine, l'altra alla generazione del suono.
L'elaborazione inizia col caricamento in memoria di un'immagine a 256 colori in formato PICT e di dimensione massima di 400x400 pixel. L'elaborazione ha lo scopo di individuare, all'interno dell'immagine, delle forme geometriche e di determinarne le principali caratteristiche grafiche. Gli oggetti riconosciuti sono cerchi, rettangoli, triangoli, rette e archi; e i parametri grafici considerati sono il tipo di oggetto, la posizione nel piano, il colore e la dimensione.
Il riconoscimento avviene utilizzando l'algoritmo del gradiente, che permette di ottenere un'immagine binaria in cui i pixel significativi sono quelli appartenenti al contorno dell'immagine. Si applicano, poi, algoritmi di pattern matching, che operano sui pixel del contorno, utilizzando, per il riconoscimento, un modello dell'oggetto da cercare (cioè una matrice rappresentante i contorni dell'oggetto).
Al termine dell'elaborazione viene creata una lista i cui elementi contengono le informazioni relative agli oggetti trovati. Il programma dà la possibilità di salvare su disco questi risultati utilizzando un formato di archiviazione proprietario.
Terminata l'elaborazione dell'immagine, è possibile associare ad ogni elemento grafico un oggetto sonoro, determinando i parametri sonori in base alle caratteristiche grafiche degli elementi.
E' stato necessario, quindi, stabilire delle regole che permettessero di realizzare questa associazione in modo completamente automatico; regole, cioè, che siano utilizzabili da un calcolatore. La trasformazione dei parametri grafici in parametri sonori (timbro, frequenza, intensità, durata) viene fatta in modo che riesca il più possibile intuitiva. Per esempio la lunghezza delle linee è proporzionale alla durata del suono e la dimensione all'intensità. Si è cercato, inoltre, di generare suoni il cui ascolto abbia una corrispondenza a livello sensoriale con l'osservazione dell'immagine. Per questo scopo è stata molto utile la teoria della forma sviluppata da Kandinsky nel libro "Punto, linea e superficie".
La scelta delle regole è stata inevitabilmente arbitraria, per questo è stata data la possibilità all'utente di modificarle parzialmente, in particolare per le corrispondenze più soggettive come l'associazione tra colori e timbri, e tra tonalità e colore di fondo.
Per ogni oggetto grafico viene, quindi, generato un oggetto sonoro.
Terminata questa operazione, il programma associa all'immagine una sequenza musicale formata dai suoni associati agli oggetti. Questa sequenza può essere ottenuta ordinando la lista degli oggetti secondo tre criteri diversi.
Il primo consiste nell'operare una scansione dell'immagine da sinistra a destra e dall'alto in basso e inserendo gli oggetti nella nuova lista ordinata non appena questi vengono incontrati; il secondo criterio consiste nell'operare la scansione partendo dal centro dell'immagine e proseguendo verso i lati. L'ultima possibilità è quella di inserire per primi gli oggetti più grandi e con i colori più vivaci, in modo da simulare la sequenza di osservazione dell'immagine; normalmente, infatti, gli oggetti più grandi e colorati vengo visti per primi.
La scelta del criterio da usare viene lasciata all'utente.
Determinata la sequenza, l'immagine viene ridisegnata sullo schermo, un oggetto alla volta, seguendo l'ordine della lista, e contemporaneamente riprodotto il suono dell'oggetto, realizzando una performance grafico-musicale. A questo scopo il programma è in grado di pilotare dispositivi MIDI per la sintesi del suono.