An. 2. Seminário Música, Ciência e Tecnologia 2005
Síntese sonora com agentes distribuídos
Fábio FurlaneteIII,II; Jonatas ManzolliI,II
IDepartamento de Música, Instituto de Artes. jonatas@nics.unicamp.br
IINúcleo Interdisciplinar de Comunicação Sonora UNICAMP. ffurlanete@nics.unicamp.br, jonatas@nics.unicamp.br
IIIDepartamento de Música e Teatro UEL. ffurlanete@nics.unicamp.br
RESUMO
Este artigo descreve a implementação de uma plataforma para a composição e controle de interações musicais em rede. É dada atenção especial à estratégia de representação do material sonoro/musical e à implementação do mecanismo de síntese sonora.
Palavras-chave: Síntese Sonora , Composição Eletroacústica , Agentes Distribuídos , Interação Sonora
ABSTRACT
This paper describes the implementation of a platform for composition and control of networked musical interactions. We focus on the strategies for sound and musical material representation and also on the sound synthesis engine implementation.
Key-words: Sound Synthesis , Electroacoustic Music , Distributed Agents , Sound Interaction
1. Introdução: composição musical como jogo
Este trabalho parte da visão da composição musical não como um processo estático no qual o compositor estabelece o discurso como a criação inteira e imediata de suas aspirações e projeções, mas como um processo no qual o intérprete/músico deve estabelecer seu domínio de atuação, os objetos a serem manipulados, as regras do jogo. Neste contexto, quanto mais claramente definidas as regras desse jogo, sem fechálo em uma estrutura completamente determinista, mais rico será o processo de interação. Maiores são as possibilidades da composição crescer como um processo autônomo e vivo.
Sob o ponto de vista da pesquisa aqui reportada, iniciase um processo de similaridade entre composição e improvisação. A idéia da identidade da obra vinculada a um todo orgânico e unilateral é dissipada em favor da obra vista através das marcas deixadas por um processo criativo. Processo esse do qual o compositor é apenas mais um dos agentes o “mestre do jogo”, que convida os demais (humanos ou agentes sintéticos) e os orienta em um jogo cujas regras iniciais ele pode determinar, mas cujo resultado final é desconhecido.
Pensando composição musical como design de processos de interação, a obra deixa de ser dada a priori com relação à performance. O material musical não é mais visto como um conjunto de objetos moldados pelo compositor regiões de identidade pelas quais o seu discurso musical trafega, nem como um conjunto de processos e algoritmos deterministas, a serem combinados pelo compositor. A obra tornase, a posteriori, o resultado de estratégias de interação – jogos, nos quais os agentes se engajam e a partir dos quais vai emergir não mais um discurso, mas um decurso musical.
2. Plataforma para Interação Musical
Nesse contexto, sentimos a necessidade de propor a construção de uma plataforma para o projeto e realização de interações musicais em rede. Ela é constituída por uma ontologia que descreve processos musicais a partir de suas características espectromorfológicas como definido por Smalley (1986) e um conjunto de agentes distribuídos com capacidade para gerar, modificar ou combinar os elementos dessa ontologia. Esses agentes podem rodar tanto em computadores pessoais de mesa como PDAs e telefones celulares, permitindo a formação de redes peertopeer (P2P) amplas e heterogêneas. Dependendo da capacidade de áudio desses aparelhos eles podem ser utilizados apenas para intervenção no processo de modelagem sonora ou tocar o áudio resultante da combinação das interações mais próximas na topologia da rede.
Nessa plataforma o compositor pode modelar os processos de interação a partir da criação de diferentes tipos de agentes artificiais autônomos ou agentes que são apenas interfaces para agentes humanos que vão atuar dentro do campo de ação préestabelecido para o jogo. O compositor inicia a performance dos agentes artificiais e disponibiliza os agentes de interface em um servidor público a partir do qual é iniciado processo de interação em uma rede P2P. A figura 1 mostra um exemplo no qual apenas alguns agentes são selecionados para gerar o áudio resultante das interações com os agentes vizinhos.
Todo o ambiente está sendo desenvolvido na forma de plugins para a plataforma de programação Eclipse (Rich Client Platform) e sua contrapartida para dispositivos móveis (Embeded Rich Client Platform) a partir de quatro pontos principais de extensão para plugins:
· Interface para projeto e controle do processo de interação;
· Sistema para construção e distribuição de agentes artificiais;
· Ontologia para a descrição e processamento de material sonoro/musical;
· Mecanismo de síntese sonora.
Neste artigo apresentamos apenas os dois últimos ítens.
3. Ontologia
Os dados processados pelos agentes são descrições do material sonoro/musical em XML. Essas descrições são baseadas nas tipomorfologias de objetos sonoros de Schaeffer (1966), Smalley (1986) e adaptadas ao processamento em computadores na forma de hierarquias de parâmetros sonoros, além de descrições de possibilidades de conexões entre objetos sonoros e regras de transformação. No caso da descrição do objeto sonoro (OS), cada conjunto de parâmetros descreve um momento do objeto que corresponde a um ponto em um espaço de fase no qual cada dimensão equivale a um parâmetro. Neste caso, cada objeto sonoro é tomado como uma função do tempo e seus respectivos parâmetros OS(p1,p2,p3...pn,t), portanto, tratase de uma representação do espaço de parâmetros de um sistema dinâmico. A tabela 1 mostra um possível conjunto de parâmetros que descreve um momento de um objeto sonoro.
Desta forma, um som pode ser descrito como a trajetória de um objeto sonoro, não necessariamente contínua, no espaço dos parâmetros especificados pelo compositor. Em XML isso é representado como uma lista de momentos e intervalos de tempo. O primeiro e último momento são nulos. Momentos que não contém todos os parâmetros preservam o valor do parâmetro omitido. A figura 2 mostra o exemplo de um som com 3 momentos mais os momentos nulos inicial e final e sua trajetória no espaço métrico com momentos de 2 parâmetros.
Assim, todas as mensagens entre agentes são dados XML pertencentes à ontologia e o áudio é gerado apenas nos agentes escolhidos como pontos de escuta.
Pelo caráter paramétrico e quantitativo de nossa aproximação aos objetos sonoros, várias resultados diferentes podem ser obtidos a partir da síntese de uma trajetória dependendo dos parâmetros e do método de síntese escolhidos. No estágio final de implementação, esperamos oferecer ao compositor ferramentas para a construção de suas próprias descrições de objetos sonoros, processos e métodos de síntese em função de sua escuta e suas opções estéticas.
4. Mecanismos de Síntese Sonora
Para a transformação das trajetórias em áudio foi criado inicialmente um mecanismo de síntese baseado na FFT. As qualidades sonoras descrita pela ontologia foram mapeadas estaticamente para comportamentos do agente responsável pela transformação que capturava as trajetórias geradas pelos outros agentes, misturava os pacotes FFT e os transformava em áudio. Esse mecanismo se mostrou deficiente quanto à qualidade do som produzido e à flexibilidade na construção de ontologias alternativas segundo a vontade do compositor. Assim, partimos para a implementação de um segundo mecanismo de síntese baseado em redes neurais artificiais.
Esse segundo mecanismo está sendo implementado com redes RBF ou MLP (SCHALKOFF, 1997) onde cada momento é associado a um buffer de áudio. Durante o treinamento o compositor apresenta à rede amostras de som acompanhadas das trajetórias para que a rede possa associar os momentos marcados pelo compositor a pontos no espaço métrico dos parâmetros sonoros – agora um espaço discreto cuja resolução corresponde à quantidade de neurônios. Após o treinamento, a rede deve ser capaz de gerar as amostras correspondentes aos pontos do espaço métrico que não foram associados a quaisquer amostras durante o treinamento. O áudio resultante é formado por overlappingadd dos buffers correspondentes a cada momento da trajetória.
5. Conclusão
Foi descrito neste artigo os mecanismos de síntese sonora para interações musicais com agentes distribuídos. Esperamos, ao final do projeto de doutorado, oferecer um ambiente de síntese baseado em descrições de qualidades sonoras fornecidas pelo próprio compositor. Este projeto tem também como objetivo final, construir modelos de interação sonora que poderão ser utilizados em diferentes contextos composicionais. Buscase ampliar, não somente o conceito de composição, mas também favorecer a utilização de tais recursos em aplicações como educação musical, performance musical distribuída, formação de grupos intrumentais com interação entre agentes humanos e artificais, entre outras.
Agradecimento: este trabalho tem o apoio da UEL e do CNPq através de bolsa de produtividade de pesquisa.
Referências
SCHAEFFER, P. (1966), Traité des objets musicaux: Essai interdiscipline, Le Seuil, Paris.
SCHALKOFF, R. J. (1997), “Artificial Neural Networks”, The McGrawHill Companies.
SMALLEY, D. (1986), “Spectromorphology and Structuring Processes”, Em: The Language of Electroacoustic Music, Organizado por Emmerson S., Harwood Academic Publishers, New York.