Juan Castro MayorgasTFC - Enginyeria Tècnica de Telecomunicacions especialitat TelemàticaUniversitat Oberta de CatalunyaSegon semestre 2010-2011
Context Objectius del TFC Propietats del so Característiques acústiques Classificadors Corpus Implementació Resultats experimentals Resum
Extracció de característiques
acústiques
Aprenentatge
Classificació
Senyal d’àudio
Identificació
Selecció de característiques
Selecció de classificadors
ConfiguracióCorpus
Configuració d’escenaris
Sistema de reconeixement automàtic
Anàlisi de resultats
Intensitat i volum Intensitat: quantitat absoluta Volum: valor subjectiu
Altura: freqüència Escala Mel
Duració
Timbre: permet diferenciar el mateix so produït per dos instruments diferents
En el domini freqüencial Centroide Extensió Coeficients MFCC Roll-Off
En el domini temporal Taxa de pas per zero Energia
Informació que s’extreu de cada un dels petits fragments en que es talla el senyal d’àudio
Model de mescles Gaussianes (GMM) Probabilístic i sense supervisió
K-veí més proper (k-NN) Basat en distància Molt senzill d’implementar. Alt cost de computació
Support Vector Machines (SVM) Basat en distància Dissenyat per a discernir entre dues classes. Versions multi-classe.
TunediT 115.000 mostres (no es disposa de l’àudio original) 70 – 30 % (entrenament – test) 18 instruments (2 famílies – 8 subfamílies)
Generació pròpia 18 instruments (2 famílies – 8 subfamílies) Entrenament: Gravació de cada una de les notes de
l’extensió de l’instrument Test: Gravacions amb fraseig per cada instrument.
cAudioList = TFCLoadAudioList (filename)
Cfeatures = TFCExtractFeatures (cAudioList, windowSize)
TFCExportFeatures (audioListFile, featuresFile, windowSize)
Funcions relacionades amb l’extracció de les característiques acústiques
cResults = TFCGMMCheck (cFTraining, vWhat, scale, classType)
CResults = TFCGMMClassify (cFTraining, cFTest, vWhat, scale, classType)
Funcions relacionades amb la classificació
vWhat = [x x x x x x x x x x x x x x x x x x]
MFCC1 … MFCC13Centroide
ExtensióRollOff ZeroCrossEnergia
cResults = TFCKNNClassify (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)
cResults = TFCKNNClassify2 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)
cResults = TFCKNNClassify3 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)
cResults = TFCSVMClassify (cFTraining, cFTest, vWhat, classType)
Funcions relacionades amb la classificació
cAnalytics = TFCCreateAnalytics (cFTest, cResults, classType)
cReport = TFCReportAnalytics (cAnalytics)
cReport = TFCReportDecision (cAnalytics)
Funcions relacionades amb l’anàlisi de resultats
Arxiu Instrument frames Classe Percent. Classe Percent. Encertvioloncel.wav violoncel 344 violoncel 64.83% contrabaix 23.26% SIcontrabaix.wav contrabaix 214 contrabaix 98.60% guitarra 1.40% SIviola.wav viola 353 viola 82.44% violi 10.76% SIvioli.wav violi 138 viola 81.16% violi 17.39% NOtubasolo.wav tuba 390 tuba 66.92% fagot 32.05% SIcelosolo.wav violoncel 683 violoncel 63.54% trompa 18.89% SIclarsolo.wav clarinet 320 violoncel 32.81% clarinet 17.81% NOviolsolo.wav violi 633 violoncel 33.81% trompa 15.48% NOvilasolo.wav viola 738 violoncel 37.53% violi 24.66% NOclarinet.wav clarinet 341 clarinet 79.18% trombo 7.92% SIsaxofon.wav saxofon 229 saxofon 81.22% piano 18.78% SIflauta.wav flauta 203 flauta 81.28% trompa 8.87% SIcorn_angles.wav corn_angles 215 corn_angles 36.28% trompeta 27.91% SI
Test gravat amb les mateixes
condicions que aprenentatge
Test procedent la enciclopèdia
musical Microsoft Musical
InstrumentsTest format per notes dobles o
triples del mateix instrumments
Dades originals 1er candidat 2on candidat
Implementació funcions per a: Extreure característiques acústiques Classificar e identificar mostres Analitzar resultats
Experiments que mostren entre altres: El nombre de mostres afecta de diferent manera als
resultats segons el mètode de classificació La rellevància de les característiques acústiques depèn del
mètode de classificació Hi ha instruments més fàcils d’identifcar amb un mètode
que amb un altre El fraseig harmònic redueix el percentatge d’encerts
Gràcies
Top Related