descriptoresarticuloREVISADO14JUN13.pdf

7/26/2019 descriptoresarticuloREVISADO14JUN13.pdf

1/7

MEMORIAS TCNICAS(ISBN en trmite)

Trabajo arbitrado No. Mec-017. Volumen 5(1), pp. 001-008

CLASIFICACIN Y BSQUEDA AUTOMATIZADA DE VIDEOS

Juan Carlos Torres Patio1, Jess Yalj Montiel Prez2

Ingeniera Sistemas Com!uta"ionales

Resuen

#n el !resente art$"ulo se %es"ri&e el esta%o %el arte "on el !ro"e%imiento !ara a%'uirir %i(erentes %es"ri!tores %e

es"enas %e )i%eo* Se %es"ri&e el !ro"e%imiento "om!leto !ara el anlisis %e )i%eo + una %es"ri!"in %e los al-oritmos autilizar*.a "lasi(i"a"in + &s'ue%a %e )i%eos normalmente se /a"e a tra)s %e meta%atos in-resa%os !or los usuarios %e (ormamanual a un sistema %e &s'ue%as* #ste sistema -uar%a re(eren"ias entre %i"/os )i%eos + sus "ara"ter$sti"as* #stesistema aun'ue es e(e"ti)o, no es e(i"iente "uan%o se re'uiere "lasi(i"ar lar-as /oras %e )i%eo, %e&i%o a 'ue se ne"esitamu"/as /oras /om&re !ara realizar %i"/a tarea* 0n sistema %e "lasi(i"a"in automatiza%a !ermitir realizar %i"/a tareasin intera""in /umana /a"ien%o uso %e al-oritmos %e )isin !or "om!uta%ora, !ermitien%o as$ !ro"esar lar-as /oras %e)i%eo %e (orma r!i%a, e(i"iente + sin es(uerzo inne"esario !or !arte %el usuario*!a"a#ras $"a%e nlisis %e im-enes, Clasi(i"a"in %e )i%eo, es"ri!tores, #3tra""in %e "ara"ter$sti"as*

A#s&ra$&

T/is arti"le %is"usses t/e state4o(4t/e4art !ro"ess (or a"'uirin- %i((erent %es"ri!tors (rom )i%eo s"enes* It in"lu%es t/e"om!lete !ro"e%ure (or )i%eo anal+sis, an% -i)es a %es"ri!tion o( t/e al-orit/ms t/at are use%*Normall+, "lassi(i"ation an% )i%eo sear"/ are !er(orme% )ia meta%ata, entere% manuall+ &+ users, to sear"/ a -i)ens+stem* T/is s+stem maintains re(eren"es &et5een t/ese )i%eos an% t/eir res!e"ti)e (eatures* T/e s+stem is e((e"ti)e,+et it is not e((i"ient 5/en t/ere is a nee% (or "lassi(+in- lon- /ours o( )i%eo, as it re'uires man+ man4/ours to "om!letet/e tas6* n automate% s+stem (or "lassi(+in- 5oul% allo5 (or t/e e3e"ution o( t/is tas6 5it/out /uman intera"tion &+usin- "om!uter )ision al-orit/ms, 5/i"/ 5oul% lea% to t/e !ro"essin- o( lon- /ours o( )i%eos 'ui"6l+, e((i"ientl+, an%5it/out an+ a%%e% e((ort on !art o( t/e user*'e()*r+s Ima-e anal+sis, 7i%eo "lassi(i"ation, es"ri!tors, 8eature e3tra"tion*

In&r*+u$$i,n

.as a"ti)i%a%es %el ser /umano -eneran una -ran "anti%a% %e in(orma"in 'ue se lle-a a alma"enar en %i(erentes

(ormatos, +a sean en me%ios ele"trni"os o no* Para el "aso %e im-enes, soni%o + )i%eo e3isten a"tualmente (ormatos%i-itales* Ca%a (ormato tiene sus "ara"ter$sti"as + en al-unos "asos se alma"enan !ara (ormar &ases %e %atos "onre(eren"ias -enerales + se /a"en %e manera manual* #n lo re(erente a las &s'ue%as, se !ue%en realizar %e maneraautomatiza%a + r!i%a*

#3isten sistemas similares 'ue intentan ata"ar la e3tra""in %e "ara"ter$sti"as +9o "lasi(i"a"in automatiza%a %e )i%eo*#n :1; se !lantea el "lasi(i"ar < ti!os %e )i%eo %e a"uer%o a su -nero "ari"aturas, noti"ias, "omer"iales, series %etele)isin + noti"ias* #ste !ro"e%imiento se /a"e a tra)s %e la e3tra""in %e = "ara"ter$sti"as %ete""in %e &or%es,/isto-ramas %e "olor + "ara"ter$sti"as %e mo)imiento* es!us %e e3traer un )e"tor "ara"ter$sti"o !or "a%a elemento se!ro"e%e a usar un mo%elo o"ulto %e Mar6o) !ara a-ru!ar + entrenar al sistema* .os resulta%os son &astante!romete%ores tenien%o una !re"isin %e >?*?2@, >2**


2/7

Torres Patio Juan Carlos, Montiel Prez Jess Yalj

(oto-ramas %el )i%eo, !osteriormente se /a"e un anlisis !ara e3traer los )e"tores "ara"ter$sti"os + se !ro"e%e a realizaruna &ase %e %atos "on la in(orma"in !ara usar una r&ol %e %e"isiones !ara %e(inir un -nero en es!e"$(i"o*#n el !resente art$"ulo se %es"ri&e el esta%o %el arte "on el !ro"e%imiento !ara a%'uirir %i(erentes %es"ri!tores %ees"enas %e )i%eo* Se %es"ri&e el !ro"e%imiento "om!leto !ara el anlisis %e )i%eo + una %es"ri!"in %e los al-oritmos autilizar*

Etras !ro!uestas usan la %ete""in %e mo)imiento !ara !o%er "lasi(i"ar )i%eos, en el "aso %e :=; se analiza el

mo)imiento %el "uer!o /umano !ara "lasi(i"ar en las %i(erentes a""iones Fsentarse, "aerse, "orrer, "aminar, et"G* #ste!ro"e%imiento usa un al-oritmo llama%o H8lujo !ti"o #3ten%i%oH el "ual est &asa%o en el (lujo !ti"o &si"o !erousan%o la t"ni"a llama%a HBrin"o %e Cua%roH "on el "ual se eliminan rui%os o mo)imiento no %esea%os* #ste!ro"e%imiento lo-ra "lasi(i"ar mo)imientos /umanos "on un !rome%io %e 1@ %e "erteza*

.os tra&ajos anteriores re(lejan el intento %e "lasi(i"ar u o&tener al-unas "ara"ter$sti"as !rin"i!ales %e los )i%eos %e(orma automatiza%a !ara su !osterior &s'ue%a* Sin em&ar-o, en este !ro+e"to no se &us"a /a"er una "om!ara"in entre"ara"ter$sti"as %e un )i%eo a otro, si no 'ue se &us"a una e3tra""in %e "ara"ter$sti"as u o&jetos %entro %e una es"ena*0no %e los tra&ajos 'ue ms se a"er"an al %o"umenta%o en este tra&ajo es el ela&ora%o en :?; %on%e se !ro!one unae3tra""in %e %atos tanto %e una "a&e"era o meta%atos %el )i%eo, "omo %el anlisis %e las "ara"ter$sti"as en la ima-enmisma* #n este tra&ajo se !ro!one e3traer "ara"ter$sti"as a tra)s %e los /isto-ramas %e "olor, anlisis %e (ormas +anlisis %e te3turas !ara i%enti(i"ar o&jetos* l trmino %e la ela&ora"in %e este %o"umento %i"/a re(eren"ia no /a!u&li"a%o los resulta%os o&teni%os %e esta meto%olo-$a*

#l !ro&lema -eneral %el !resente tra&ajo es "rear un sistema automatiza%o !ara la "lasi(i"a"in %e )i%eo en la temti"a%e la "ultura me3i"ana* Como /i!tesis se tienen 1AA mil /oras %e )i%eo "on %i(erentes "ara"ter$sti"as "omo )i%eo&lan"o + ne-ro + "olor, )i%eo %e "iu%a%es, "am!o, &aila&les re-ionales et"* se re'uiere %e manera automatiza%a e3traer"ara"ter$sti"as !arti"ulares "on las "uales se aso"ia el )i%eo en una &ase %e %atos*

.a !ro&lemti"a se %i)i%e en 2 !artes anlisis %e )i%eo, + la re"u!era"in %e )i%eo !or me%io %e &s'ue%a en unmaneja%or %e &ase %e %atos* #l tra&ajo ela&ora%o en este art$"ulo se "entra en el anlisis %el )i%eo*

M-&*+*

e&i%o a 'ue el !ro&lema en -eneral es "om!lejo, en este art$"ulo se trata ni"amente el !ro&lema %e o&tener

%es"ri!tores %el )i%eo + -enerar un ar"/i)o 'ue se aso"ia al )i%eo !ara una &ase %e %atos*#l !ro"e%imiento 'ue !ara este anlisis !ue%e )erse en la 8i-* 1* 0n (lujo %e in(orma"in + una serie %e %e"isiones 'uetoma el sistema !ara 'ue, al (inalizar el !ro"eso se alma"enen en una &ase %e %atos las "ara"ter$sti"as %e %i"/o )i%eo*

Como !rimer !unto se in-resa el )i%eo al sistema, !osteriormente se tomarn %atos %e la misma "a&e"era %el ar"/i)otales "omo el (ormato + ti!o %e "olor F&lan"o + ne-ro o "olorG* Se %a un tratamiento a las im-enes, a (in %e mejorar su"ali%a% + !or en%e, (a"ilitar el !ro"eso*

#n la eta!a si-uiente %el !ro"eso se %ete"ta una serie %e elementos en es"ena !ara as$, !o%er %e"i%ir las "ara"ter$sti"as%e su "lasi(i"a"in* Como !rimera instan"ia, se %ete"tan elementos 'ue !ermitan el ti!o %e es"enario %el )i%eo, estoarroja tres "lasi(i"a"iones es"ena rural, es"ena ur&ana, + es"ena en am&iente "erra%o* on%e una es"ena rural si-ni(i"atener elementos naturales tales "omo )e-eta"in, a-ua, tierra* 0na es"ena ur&ana "onten%r e%i(i"ios, "arros* Y una

es"ena %e am&iente "erra%o se %ar "uan%o el sistema no !ue%a %ete"tar nin-uno %e las es"enas anteriores* Ca&e%esta"ar 'ue si se lle-a a en"ontrar una mez"la %e elementos rurales + ur&anos en una es"ena, se tomarn en "uentaotros "riterios*

De&e$$i,n +e $*"*r ( .*ra&*

.os ar"/i)os %e )i%eo 'ue se analizan se en"uentran en (ormato JP#K 2AAA, este (ormato tiene )arias )entajas so&reotros ti!os %e "om!resin* #ste (ormato /a"e uso %e la trans(orma%a La)elet, esto nos %a )entajas "laras al momento %e%es"om!rimir la ima-en* Por un la%o !o%emos, "on un solo ar"/i)o, tener %istintas "ali%a%es %e im-enes, !or ejem!lo,en "aso %e 'ue se /a-a una !eti"in "on una "one3in %e &an%a an"/a restrin-i%a, se "ar-a &ajo %eman%a una )ersinms li-era !ro)eniente %el mismo ar"/i)o* e i-ual (orma se usan re-iones %e inters FEIG en la "ual, el ar"/i)o%es"ar-a !rimero to%a la re-in %e inters en su m3ima "ali%a% + !osteriormente la in(orma"in restante*


3/7

C.SI8ICCIN Y BSO0# 0TEMTI # 7I#ES

0san%o la "a&e"era %e(ini%a en este (ormato se o&tiene "ierta in(orma"in !ara e)itar !ro"esar el )i%eo en &us"a %e esta,!or ejem!lo, se !ue%e o&tener el es!a"io %e "olor %el )i%eo, esto !ermite "lasi(i"ar los )i%eos se-n (ormato a "olor oen &lan"o + ne-ro*

Fig. 1 - Diagrama de flujo del proceso de video.


4/7


De&e$$i,n ( e"iina$i,n +e rui+*

.os al-oritmos 'ue se usan en )isin !or "om!uta%ora !or lo -eneral !ue%en &ene(i"iarse %e un (iltro !ara remo)er elrui%o %e (on%o 'ue se "ausa !or %i)ersos (a"tores al momento %e -ra&ar )i%eo o in"luso en tomar una (oto* Sin em&ar-olos mto%os "omnmente usa%os !ara esta tarea tienen un -ran !ro&lema, se %e&e %e sa&er %e antemano las"ara"ter$sti"as %el rui%o a eliminar, esto "laro esta, se in-resa %e (orma manual a los sistemas, !or lo 'ue !ara se-uir "onla (iloso($a %e Qautomatiza%oR en este !ro+e"to, se %e&er /a"er uso %e estima"iones automti"as %e rui%o*

Con la re(eren"ia :


5/7


i"/o al-oritmo tiene la "ara"ter$sti"a %e no usar se-menta"in %e im-enes a tra)s %e te3turas, esto /a"e se-n losanlisis un !ro"eso ms r!i%o* Tam&in !ermite, a %i(eren"ia %el !rimer al-oritmo, esta&le"er !or"entajes a"e!ta&les%e )arias te3turas en una misma ima-en, esto !ermite in"luso re"ono"er ms 'ue solamente )e-eta"in en un solo!ro"eso, !or tanto es su!erior al anterior*

De&e$$i,n +e agua

Para la %ete""in %e "uer!os %e a-ua se !ro!one usar un mto%o +a analiza%o 'ue (un"iona !ara im-enes sim!les, estoes, sin in(orma"in a%i"ional %e sensores e3tras "omo, sensores %e !ro(un%i%a%, sensores in(rarrojos, et"* :1A;* #stemto%o "onsiste en analizar el (lujo !ti"o -enera%o a !artir %e la entro!$a %e los "ua%ros 'ue se !ro"esan en el )i%eo*#n !o"as !ala&ras se analiza la %inmi"a %e la te3tura %el "uer!o a"uti"o, !ero a !esar %e (iltrar ni"amentemo)imientos t$!i"os %el a-ua "on o&jetos estti"os, no se lle-a a tener (alsos !ositi)os al %ete"tar otro ti!o %e "uer!osen mo)imiento, !or lo tanto es un mto%o e(e"ti)o !ara la %ete""in %e "uer!os a"uti"os*

De&e$$i,n +e e+i.i$i*s

0na !arte im!ortante %e un es"enario ur&ana es la %ete""in %e e%i(i"ios, esto nos %a una i%ea a!ro3ima%a %el lu-ar enel 'ue se realiza la es"ena, !or ejem!lo, si en"ontramos una "anti%a% "onsi%era&le %e e%i(i"ios !o%emos e3!resar "on"erteza 'ue se en"uentra %entro %e una lo"aliza"in ur&ana* Tam&in el sistema %e&er$a %ete"tar i-lesias o monumentosen es"ena, esto +a 'ue sa&emos 'ue en -ran me%i%a "a%a lo"ali%a% en M3i"o tiene al menos una i-lesia o monumento

reli-ioso, esto !ermitir$a !o%er a-re-ar una "ara"ter$sti"a a%i"ional a nuestra &s'ue%a*

#3isten %i(erentes mo%elos 'ue !ermiten %es"ri&ir la %ete""in %e e%i(i"ios, al-unos %e estos !ro!onen el uso %eim-enes en (ormato estreo* :11;, :12; #stos mto%os realizan un ma!eo %e las %i(eren"ias %e !ro(un%i%a% en laentra%a )isual %a%a !or las %os "maras 'ue (orman la )isin estreo* #n un se-un%o !aso se /a"en "l"ulos &asn%oseen la e"ua"in 'ue %es"ri&e a un !lano en el es!a"io* Con a+u%a %el al-oritmo NSC se e3traen los !untos en %on%ese !o%r$a "olo"ar un !lano &asa%o en el !aso anterior* 8inalmente usan%o Cam!os leatorios %e Mar6o) FM8G se"ate-oriza + se se!aran los !untos i%enti(i"a%os !ara %ete"tar el e%i(i"io al 'ue !ertene"en, esto "on e(e"to %e !o%er%ete"tar mlti!les e%i(i"ios en es"ena*

Etros mto%os "omo el %e la re(eren"ia :1=; !ermite %ete"tar e%i(i"ios "on su !osi"in + orienta"in, %e i-ual (orma!ermite %ete"tar otros !untos %e inters "omo )entanas + %ete"tar e%i(i"ios o"ultas %etrs %e otros* Primero se %ete"tan!untos %e %es)ane"imiento, "on a+u%a %e estos !untos se trazan l$neas re"tas si-uien%o los !atrones* 0na )ez 'ue se /an

traza%o %i"/as l$neas se !ro"e%e a (ormar "ru"es entre %i"/as l$neas + as$ !o%er i%enti(i"ar o (ormar re"tn-ulos o"ua%ra%os* Se tiene en "uenta 'ue los e%i(i"ios estn (orma%os !or estru"turas !lanas, en "aso %e no tener una estru"turatotalmente "ua%ra%a el al-oritmo no resulta tan e(e"ti)o* e i-ual (orma se estima una orienta"in en rela"in a los%ems !lanos, + usan%o el al-oritmo NSC %e los tra&ajos anteriores se /a"e una estima"in %e los !lanos 'ue selo"alizan "omo (a"/a%a %el e%i(i"io* 8inaliza%o este !ro"eso se en"uentran los !lanos 'ue (orman las (a"/a%as %e %i"/ose%i(i"ios, sin im!ortar su orienta"in o in"luso la "anti%a% 'ue e3ista en la es"ena, tam&in otro !unto (uerte 'ue )uel)eeste !ro"e%imiento e(e"ti)o es 'ue lo-ra %ete"tar e%i(i"ios 'ue se en"uentran o&strui%os !or otros o&jetos a !rimera)ista*

!ers*nas

Para la %ete""in %e !ersonas en una es"ena se usa un al-oritmo %e %ete""in %e rostros + se ten%r una -u$a !ara !o%er%e(inir una oI Fe-in %e IntersG 'ue es una re-in %entro %e una ima-en o !lano %on%e e3iste una alta !ro&a&ili%a%%e 'ue se en"uentre los o&jetos o "ara"ter$sti"as 'ue se &us"an*

0na )ez %ete"ta%os los rostros, se !ro"e%e a analizar "on ms %etalle la !osi&le rea %on%e se en"uentra el "uer!o %e la!ersona i%enti(i"a%a, esto "on el !ro!sito %e /a"er anlisis %e "uer!o inne"esario en "aso %e no %ete"tar ni un solorostro en to%a la es"ena, + tam&in !ara e)itar el si-uiente !aso %e !ro"esamiento Fete""in %e mo)imientoG*

De&e$$i,n +e 0ers*nas

.a %ete""in %e rostros se /a realiza%o a tra)s %e )arios mto%os, uno %e ellos es &us"an%o te3turas o "olores %entro%el ran-o %el "olor %e la !iel /umana + "ruzar %i"/as re(eren"ias "on la lo"aliza"in %el "a&ello e3tra$%o %e manerasimilar al %e la !iel* :1?; #ste mto%o es &astante e(i"iente + no re'uiere %e -ran !ro"esamiento, se /a !ro&a%o 'ue sue(i"a"ia es %el >2@ en "on%i"iones su(i"ientes %e luz este al-oritmo tam&in lo-ra %ete"tar rostros %es%e %istintas!ers!e"ti)as, +a sea %e (rente o %e la%o*


6/7


#n el "aso %e los )i%eos /a analizar +a sa&emos 'ue e3istirn tanto )i%eos a "olor "omo a &lan"o + ne-ro, !or lo tanto sene"esita un al-oritmo 'ue !ue%a tra&ajar so&re es"enas en &lan"o + ne-ro* #n la re(eren"ia :1


7/7


:=; * ama%ass, M* Su6, B* Pra&/a6aran* 8eature #3tra"tion Met/o% (or 7i%eo Base% Uuman "tion e"o-nitions #3ten%e%E!ti"al 8lo5 l-orit/m* In I### International Con(eren"e on "ousti"s S!ee"/ an% Si-nal Pro"essin- FICSSPG, 2A1A*

:?; 8* Sun, M* S/i, L* .in* 8eature .a&el #3tra"tion o( Enline 7i%eo* In International Con(eren"e on Com!uter S"ien"e an%#le"troni"s #n-ineerin-, 2A12*

:

descriptoresarticuloREVISADO14JUN13.pdf

Documents

Transcript of descriptoresarticuloREVISADO14JUN13.pdf