TC AnalizadorLexico

ProyectofinaldeTeoradelaComputacin

ProyectofinalTeoradelacomputacinObjetivos:

DisearunAnalizadorLxico. ConocerlaestructurainternadeunaAnalizadorLxico.

ImplementarunAnalizadorLxicoparareconocercdigofuenteparaelprogramaPseInt.pseint.sourceforge.netTabladecalificacin

Item Apartado Descripcin Puntos

1 Anlisis Describirlasexpresionesregulares 4

2 ProcesosAFN GenerarunAFNapartirdelase.r. 4

3 ProcesoAFD ImplementarunAFDapartirdelAFN 4

4 ProcesoAFDmnimo MinimizarelAFD 4

5 Programacin UsarunaherramientaparacrearelAnalizadorLxico(JavasourceyJavaJAR)

4

TOTAL 20Presentacinporelformulario:http://goo.gl/forms/InmE1B9aqpFechalmiteViernes24hastalas11:59:59p.m.ndicedelosapartadosdeldocumento

ElAnalizadorLxicoHerramientasparagenerarAnalizadoresLxicos

Prof.RichartEscobedo([email protected])[UNSATC]


Marcoterico:

El Analizador Lxico Lafuncinprimordialesagruparcaracteresdelaentradaentokens.Estostokenssonsuministrados(bajodemanda)alanalizadorsintctico.

LostokenssepasancomovaloressimplesAlgunostokensrequierenalgomsquesupropiaidentificacin:constantes:suvaloridentificadores:elstringoperadoresrelacionales:suidentificacinPorlotanto,elscannerdeberealizar,aveces,unadoblefuncin:identificareltokenevaluareltoken



Esquemadeprocesamiento

AlgunasdefinicionestokennombrequesedaacadacomponentelxicolexemaSecuenciadecaracteresdelaentradaquecorrespondenauntokenpatrnFormacompactadedescribirconjuntosdelexemasAdemsuntokensecorrespondeconunpatrnuntokensepuedecorresponderconmuchoslexemas



Tokensmshabitualespalabrasreservadasidentificadoresoperadoresconstantessmbolosdepuntuacin:,.:smbolosespeciales:()[]Pero,alavezqueelpropiotoken,elscannerpuede(debe)devolvermsinformacinsiesuntokenCONSTANTE,suvalorsiesunidentificador,elstringcorrespondientesiesunsmbolodepuntuacin,culEstainformacin,sedevuelvemedianteatributosPeroanpuedehaceralgoms:puededetectaralgunos(pocos)erroreslxicosnohayconcordanciaconningnpatrnpuedellevaracaboalgunasrecuperacionesdeerroresfiltradodecaracteresextraoscompletaralgnpatrnreemplazaralgncarcter



Procesodeconstruccin(conayudadeherramientas)

Qupintatieneunscanner?un conjunto de funcionesuna para cada smbolo a reconocerestas funciones son controladas/invocadasporunafuncinque:

selecciona,enfuncindeloscaracteresdeentrada,qufuncininvocarOpcionalmente,tambinmediantetablasPeropuedesercomplicado:necesidadderecorrervarioscaracteresantesdedecidireltipodetokenpreanlisislookaheadEjemplo:reconocido


Operadoressobrelenguajes:SeanL,Mdoslenguajes

Para un token dado, los lexemas correspondientes los expresaremos mediante expresiones regularesExpresinregular:formacompactaparadefinirunlenguajeregular

tambinllamadoconjuntoregular

Unaexpresinregularr:SerdefinidaapartirdellenguajeL(r)quegeneraoperadoressobreexpresionesregularesmedianteoperadoressobrelenguajesSeaunalfabeto



Importante:Darlaposibilidaddelusodeparntesisparaestablecerprioridadestil,usarprioridades:

Ejemplo1:Sea={a,b}



Ejemplo2:Sea={0,1}

YasabemosexpresarloslexemascorrespondientesalostokensNecesitamosimplementarelanalizadorlxicoEsquemaparasuimplementacin

AutmatasFinitos.GeneralidadesLos autmatas finitos pueden ser utilizados para reconocer los lenguajes expresados medianteexpresionesregularesUn autmata finito (AF) es una mquina abstracta que reconoce strings correspondientes a unconjuntoregularTambinsedenominanreconocedoresMisindeunAF:reconocersi un string de entrada respeta las reglas determinadas por una expresin regular



Ejemplo:e.r.:(ab|c)*dautmata?

Notacingrfica:



AFNcomografodetransiciones



ConversindeunaexpresinregularaAFNObjetivo:dadaunaexpresinregular,generarunAFDquelareconozcaMtodo:construccindeThompson(BellLabs.)



Ejemplo:procesodeconstruccinpara(ab|c)*d



SobreimplementacindeAL

Unanalizadorlxicomuysimple



Herramientas para generar Analizadores Lxicos ElpasodeunaexpresinregularaunAFsepuedehacerdemaneraautomatizada.Tambinexistengeneradoresdeanalizadoreslxicos.QuhaceLEX?Especifica un analizador lxico. Flex es una herramienta que permite generar analizadores lxicos. A partir de un conjunto de expresiones regulares (patrones lxicos), Flex busca concordanciasenunficherodeentradayejecutaaccionesasociadasaestasexpresiones.FLEX :EspecificaunanalizadorlxicoenC.JFlEX :EspecificaunanalizadorlxicoenJAVA.

FLEX,JFLEXsiguenunesquema

Donde:



patrn:expresinregularaccin: fuente C,JAVA con las acciones a realizar cuando el patrn concuerde con un lexemaFuncionamiento:FLEXrecorreentradaestndarhastaqueencuentraunaconcordanciaUn lexema correspondiente al lenguaje de algunas de las e.r. representadas por los patronesEntonces,ejecutaelcdigoasociado(accin)Permite acceder a la informacin asociada al lexema (string, longitud del mismo, nde lnea enelfuente,...)



Ejemplo:

Tokens,lexemasypatroneslxicos

Token:cadaunodeloselementosreconocidosporelanalizadorlxico Lexema:secuenciadecaracteresdelaentradaquecorrespondenauntoken Patrnlxico:formacompactadedescribirconjuntosdelexemas

Token1 :1patrnToken1 :NlexemasLostokenssepasancomovaloressimplesPeroalgunosrequierenalgomsdeinformacin:Ej: para una constante, habitualmente no slo se necesita saber que es una constante sino tambinculessuvalorExpresionesregularesDefinicinformaldeloslexemasquecorrespondenauntokenPermitir decidir cundo se reconoce un token a partir de una secuencia de elementos de laentradaSepuedenbautizarparapoderreferenciarlasposteriormente



ComoeselcomportamientodeunAnalizadorLxicoParalaexpresinaevaluarcreaunalistacompuestaporlexemaydescripcin.Ellexemaesporlostokensyladescripcineelvaloronombre.

EstructuradelarchivoFLEX

Seccindedefiniciones:bloquesliterales

secopiantalcualalfuentelex.yy.coalaclasejavaquesegenerar(JFLEX)entre%{y%}

definicionesregulares(bautismo)declaracionespropiasparaelmanejodetablasdeLEXcondicionesiniciales

cambiarelfuncionamientodelreconocedor



SeccindereglasFormato:

dostiposdelneas:

empiezanporblanco,%{%}fuenteCempiezanporotracosa:lneapatrncdigo

laslneasdefuenteCsecopiandirectamenteenelfuentelex.yy.calencontrarconcordancia,ejecutarcdigoasociadosinoencuentraconcordancia,ejecutaECHO(copiaellexemaensalidaestndar)

Seccinderutinasdeusuariosucontenidosecopialiteralmenteenelfuentelex.yy.ccontienefuncionesCescritasporelusuarioynecesariasparaelanalizador

manejodetabladesmbolosgeneracindesalidas(cuandonoesnecesariogeneracindecdigo)



Ejemplo:

Tambinsepuedendarnombresaexpresionesregulares



ExpresionesregularesenFlex

Qupasacuandohayambigedad?FLEXaplicadosreglas:



AccediendoallexemayytextcontieneunpunteroglobalallexemareconocidoyylengcontienelalongituddellexemaHayotrasms:yyin,yyout...Tambinhayfunciones:yylex(),yywrap(),yymore(),yyless(),yyterminate()...VentajasdeusarestosgeneradoresElcdigoquedamseleganteEstonospermitirenlazarelanalizadorlxicoconelsintctico(Yacc/Bison)deunmodomssimpleConsideracionesatenerencuentaSermuyrigurosoconlaestructura:Sicomienzaporblanco,yanoeslneadepatrnaccinDefinirclaramentelastreszonasdelimitadaspor%%Tenercuidadoconlosanidamientosde(),[],{}TenerpresentelaformaderesolucindemltiplespatronescoincidentesEligeelqueconcuerdaconelstringmslargoSilospatronesreconocenelmismostring,eligeelqueapareceprimeroenlasdeclaracionesFlexSeguirprincipiodivideyvencersSifallaelanalizadorlxico,lomssimpleesireliminandopatrnaccinhastalocalizarelconflictivoSeguirprincipioKISS(Keepitsimple,stupid!)PensarmuybienlasE.R.autilizarpuedesimplificarmucholatareaTenerpresenteladiferenciaentremaysculasyminsculasdeloslexemas:Complicaraelcdigoconunmontnde[aA][nN][dD]...Seresuelveconflexi



EnlacesURLparaenvodeltrabajo.

http://goo.gl/forms/kXkSQaYX9zhttps://sites.google.com/site/teorialacomputacion/home/analizadorlexicohttp://pseint.sourceforge.net/


TC AnalizadorLexico

Documents

Transcript of TC AnalizadorLexico

01 02€¦ · Aranbe Aranbe Egileor Egileor Fuentevieja .iturria Fuentevieja J J J A a J J J Tc Tc Er Tc Tc Tc Tc Tc Er Tc d e Tc Er Tc Tc Tc Tc Er Pr Tc Tc Pr Tc Er Tc Er Er Er Tc

Imprimir - bvs.hn · 6Caso Coccidiodomicosis Renato Valenzuela Temas Libres: TC.5 Drogorresistencia VIH TC.6 Drogorresistencia paciente VIH naive TC.7 Chikungunya pediátrico TC.8

Series TC Serie TC excelente relación costo-beneficio

Resumen Tc

Preguntas tc

TC Subestaciones

Arduino tc

TC - Lebosol

Actualización en Tomografía Computada · TC CEREBRAL TC CUERPO TC HELICOIDAL TC MULTICORTE 4/8 TC MULTICORTE 16 TC MULTICORTE 32/64 TC MULTICORTE 320. Diferencias en el haz de Rx

Informe TC

Trumpf - TC

TC Support Interactivedownloads.music-group.com/software/tcelectronic/tc... · 2019-08-16 · TC Support Interactive La pagina web del soporte interactivo de TC ha sido diseñada

glosario tc

Formulas Tc

Conducción TC

Tc convencional vs tc helicoidal

Presentacion tc

Secabo TC 2 TC 5 TC 7

Mantenimiento TC

Introducción TC