TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
BRASIacuteLIA
2007
MANUAL DE AUDITORIA
OPERACIONAL
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
I
MANUAL DE AUDITORIA
OPERACIONAL
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
III
COORDENACcedilAtildeO
Luiz Geneacutedio Mendes Jorge
ELABORACcedilAtildeO
Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE
Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar
CEP 70075-901 ndash Brasiacutelia (DF)
Tel 0 xx (61) 3314-2150 2266 2156
e-mail ice5tcdfgovbr
DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)
Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007
58p
1 Auditoria Operacional Controle Administrativo
CDU 6576
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
I
MANUAL DE AUDITORIA
OPERACIONAL
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
III
COORDENACcedilAtildeO
Luiz Geneacutedio Mendes Jorge
ELABORACcedilAtildeO
Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE
Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar
CEP 70075-901 ndash Brasiacutelia (DF)
Tel 0 xx (61) 3314-2150 2266 2156
e-mail ice5tcdfgovbr
DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)
Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007
58p
1 Auditoria Operacional Controle Administrativo
CDU 6576
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
I
MANUAL DE AUDITORIA
OPERACIONAL
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
III
COORDENACcedilAtildeO
Luiz Geneacutedio Mendes Jorge
ELABORACcedilAtildeO
Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE
Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar
CEP 70075-901 ndash Brasiacutelia (DF)
Tel 0 xx (61) 3314-2150 2266 2156
e-mail ice5tcdfgovbr
DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)
Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007
58p
1 Auditoria Operacional Controle Administrativo
CDU 6576
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
II
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
III
COORDENACcedilAtildeO
Luiz Geneacutedio Mendes Jorge
ELABORACcedilAtildeO
Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE
Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar
CEP 70075-901 ndash Brasiacutelia (DF)
Tel 0 xx (61) 3314-2150 2266 2156
e-mail ice5tcdfgovbr
DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)
Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007
58p
1 Auditoria Operacional Controle Administrativo
CDU 6576
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
III
COORDENACcedilAtildeO
Luiz Geneacutedio Mendes Jorge
ELABORACcedilAtildeO
Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE
Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar
CEP 70075-901 ndash Brasiacutelia (DF)
Tel 0 xx (61) 3314-2150 2266 2156
e-mail ice5tcdfgovbr
DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)
Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007
58p
1 Auditoria Operacional Controle Administrativo
CDU 6576
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
IV
COMPOSICcedilAtildeO DO TRIBUNAL - 2007
CONSELHEIROS
PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE
ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE
RONALDO COSTA COUTO
MARLI VINHADELI
JORGE CAETANO
MANOEL PAULO DE ANDRADE NETO
ANTONIO RENATO ALVES RAINHA
AUDITOR
JOSEacute ROBERTO DE PAIVA MARTINS
PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS
CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL
MAacuteRCIA FERREIRA CUNHA FARIAS
DEMOacuteSTENES TRES ALBUQUERQUE
INAacuteCIO MAGALHAtildeES FILHO
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
5
SUMAacuteRIO
1 INTRODUCcedilAtildeO
2 FASES DA AUDITORIA OPERACIONAL
3 PLANEJAMENTO
31 Planejamento da Anaacutelise Preliminar
32 Coleta e Registro de Dados e Informaccedilotildees
33 Anaacutelise Preliminar do Objeto da Auditoria
34 Criteacuterios de Auditoria
35 Matriz de Planejamento
351 Questotildees de Auditoria
352 Informaccedilotildees Requeridas
353 Fontes de Informaccedilatildeo
354 Estrateacutegias Metodoloacutegicas
3541 Estudo de Caso
3542 Pesquisa
3543 Delineamento Experimental
3544 Delineamentos Quase-Experimentais
3545 Delineamentos Natildeo-Experimentais
355 Meacutetodos de Coleta de Dados
356 Meacutetodos de Anaacutelise de Dados
357 Limitaccedilotildees
358 O Que a Anaacutelise Vai Permitir Dizer
36 Programa de Auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
6
4 EXECUCcedilAtildeO DA AUDITORIA
41 Matriz de Achados
411 Achados de Auditoria
412 Anaacutelises e Evidecircncias
413 Causas
414 Efeitos
415 Boas Praacuteticas
416 Recomendaccedilotildees
417 Benefiacutecios Esperados
5 RELATOacuteRIO DE AUDITORIA
51 Sumaacuterio
52 Resumo
53 Introduccedilatildeo
531 Visatildeo Geral do Objeto e Antecedentes
532 Objetivos e Escopo da Auditoria
533 Procedimentos e Estrateacutegias Metodoloacutegicas
534 Limitaccedilotildees
54 Toacutepicos sobre os Resultados da Auditoria
55 Anaacutelise dos Comentaacuterios do Gestor
56 Conclusatildeo
57 Proposta de Encaminhamento
58 Anexos
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
1 INTRODUCcedilAtildeO
Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
7
TCU
Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento
Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles
Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo
Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo
Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo
Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo
Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo
Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo
Guia de Teacutecnicas de Entrevistas para Auditorias
Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria
Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento
A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado
Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase
A Auditoria Operacional avalia a accedilatildeo governamental compreendendo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
8
a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais
A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados
No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais
O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)
Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA
A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias
Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental
A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI
A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
9
oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica
Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios
A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
10
2 FASES DA AUDITORIA OPERACIONAL
A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento
O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte
Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis
A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade
A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
11
3 PLANEJAMENTO
As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar
O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista
Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo
Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista
A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades
a) planejamento da anaacutelise preliminar
b) identificaccedilatildeo de relaccedilotildees de responsabilidade
c) realizaccedilatildeo da coleta e anaacutelise de dados
d) definiccedilatildeo dos criteacuterios de auditoria
e) identificaccedilatildeo das fontes de criteacuterios
f) definiccedilatildeo das questotildees de auditoria
g) elaboraccedilatildeo da Matriz de Planejamento
h) elaboraccedilatildeo do programa de auditoria
31 Planejamento da Anaacutelise Preliminar
O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
12
complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos
a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria
b) proposta de objetivo e escopo
c) equipe designada
d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)
e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)
f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria
g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados
h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis
Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe
Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc
O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc
Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa
leis e regulamentos
manuais rotinas e procedimentos
relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno
informaccedilotildees e arquivos de outras auditorias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
13
avaliaccedilotildees realizadas por terceiros
entrevistas e discussotildees com funcionaacuterios-chave e gestores
documentos correlatos da Administraccedilatildeo
publicaccedilotildees externas internas e materiais de orientaccedilatildeo
informaccedilotildees disponiacuteveis na Internet
orccedilamentos e suas alteraccedilotildees
observaccedilotildees do ambiente de trabalho
A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores
Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis
Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados
Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho
Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual
32 Coleta e Registro de Dados e Informaccedilotildees
Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
14
cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria
observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor
questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados
inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo
Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir
relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados
fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes
questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas
mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica
Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo
33 Anaacutelise Preliminar do Objeto da Auditoria
Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
15
realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas
A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes
Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios
As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual
Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria
Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo
34 Criteacuterios de Auditoria
Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees
Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
16
equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo
A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado
A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes
35 Matriz de Planejamento
A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees
A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo
A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride
Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria
questotildees de auditoria
informaccedilotildees requeridas
fontes de informaccedilatildeo
estrateacutegias metodoloacutegicas
meacutetodos de coleta de dados
meacutetodos de anaacutelise de dados
limitaccedilotildees
o que a anaacutelise vai permitir dizer
Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
17
metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas
351 Questotildees de Auditoria
A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir
Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos
Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas
Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos
clareza e especificidade
uso de termos que possam ser definidos e mensurados
viabilidade investigativa (possibilidade de ser respondida)
articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)
O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas
a) Questotildees descritivas
Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo
1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os
desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
18
b) Questotildees normativas
Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo
A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho
c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)
Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo
As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo
A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber
Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)
1ordm passo ndash Descreva o ldquoproblemardquo
Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria
Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar
2ordm passo ndash Explore as questotildees
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
19
O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees
3ordm passo ndash Estabeleccedila hipoacuteteses
A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo
HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES
Problema
Hipoacutetese 3 ou
Questatildeo 3
Hipoacutetese 1 ou
Questatildeo 1
Hipoacutetese 2 ou
Questatildeo 2
Subquestatildeo 1
Subquestatildeo 2
Subquestatildeo 1
Subquestatildeo 2
4ordm passo ndash Teste suas hipoacuteteses
Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado
5ordm passo ndash Elimine as questotildees natildeo essenciais
Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria
Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades
6ordm passo ndash Avalie o impacto financeiro da questatildeo
Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos
7ordm passo ndash Elabore uma proposta de trabalho detalhada
Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
20
Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental
352 Informaccedilotildees Requeridas
Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes
Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar
A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo
As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)
fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas
oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada
documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)
analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses
Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais
As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
21
condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado
Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista
A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho
Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais
Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado
353 Fontes de Informaccedilatildeo
As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)
registros administrativos em papel ou em meio magneacutetico
estudos e pesquisas existentes
legislaccedilatildeo normas ou procedimentos
documentos oficiais como memorandos ofiacutecios etc
Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)
a forma de coleta pode natildeo ter sido adequada
os controles internos podem natildeo ser confiaacuteveis
os dados podem ter sofrido manipulaccedilatildeo
os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise
354 Estrateacutegias Metodoloacutegicas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
22
Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas
Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho
Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito
Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)
a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios
objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo
normas ou padrotildees estabelecidos
opiniotildees de especialistas
desempenho anterior
desempenho de instituiccedilotildees similares nacionais ou estrangeiras
b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos
c) Causa as razotildees do mau ou bom desempenho observado
d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio
Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos
comparaccedilotildees entre condiccedilatildeo e criteacuterio
escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)
periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em
2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes
indicando programas projetos atividades oacutergatildeos e entidades governamentais
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
23
determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)
Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos
a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa
b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo
c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)
d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo
Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados
Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica
As estrateacutegias metodoloacutegicas mais utilizadas satildeo
Estudo de Caso
Pesquisa
Delineamento Experimental
Delineamentos Quase-Experimentais
Delineamentos Natildeo-Experimentais
3541 Estudo de Caso
O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
24
Segundo o GAO
ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)
O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo
O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc
O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo
As principais caracteriacutesticas do estudo de caso satildeo
mais adequado para responder a questotildees normativas e descritivas
uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados
natildeo-utilizaccedilatildeo de amostragem probabiliacutestica
anaacutelise concomitante agrave coleta de dados
Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam
natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito
pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo
natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado
Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)
a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa
b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente
c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve
3 Os grifos indicam os elementos-chave da definiccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
25
como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa
d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa
e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo
f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito
A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos
Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
26
PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO
CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS
Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc
Finalidade
Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas
Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa
Piores casos Por que o programa natildeo estaacute funcionando
Agrupamento Como diferentes tipos de programas se comparam entre si
Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc
Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc
Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc
Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc
Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa
Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas
ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos
utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta
utilizaccedilatildeo de muacuteltiplas fontes de dados
As principais vantagens do estudo de caso podem ser assim resumidas
permite uma anaacutelise detalhada do programa em exame
permite formular hipoacuteteses para serem testadas em estudos de maior amplitude
evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame
3542 Pesquisa
Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
27
Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite
obter informaccedilotildees descritivas de uma populaccedilatildeo ampla
conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa
estabelecer relaccedilotildees causais em situaccedilotildees particulares
Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria
Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada
Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)
erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)
erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)
As vantagens dessa estrateacutegia podem ser assim resumidas
obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados
generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra
tratamento de dados disponiacuteveis (registros)
exame de programas que envolvam muitos oacutergatildeos e entidades
comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades
As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras
4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
28
Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados
Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter
corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo
painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos
No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito
3543 Delineamento Experimental
O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola
Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados
O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos
Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)
o grupo experimental ou de tratamento que seraacute exposto ao programa
o grupo de controle que natildeo seraacute exposto
As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa
O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam
5 ldquoCross-sectionrdquo na liacutengua inglesa
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
29
selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas
No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle
Logo duas caracteriacutesticas definem os experimentos em sentido estrito
existecircncia de grupo de controle
designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle
Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento
Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
30
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO R O X O
DE CONTROLE R O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
poacutes
DE TRATAMENTO R X O
DE CONTROLE R O
Fonte FITZ-GIBBON amp MORRIS 1987 p 57 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica
X programa ou tratamento O teste de mensuraccedilatildeo
A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo
Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias
3544 Delineamentos Quase-Experimentais
A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas
Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
31
randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo
Os delineamentos quase-experimentais mais citados satildeo
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis
A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir
DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
DE CONTROLE O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa
Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
32
validade interna
Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo
GRUPOS
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
DE CONTROLE O O O O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p 61 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos
No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento
DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
1 2 3 4 5 6
DE TRATAMENTO O O O X O O O
Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa
Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
33
condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6
Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes
com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)
com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)
3545 Delineamentos Natildeo-Experimentais
Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo
antes-e-depois
somente depois com grupo de comparaccedilatildeo
A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas
A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo
DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo
GRUPO
PERIacuteODOS DE MENSURACcedilAtildeO
preacute poacutes
DE TRATAMENTO O X O
Fonte FITZ-GIBBON amp MORRIS 1987 p62 apud TCU 2000 p 49 Notaccedilatildeo X programa ou tratamento
O teste de mensuraccedilatildeo
6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a
implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
34
Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas
Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados
comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos
verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados
O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa
355 Meacutetodos de Coleta de Dados
Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios
Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)
atinge um maior nuacutemero de pessoas
possibilita a comparaccedilatildeo das respostas
permite anaacutelise estatiacutestica
possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias
As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)
satildeo demorados o desenvolvimento e o preacute-teste
requer conhecimento especializado
eacute difiacutecil garantir o rigor das informaccedilotildees prestadas
As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
35
O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)
o entrevistado deve ser identificado
o entrevistado apresenta baixo niacutevel educacional
a reaccedilatildeo do entrevistado deve ser observada
as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas
a ordem das perguntas deve ser controlada
Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)
baixo custo
natildeo haacute necessidade de entrevistadores e de treinamento
natildeo haacute necessidade de deslocamento de pessoal
pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa
A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada
A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas
A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)
permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa
permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)
permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa
pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso
traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
36
permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes
Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes
As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos
A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)
Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar
Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise
De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo
Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico
Haacute outras fontes relevantes de dados para o tema a ser investigado
Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria
O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
37
SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS
ESTRATEacuteGIA METODOLOacuteGICA
TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA
AMOSTRA MEacuteTODO DE COLETA DE
DADOS
Estudo de Caso
ilustrativo
exploratoacuterio
caso criacutetico
implementaccedilatildeo do programa
efeitos do programa
cumulativo
conveniecircncia
finalidade
casos extremos
melhores casos
piores casos
agrupamento
casos representativos
casos tiacutepicos
interesse especial
probabiliacutestico
entrevista
questionaacuterio enviado pelo correio
dados secundaacuterios
observaccedilatildeo direta
Pesquisa corte temporal
painel probabiliacutestico
questionaacuterio enviado pelo correio
entrevista estruturada
Delineamento Experimental com preacute e poacutes-testes
com poacutes-teste probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
Delineamentos
Quase-Experimentais
grupos natildeo-equivalentes com preacute e poacutes-testes
seacuteries temporais com grupo de controle
seacuteries temporais sem grupo de controle
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
Delineamentos
Natildeo-Experimentais
antes-e-depois
somente depois com grupo de comparaccedilatildeo
probabiliacutestico ou natildeo
teste
questionaacuterio enviado pelo correio
dados secundaacuterios
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
38
356 Meacutetodos de Anaacutelise de Dados
Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria
Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado
Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados
No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica
Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado
A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas
Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)
as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas
as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria
Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
39
Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)
a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas
coletar dados de diferentes fontes sobre a mesma questatildeo
utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados
utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo
utilizar teorias diferentes para interpretar os dados coletados
b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)
c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada
d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal
A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal
Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais
A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
40
campo empregaacute-los para avaliar o desempenho do objeto da auditoria
Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho
A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria
Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo
Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas
Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
41
357 Limitaccedilotildees
Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos
Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees
Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7
Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos
358 O Que a Anaacutelise Vai Permitir Dizer
Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas
O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada
Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho
A seguir eacute apresentado um exemplo de matriz de planejamento
7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um
estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
42
MATRIZ DE PLANEJAMENTO
PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas
Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de
Informaccedilatildeo Estrateacutegias
Metodoloacutegicas
Meacutetodo de Obtenccedilatildeo de
Dados
Meacutetodo de Anaacutelise de
Dados Limitaccedilotildees
O que a anaacutelise vai permitir dizer
1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias
Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens
Condiccedilatildeo da Pintura externa
Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos
Qualidade dos Pisos
Condiccedilotildees dos Telhados
Estrutura e pintura das paredes das salas de aula
Condiccedilotildees das carteiras cadeiras mesas e da lousa
Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios
Condiccedilotildees da quadra de esportes e do parque de diversatildeo
Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal
Pesquisa estatiacutestica
Observaccedilatildeo direta
Registro foto-graacutefico das instalaccedilotildees
Anaacutelise estatiacutestica
Tempo neces-saacuterio para inspecionar as escolas
Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias
Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
43
36 Programa de Auditoria
O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte
A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria
O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens
objetivo da auditoria
periacuteodo de realizaccedilatildeo dos exames
escopo ou alcance do exame
questotildees de auditoria
criteacuterios de auditoria
estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)
meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)
meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)
pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas
cronograma das atividades
material necessaacuterio e
estimativa de custos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
44
4 EXECUCcedilAtildeO DA AUDITORIA
A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos
Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento
O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria
As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento
De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
45
41 Matriz de Achados
A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados
A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo
Os seguintes elementos compotildeem a Matriz de Achados
Achados de Auditoria
Anaacutelises e Evidecircncias
Causas
Efeitos
Boas Praacuteticas
Recomendaccedilotildees
Benefiacutecios Esperados
A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz
411 Achados de Auditoria
Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei
Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes
Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento
412 Anaacutelises e Evidecircncias
As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
46
exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes
A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou
413 Causas
Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas
Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo
insuficiecircncia de recursos humanos materiais eou financeiros
ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo
comunicaccedilatildeo interna deficiente
tempo insuficiente para a realizaccedilatildeo de tarefas
dolo desinteresse resistecircncia agrave mudanccedila
negligecircncia ou descuido
ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade
falta de rodiacutezio de funcionaacuterios
controle interno ineficiente
planejamento inadequado ou inexistente
normas inadequadas inexistentes obsoletas ou impraticaacuteveis
desobediecircncia consciente agraves normas
414 Efeitos
Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria
Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que
as causas e os efeitos estatildeo interrelacionados
a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
47
os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo
os efeitos podem ultrapassar a aacuterea sob anaacutelise
415 Boas Praacuteticas
Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo
Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho
416 Determinaccedilotildees e Recomendaccedilotildees
As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria
Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente
Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
417 Benefiacutecios Esperados
Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada
Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
48
analisada Um exemplo de matriz de achados eacute mostrado a seguir
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
49
MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES
QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias
Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas
Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados
Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima
Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas
Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A
meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas
Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de
avarias) o que equivale a 102 escolas
Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a
25)
3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN
maior que 25 e menor ou igual a 40)
428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior
a 40)
Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento
Manutenccedilatildeo insuficiente ou ineficiente
Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular
Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem
Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos
Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas
Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas
Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade
Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias
Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar
Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
50
5 RELATOacuteRIO DE AUDITORIA
O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria
O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos
O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos
51 Sumaacuterio
Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede
O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos
52 Resumo
No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas
O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees
53 Introduccedilatildeo
Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem
531 Visatildeo Geral do Objeto e Antecedentes
Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto
A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
51
auditoria deve ser registrada neste toacutepico
Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas
532 Objetivos e Escopo da Auditoria
O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados
O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas
533 Procedimentos e Estrateacutegias Metodoloacutegicas
Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas
Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados
534 Limitaccedilotildees
Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas
54 Toacutepicos sobre os Resultados da Auditoria
Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
52
auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida
As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados
Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor
As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees
As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante
Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo
55 Anaacutelise dos Comentaacuterios do Gestor
O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados
Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor
56 Conclusatildeo
A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
53
57 Proposta de Encaminhamento
A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria
Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees
58 Anexos
Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
54
6 PLANO DE ACcedilAtildeO E MONITORAMENTO
O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas
O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor
Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria
Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
MANUAL DE AUDITORIA OPERACIONAL
TRIBUNAL DE CONTAS DO DISTRITO FEDERAL
55
7 REFEREcircNCIAS BIBLIOGRAacuteFICAS
GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994
HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981
INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005
________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995
SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002
TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000
TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000
________ Anaacutelise RECI Brasiacutelia 2001
________ Anaacutelise Stakeholder Brasiacutelia 2002
________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003
________ Benchmarking Brasiacutelia 2000
________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000
________ Mapa de Processos Brasiacutelia 2000
________ Marco Loacutegico Brasiacutelia 2001
________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998
e-DOC FEF23134Proc 102092019-e
Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134
Top Related