notas e comentários1. Introdução:

2. o processo de avaliaçt1o;3. Os usos da avaliação;

4. O comportamento dos consultores: um modelo, , de simulação;

5..A pÓ!f-gradU4Çãovista pelas avaliações;6. Algumas conclusões.

Avaliando asavaliações da

Capes*

Cláudio de Moura CastroGláucio Ary Dillon Soares

1., INTRODUÇÃO

Este é um estudo na área da política educacional, descre-vendo e analisando a formulação, a avaliação e o aperfei-çoamento de instrumentos, de avaliação dos programas

,de pós-graduação existentes no Brasil, com implicaçõespara a alocação de recursos públicos.

Em meados de 1982, um momento de grande exci-tação na comunidade acadêmica brasileira foi provocadopela publicação da lista dos 56 cursos depôs-graduaçãoque obtiveram o pior conceito (nota E), na avaliação daCapes. Esse vazamento para O Estado de São Paulo, umdos mais tradicionais e respeitados jornais do Brasil, cul-minou um debate que obteve considerável espaço e co-res vivas na imprensa

A divulgação oficial, pela, Capes, da lista dos melho-res cursos (nível A) havia iniciado uma polêmica que ex-travasou os circunspectos muros acadêmicos. Em segui-da, a revistaPlayboy, em artigo sobre a qualidade do en-sino, referiu-se, reiteradamente às avaliações da Capes.Mas foi com as entrevistas ,dos indignados e vociferantesresponsáveis pelos cursos considerados "sem condições .-mínimas de funcionamento" que a controvérsia atingiuo seu clímax. Alguns chegaram Jl pensar que, estariaameaçado o sistema de avaliaçlo e as suas conseqüências

como mecanismo de si.,alização para o apoio fmanceiroâpõs-graduação, ' ,

Não obstante, tal teste perante o grande público ser-viu para consolidar a sua legitímídade junto àsagênciasfinanciadoras do sistema decíêncía e tecnologia bem co-mo perante a comunidade acadêmica. Confirmou-se, as-sim, a estabilidade e a robustez de um ambicioso sistemade avalíação da pós-graduação brasíleíra. É de se notarque tais incidentes coincidiram com o fínal da implemen-tação, na Capes, de uma série de mecanismos que vincu-lavam os auxílios a uma boa nota na avaliação. Mais ain-da, foram criados dispositivos que condicionaram o au-xílio aos bons cursos ao compromisso, das universidades,de definir uma política realista para os seus cursos maisfracos, em outros departamentos.

Devido à sua importância prática, o sistema de ava-liação da Capes passou a merecer a atenção de um públí-co mais amplo. Este artigo é uma tentativa de descreveresse sistema, bem como de apresentar uma série de exer-cícios estatísticos que buscam explorar a fidedignidadedos conceitos atribuídos por ele}

O .sistema de avaliação abrange todos os cursos demestrado e doutorado. A dimensão da pós-graduaçãobrasileira, com cerca de mil cursos, oferece um desafio e,ao mesmo tempo, possibilidades de análise quantitativainexistentes em sistemas menores.

Desde 1977, os comitês da Capes vêm avaliarido ca-da um dos cursos de mestrado e doutorado que operam 'no Brasikatríbuíndo a cada um deles uma nota ou con-ceito. Para:lelamente ao crescimento quantitativo da pós-graduação, os mecanismos de avalíação vêm aumentandoa sua abrangência, tornando-se mais complexos e cobrin-do um número mais amplo de dimensões ou critérios.

, A~ avaliações realizadas em fíns de 198'1, referentes. ao desempenho dos cursos de mestrado e doutorado bra-sileiro no período de julho de 1980 a junho de1981, de-monstram que há enorme variedade de desempenho,ha-vendo 292 cursos que obtiveram a nota máxima (A) e 56que obtiveram a mínima (E).

,Por motivos que ficarão claros ao longo do texto, a_ 'avaliação de cada curso é mantida em estrito sigilo, sen-

do apenas divulgada ao coordenador do próprio curso.Não obstante, exceção é feita aos cursos que obtêm con-ceito A - a dívulgação do seu nome se constituíría emum estímulo e I reconhecimento ao seu desempenho. Oanexo 1contém a lista destes cursos.

2.' O PROCESSO DE AVALIAÇÃO

\

Neste item, descrevemos os mecanismos de obtenção dasinformaçõesacerca dos programas de pós-graduação," asformas de registro dos dados e as visitas aos cursos. Emseguida; discutimos o funcionamento do sistema, suaaderência ao julgamento dos pares, seus critérios, priori-dades e o produto fmal.

2.1 A obtenção dos dados objetivos

O sistema de avaliaçlo da Capes separa o julgamento dos,cursos da coleta de tkdos, que é a matéria-prima para ojul~ento. Há um deliberado esforço em tratar, de for-

. A valillçt1er da Cape, . Rio delaneUo. 23(3)113-73 juL/set. 1983

mà estanque, dados.e julgamentos: os funcioná dos daCapes coletam os dados; os consultores externos .avaliam.Cumpre à equipe interna a busca de mformações, de.pre-ferêncíasistemâtícas, sobre os cursos, sua: depuraçlo ecritica Entretanto, somente. os:consultores, recrutadosentre renomados especialistas da comunidade acadêmica,julgam oscurs'os. Esta divislo de tr!lbalho é útil Os con-sultores não se preocupam com a coleta de dados; contu-do, as informações sítemâtícas, às vezes,contrariam osseus julgamentos iniciais. Por outro lado" o. seu conheci-mentode primeira mio permite identificar falhas nosdados que, corrigidas, aperfeiçoam o sistema.

DuraJlte a última década, a Capes teve que convivercom um aumento vertígínoso no n~ero de bolsas con-cedidas, passando de 1.043, em 1971, para cerca de 8mil, em 1981 -aumento que é comensurâvelcom a ex-pansão numérica da pôs-graduação que tem cerca de'j40mil alunos matriculados. O aumento, no número de bol-sas gerou sérios problemas para a operação dos mecanis-mos de concessão, As bolsas concedidas, para estudos em

'programas brasileiros podem ser administradas' pelo pró-.prío programa, transferindo para estes ,grande' parte daresponsabilidade na seleção dos bolsistas. De fato, quemconhece melhor o perfíl.de exigências para os alunos quecursarão, por exemplo, um determinado mestrado de ff·

, 'sícado estado sólido 810 os próprios professores desseI ,

curso.Assim, a questão de selecionar CIlndkJatos foi resol-

vida de forma descentralízada," Mas criou-se, ipsolacto.uma. necessidade de selecionar programas e, para cadaum deles, o número de bolsas que seriam distribuídas. Aorigem da avaliação da Capes responde à necessidade dealocar mais bolsas aos melhores programas - avaliar CU1'-sou. não candidatos.

A decísão de coletar dados primâriossobre a pós-graduação resultou da inexistência de opçCies, uma vezquenão havia dados sistemâticos, comparáveis e dispo-

, níveis. O instrumento utilizado, o Chamado relatório dapôs-graduação, vem sendo distribuído anualmente,de&ode 1977, a todos os cursos. Uma fraçA'o crescente vem'respondendo a esses formulários, atingindo hoje a quasetotalidade dos cursos de mestrado e doutorado. Aque~sque acompanham a transformação do processo de avalia-ção da Capes atestam que os formulãrios captam, cadavez mais, aquelas dimen~s consideradas qítiéas no pro-cesso de apreciar a maturidade e a excelência de um curoso de pós-graduação.

A qualidade das respostas é variável: respostas embranco,compreensA'o incorreta do que elitava!IeDdo. pe-dido, enganos, falta de registro no próprio curso e, fmal·mente, dolo e mâ fé do os problemas mais encontrados,por ordem' decrescente' de freqüência O treinmnto depessoal para preenchimento, asexortações e:a sofistica-.çA'0dos instrumentos' de coleta têm tido alguni êxito pa-ra melhorar a informaçfo. Nloobstante" foi a crescentepercepção das conseqüências administrativo-aClj.deIÍliCils'

"da avaliaçio que, nos últimos anos, acarretou enorme.melhoría das respostas, No ültímoano.. o formulário foi.substítuído por uma saída de computador individualiz.da para o curso, onde são deixados espaços pára o pre-enchímen 10 de informÍlç(les, bem como p.-aatuaJiqç"de outras que não mudam muito ~ano â 1Il0(reJaçfode professores, disclplinllS étc.). Uma vez-UanterltoS.,.

64

'faO compUtador,' os dados slo devolvidos ao curso emfi to diferente de apreseptaçfQ, pára que, sejam con-fe dós e a' sua correção atestadapelo responsável do

Esses procedimentos, que melhoram a qualidade daormaçlo e, reduzem as exigências de trabalho, passa-

a ser possíveis nos últimos dois anos, quando os ar-·vos de d~dos foramcomputadorizados, Note-se que

hâ "avaliaçã'o por computador", mas apenas o ar-q ·vamento dos dados. e uma 'aprescmtação mais apro-p da para o exame por parte dos consultores.

A carga de trabalho gerada pelo número elevado dersos, combinada com a falta de fanriliaridade dos con-

su teres com a forma de apresentação dos dados - a alta,ro tividade dos consultores é essencial ao sistema - toroo. muito importante a apresentação correta e visualmen-te apropriada dos dados. Premidos pelo tempo, muitosc ' sultores não podem deixar de se impressionar com

que apresentam um elevado número de professo-re , não tendo tempo para verificar que muitos são me-

te horístas ou, mesmo, alguns apenas convidadosa UIÍ1 par de conferências. Uma lista de publicações,

às vezes, .inclui muitos títulos apresentados em períõdí-que não poderíam ser considerados veículos de dísse-açfo científica. O processamento eletrônico dos da-

d s permite listar, separadamente, aqueles, professoresq e dedicam grande parte do seu tempo ao curso, distin-su· do-os dos horistas e dos. conferencistas visitantes, se-pa do-as publicações acadêmicas e científicas das de-'m ís, Toma-se, também, fácil a constru9A'0 de quadros eta las que permitem comparar diferentes cursos da mes-

área Fica, igualmente, registrada a ubiqüidade de al-sprofessoresque possuem "tempo integral" em vã-universidades, o que, infelizmente, é comum.

Um progresso importante nos ültímos anos foi a uni-fi lo dos instrumentos de coleta, que hoje abrangem.Ca S, CNPq, CFE e FINEP, reduzíadoconsíderavelmen-te o trabalho .de prestar infonnaçA'O, ao mesmo tempo 'qa permite concentrar esforços na qualidade da ínfor-

çlo gerada

Pretende-se Criar Uma memória da pôs-graduação,nvetgindo as informações disponíveis para um único. , na Capes. Essesprocedímentos já reduziram eonsí-avelmente a margem de erroe os custos ..

o ciclo de visitas

V rificou-se, por um lado, que a ínformação trazida pe.I consultores eraínsufícíente.para formular um relatõ-dcompleto; por outro ladb, o conhecimento de prímeí-ra nilo dos programas não pode ser substitu{do por in-formaçOesobtidas ,por um relatório. Visitas ocasionaisconfirmaram a importância desses contatos pessoais. Apartir de 1980, a Capes iniciou um ciclo bienal de.visitasde .consultoresaoScursos. Apesar do esforço, não foipossível realiur em 1981 mais do que 200 visitas, o quealterou a periodicidade w.s visitas que de fato passarama ser trienais.' As visitas foram iniciadas fora dos grandescentros, sóbretudo noscursos novos, que tendem a sermenos conhecidos. Essa prioridade mostrou haver consí-

,·de_I. deSCOOheciinento do trabalho promissor' realiza-cJc1Iik~nfluns PJoputlasde c:riaçA'omaisrecente.

2.3 Ojulgamento dos pares: amontllg."de·wnristema

Desde o início da avaliação em 1977, os pares tem sido aúnica fonte .dos julgamentoaB procedente comparar osistema da Capes com a tradição norte-americana de peerreviews, que vem sendo aplicada hâ muitas décadas e queé feita com base na reputaçiJo dos programas. Parte-se,nestes estudos, da hipótese de que os juízes dominam to-da a informaça:one~âria para julgar. Entretanto, o sis,-tema da Capes distancia-se de$~ paradigma porque ó ar-quivo de dados objetivos tem' uma utilização cada vezmaior no julgamento. Ainda MO houve, na nossa jovempós-graduação, tempo para que se desenvolvessem repu-tações que reflitam de forma fidedigna suas 'realizações.Os próprios avaliadores relatam, ao manusear os relatô-rios, seu desconhecimento do que muitos cursos vêm fa-.zendo. A disponibilidade de uma' base factual confiãvele bem apresentada reduz o chamado "efeito de halo".4

A gerência de uma carteira de consultores bem co-mo a sua escolha inicial apresentam. problemas. Por umprocesso de tentativa e' erro, a Capes chegou ao perfil doconsultor procurado: deverãser um cientista destacadoem sua área, tal como atestado pelo seu curriculum vitae,mas a experiência no ensino também é necessãría -oslobos solitãrios da pesquisa se revelaram ingênuos epou-CO à vontade nesse trabalho. Ademais, o gosto por essetipo, de atividades é essencíakcomo demonstram muitas'tentativas frustradas de se trabalhar com excelentes pes-quisadores que, desinteressados, são incapazes de con-centrar-se por algumas dezenas de horas nesse tipo detrabalho;

. Busca-se uma certa variedade naseleçfo dos consul-.tores, seja na orientação teórica, seja na origem geográfl-"ca .A experiência, contudo, demonstra a importância de

que o consultor represente apenas a sua própria consci-ência critica e nãogrupoaregíões.ou associaçOes. O eon-sultor não é chamado para defender o interesse da comu-nidade acadêmica, da sua universidade Gude sua própriaprofissão, mas para expressar, sem censura, suas convíc-.ções de cientista e cidadão bem informado.

Cada área do conhecimento tem uma lista de consul-tores e um presidente de comíssão, escolhido por um J?tríodo de doís anos, pelos seus próprios pares, e homolo-gado pelo Conselho da Capes. Desta lista original - que éelãstica e vai aumentando por sugestlo de seus pr6priosmembros - são escolhidos OS participantes das réuni(Jesanuais, prevendo-se que, em cada ano, apenas 50% dosnomes do ano anterior sejam repetidos. Esse limite dedois. anos impede o enquistarnento, bem como a organí-zação e ação de mecanismos de. presslo sobre os consul-tores. Entretanto, hâ uma t6cnica de trabalho e uma ua-diçfo, assim comocomPtu'açOes no tempo que SIo preju-dicadas pela estreiteza d\:>período. Com freqüência ou- \vem-se queixas de que, j6stamente quandO aprendiam atrabalhar, chegou o fím do período,nacomisslo.

Ligado à duração dos períodos estA.o papel da Ca-pes' de manter a memórÍllcdo processo. Na:o hâ ~bra qaneutralidade da intelVenção da Capes ao explicar, a cadaano, o funcionamento administrativo do sistema aos CÔIl:sultores; contudo\hâ uma ârea limítrofe de in~çãono estabelecimento dos critmos de avaJiaçló: A equipetécnica da Ca~s tran$Jlli~ a~ JNPO'4e ~ ••.

4~ dtI c:."".

.os cri~riose' as prioridades que vinham sendo utilizadosnos períodos anteriores. Transmite, também, comentá-rios, críticas e sugestOes oferecidos ou acumulados aolongo de um ano de diâlogo com os programas de p6~graduação. Indo mais longe, sugere mudanças de crité-rios, a partir de suas percepções acerca da evolução dapõs-graduaçãó, Assim, a partir de 1979, a direção da Ca-pes vem-se preocupando com o excesso de cursos e coma fragilidade de muitos deles, sugerindo aos consultoresque enfatizem a excelência dos cursos, mais do que o nú-mero de alunos titulados. Em outras palavras, não hâqualquer interferência na identificação de quem é me- .lhor; contudo, hâ um certo grau de interação entre a Ca-peis e os consultores na def'lIliça:o'das dimensões da exce-lência e 0\ peso a ser dado a essas dimensões. Comoexemplo, citaríamos a avaliação de 1981 quando a Capesinsistiu com os consultores das áreas aplicadas para quedessem maior atenção e peso a protótipos, patentes, no-vas técnicas. etc. Anteriormente, haviam sido feitas mui-

. tas críticas à ênfase exclusiva em. publicações, prejudi-cando os cursos orientados para realizações práticas.

Se, de um lado, os consultores .têm total liberdadede escolher, interpretar e ponderar os critérios comoqueiram, de outro, hã certa estabílídade dos critérios -mantida por tradição oral. Não obstante, hâ mudanças.Por exemplo, hoje há maior preocupaçfo em diferenciaro tratamento das áreas, em contraste com uma avaliaçãomais homogênea anteriormente adotada. Os critériosquantitativos, como o número de titulados são, hoje, me-nos importantes do que a qualidade do aluno e da pes-quisa. .

.A avaliaça:o Se materializa em conceitos(A, B, C,DeE; sendo A o maísaltojatríbuídos a cada curso. A co-missa:o indica também os critérios utilizados no seu jul-gamento e, em cada caso, comenta sobre cada uma dasvariâveis que utilizou ao avaliar o programa. São, tam-bém, aPresentadassugestoes e recomendações para oprograma. Portanto, o resultado da avaliação se consabs-tancia em um conjunto de conceitos e laudos comentan-do o desempenho de, cada programa de pôs-graduação,

. 3. OS USOS DA AVÀLIAÇÃO. \

NIo hhmbigüidades ou dúvidas quanto ao apoio que se-rá dado a um curso que recebe conceíto ã, ou mesmoB.Contudo, SQponha-~ que um curso obtém C, D ou E. .Otratamento que réceberãde uma q!ncia governamentaltem, naturalmente, a ver com 'as razOes que levaram aesse julgamento. Tem havido pressão, originada em uni-versidades em AJeas pouco desenvolvidas, por um trata-ineIlto mais genel'OlO para os cursos dessas regiões. Na·quele momento, a Capes def'miu sua política atràvés deuma metâf'ora ainda usada I)oje: "O termõmetro é o mes-.mo para todos os pacientes. O diagnóstico e a terapia p0-dem variar de acordo com o caso." Fica, assim, entendí-do que os critérios de avallaçlo nada ítm a ver com a his-tória do· curso, seus esforços.ou as dificuldades que en-contram. O tratamento-diferenciado que' se pode justif'i-car em muitos çasos nlo deve. contaminar a atribuiçlo doconceito. Oextraoldinério esforço deum grupo do Nor-destepo4e·._lOrapoiacío.mas;noj~ento do re-

65

sultado, .serâ comparado com todos os demais, reeeben-do um conceito que meramente reflete suas realizações.

O uso mais imediato da avaliaçlo é, exatamente,aquele que motivou a sua criação: a distribuiçlo de bol-sas. No caso das "bolsas de demanda social"! as quotasatribuídas a cada ma do conhecimento 810' alocadas pe-los cursos existentes, de forma proporcional ao concei-to. Assim, os cursos de nível A recebem 52% do totaldas bolsas; os cursos B recebem uma quota bem menor,29%; alguns cursos C podem receber uma quota residualou simbólica; os demais não recebem nenhuma bolsa. Oprograma PICD, fiel à sua.íntenção de desenvolvimentoínstítucíonal.valoca bolsas às ínstítuíções para que sele:cionem os seus melhores professores para cursarem mes-trado e doutorado no país.6 A seleção desses mestradosse faz dentre uma lista que contém apenas aqueles cursosde melhor qualificação no processo de avalíação. O cha-mado "listão Capes" contém os cursosA e, em áreas emque o número deA é insuficiente, algunsB.

A partir de 1981, o credenciamento de cursos depôs-graduação pelo Conselho Federal de Educaçlo pas-sou a utílízar as avaliações realizadas pela Capes, .Dlo ape-nas a última avaliação disponível no momento em que ocredenciamento é pedido, mas também as dos anos ante-riores, mostrando a trajet6ria do curso ao longo do tem-po. Ao aumentar a abrang!nciá' temporalem que o cursoé considerado, ao expandir o número de pessoas que visi-tam e opinam. sobre o curso, reduzem-se as incertezas, er-ros e arbitrariedades do processo de credenciamento.Ademais, os métodos de coleta de informações foramsimplificados e os procedimentos de visita e avaliaçloaperfeiçoados como resultado de discussão entre a Capese o CFE. Ao dar um parecer sobre o curso, o conseJh.eirodo CFE está hoje muito melhor informado e respaldado.

Também a partir de 1981, a discussão orçamentãríadas universidades federais passou a íncorporar uma con-sideração acerca do nível de qualidade da põs-graduação,tal como captado pelas avaliaçOes. Universidades comcursos de melhor nível receberam um tratamentoprivi-legiado na distribuição de recursos adicionais e em pro-jetos. Foi uma primeirà experiência e.:seria prematurojulgá-la de momento. 7

Finalmente, hâ um uso que se toma cada vez maisimportante e que tem muito a ver com o processo dele-gitímação da avaliação diante da comunidade acaderilica.Trata-se de levar ao conhecimento do curso, aos reitorese pró-reitores os resultados' da avalíação; bem como assugestões feitas pelos consultores. Esta é uma fertilíssi-ma fonte de atritos, tensões políticas e terremotos admi-nistrativos. Alguns cursos não aceitam os julgamentos. As-peros passados a seu respeito; outros consideram impro-cedentes as avaliàçOes. Pode haver· uma revisão da.av~

. liação. Em um número pequeno de casos, h~e e,quívo-cos ou ambigüidades QO julgamento. A baixa proporçãode erros identificados por esta auditoria aumenta a con~fiança imputada aos conceitos. Há apenas um ano que oslaudos de avaliação começaram a ser enviados aos cursos;seria leviano julgar o seu impacto em tempo tio curto.Contudo, em um número elevado de casos, jl houve cer-to impacto e, em alguns, ocorreram modificaç(Jes tangí-veis. Esta dimensão da avaliaçfo pode vir a ler a SQamaisimportante dimensão, a de aperfeiçoar o sistema.

66

'4. ~OCOMPORT.AMENTo DOS CONSULTORES:UM MODELO DE SIMULAÇÃO

Até aqui símplesmentedescrevemos o sistema da avalia-ção, No que segue, tentamos aplicar alguns procedimen-tos estatísticos com o objetivo de melhor entendê-lo etestar suas propriedades. .

Seja do ponto de vista de quem gerencia o sistema;seja do ponto de vista de quem é avaliado, o comporta-mento dos consultores é uma "caixa preta". Estes rece-bem instruções para identificar a excelência acadêmica,onde quer que esta se encontre. e dizer o que vem a serem cada QSO está excelência. Seu julgamento é fmal; sal-vo casos raros, hão é objeto de nova análise ou contes-'tação,

O .aprofundamento de episódios individuais - taiscomo o reexame de uma avaliação contestada - e a im-pressão daqueles que lidam com a avaliação é que ela fazsentido: os conceitos correspondem à reputação dos cur-sos. Isto, contudo, ainda é pouco.

Neste item apresentamos uma tentativa de simularou reproduzir o comportamento dos consultores atravésde um modelo estatfstíco, 8'Perguntamos se hã regulari-dades' observlveis no seu comportamento, se esse com-portamento pode ser descrito por um sistema de equa-ções e se ele é consistente com as suas prioridades decla-radas. Finalmente, até que ponto ele incorpora as variá-veis quantificâveis?,

Note-se que 1160 se trata em absoluto de um modeloestatístico de avaliaçlfo, onde é definido um algoritmoque atribuillÍtas ou conceitos a um curso. Pelo contrá-rio, trata-se de uma. tentativa de .modelar o comporta-mento dos consultores, istó é, reconstruir matematica-mente as suas formas de juJgamento. Os usos de tal mo-delo se restringem ao que aqui fazemos, oU seja, enten-der como operam os consultores.

Tal advertência é partícularmente importante 'por-que os autores deste trablllho entendem que avaliaçãonllo pode se reduzir a uma função mecânica, passível deser substituída por um modelo matemático. Não apenascada curso deverá ser ju1pdo em sua individualidade ecom suas idiossincrasias, mas esse julgamento deverá in-cluir componentes que:niopodem ser quantificados, taiscomo qualidadeda pesquisa, atmosfera, entusiasmo. etc.Esta observação nfo define apenas a posição da Capes,mas é estatisticamente confirmada pela anâlíse subse-qüente.

O modelo utilizado é bastante simples, o que se jus-tifica, antes de tudo, pelo nosso. desconhecímento dian-te da questão, Tomamos como variável dependente oseonceítos de A a E, tran.sformados em números de cincoa um. As vaiiações nesses conceitos deverão ser explica- .das por variaçOes de conceitos quantificlveis contidosnó relatbrio dos cursos.

A confJgUraçfo estatística mais õbvía para o modelo6 uma equação de regressfo linear múltipla por passosdas etapas (stepw;se). Nesta formulação, variações da va-riável dependente (as avaliaçOes) do associadas linear-mente às variáveis explicativas dos dados objetivos, bus-candO-$e aquela que melhor ajustamento oferece. Inter-rompe-ie a introduçlo de novasvarilveis no momentoem que a con~ibuiçfo de C(ualquenariável adicional dei-X4 de ler significativa. Eae proeedímento 6 exploratório

e .não um teste de hipbtéàes,porque nIÓ existe qualquerpressuposiçfo quanto ..à natureza ou à confJgUraçio dasvariiveis, isto 6, não hâ modelo a priori sendo testado.

Por ocasifo de uma reuiúlo de consultores, foi-11lespedido listar, por ordem decrescente de importância,aqueles' crítéríos que considezavam mais' relevantes ao'avaliar um curso. Cada área do conhecimento produziusua própria lista, usualmente contendo cerca de cincocrítéríos, Houve, em seguida, uma tentativa de consoh-dar estas diferentes listas, buscando-se denominadorescomuns de crítéríos de avaliaçlo. A comparação dessescrítéríos com aqueles produzidos implicitamente peloscoeficientes de regressfo permite testar a consistênciaentre o comportamento declarado e o comportamentoefetivamente manifesto na avaliaçio. Trata-se de questa'Ode forte ímportâncía para a legitimidade da avaliaçio.

As variâveis podem ser classificadas em três grandegrupos, onde cada grupo representa uma dimensão de ca-racterísticas dos cursos de pó5-graduaçfo:

a) grupo 1: "sistema de processamento de alunos";

b) grupo 2: "corpo docente do curso";

c) grupo 3: "produção científica do curso".

Assim, fazem parte do grupo 1 variáveis tais comonúmero de candidatos, número' de alunos novos, númerode alunos cursando disciplina, número de alunos elabo-rando tese, número de bolsas de estudo etc.; fazem par-te do grupo 2 variáveis tais como total de professores docurso, total de professores que possuem doutorado,totalde professores que possuem mestrado, número de douto-res em tempo integral, número de doutores que orientamtese etc. Finalmente, fazem parte do grupo 3 variáveistais como o número de livros publicados nopaís e no ex-terior, número de artigos publicados em periódicos na-ocionais e internacionais, número de .comunícações emcongressos no pais e no exterior, etc. No total;.38 variá,-veis "brutas" foram selecíonadas, A. estas foram adicio-nadas 49 variávei~ com~ostas, represen.tando í~di~s,obtidos pela combínação de duas ou mais das variáveiS"brutas", resultando um total ge...t de 87 variáveis. Onúmero de teses defendidas dividido pelo número totalde alunos novos, o número total de doutores divididopelo número total de professores, o número de artigospublicados' divididci pelo número de docentes são exem-plos típicos destasvatiáveis compostas.

Um número tão grande de variáveis não pode ser tra-tado em um modelo de regressio.· Equações tão grandessão muito instáveis, pouco confiáveis' e de difícil inter-pretação. Como procedimento preliminar, então, foi.ajustada uma matriz de correlação de ordem zero entretodas as variáveis, incluídas aí as variáveis dependentes.Embora seja possível utilizar procedimentos mais com-plexos ou sofístícados, optamos por simplesmente elimi-nar, em uma primeira rodada, todas aquelas variáveis quenão se correlacionassem quer com outras do mesmo gru-po, .quer com a variável critério. Eliminamos em uma se-gunda instância. aquelas cujos coeficientes, ainda quefortes em alguns casos, se revelaram irregulares ou incon-sistentes. Dessa forma, reduzimos a equaçfo para apenasnove variáveis independentes, o que é rqoivel para esae

AvaliaÇ<1e8 da Capa

tipo de modelo. Para se chegar a esse número, foi dadapreferência àquelas variâveis de baixa correlação entre si,a fim de evitaramuIticolinearidade.

A seguinte lista de variáveis foi utilizada no modelode regressão:

~ número de candidatos;

- número de alunos novos;

- total de bolsas de estudo do curso;

- í~dice de concentração de professores na área de co-nhecimento;

- número de doutores que orientam teses;

- número de publicações em periódicos internacionais;

- núm~ro de publicações em periódicos nacionais;

- número de comunicações em congressos no país;

-: número de comunicações em congressos no exterior.

Foram ajustado~ modelos para três tipos de séries es-tatísticas:

a) inicialmente, com o objetivo de maximizar o tamanhodaamostra, foram, reunidas as seis áreas do conhecímen- 'to analísadas" em um único grupo, agregando-se ao mes-mo tempo as avalisções de dois anos;

b) em segundo lugar, foi ajustada a equação para o peno-do de um ano;

c) por fim, foram feitos ajustamentos individuais porárea do conhecimento.

Esta última 6 a confíguração mais correta, do pontode vista teórico, em vista da falta de comparabilidade dascondições de trabalho e dos conceitos emitidos entreáreas diferentes. Todavia, apresenta problemas estatísti-cos práticos, resrltantes .de um número de cursos fre-qüentemente inferior alO.

Na primeira regressão, tomando todos os dados deforma agregada, o R 2 ou coeficiente de determinação -que expressa a proporção da variância da variável crité-rio explicada pelas variáveis incluídas na equação - che-gou próximo. a 0,50. Em estudos desta natureza esse po-de ser considerado um coeficiente bastante alto.

Contudo, uma inspeçfo inicial' da equação revelouum coeficiente de correlação parcial acima de 0,8 para avaiiâvel "total de bolsas". Na verdade, essa é uma relaçãotautológica, já que o número de bolsas 6 distribuído emfunção da avalíação, Foi repetida a equação, eliminando-seessa variável, caindo então o coeficiente de determinaçãopara 0,35. Repetindo os ajustamentos de forma separadade ano a ano, não houve diferenças consideráveis, mostran-do que nfo 6 insuficiente o número de observações deuni só ano e' que, também, não hi modificações consíde-riveis nos crit6rios e formas de avaliaçio, entre dois pe-

67

--'---~~~-~--~ ._-~~

ríodos anuais -, ou seja, as relaçOes do rUDavelmenteestiveis.

Portanto, temos Um conjunto de equaçOes com con-siderável poder de explicação. Note-se que o modelo 1140é testado em condições favoráveis, em conseqüência daheterogeneidade das ire~s reunidas, pelas diferenças d'critérios usados nas respectivas ireas e pela incomparabi-lidade métrica dos conceitos utilizados (um A em. físicanfoé a mesma coisa que um A em psicologia; no entan-to, a equação trata como se o fosse). .

, As equações feitas separadamente, por ãrea do co-nhecimento, revelaram coeficientes de determinaçlomuito mais elevados, situando-se próximos de 0,8, Nóentanto, a grande variabilidade bem como o peClU-~ota-manho da amostra tornam pouco confiáveis as conclu-

, SOestiradas de sua análise individual.

I A partir desses exercícios estatísticos cabe um bomnúmero de inferências:

a) o comportamento dos consultores é regular e",previsí-vel, As equações para o conjunto <lasireas explicam algo ,mais que um terço da varíêncíaVãrías que as tratam emseparado explicam muito mais;

, '

b) inversamente, mesmo nos casos mais favoráveis, hâum resíduo ~onsiderável de variãncia nIo explicada pe-las variiveis quantitativas. Isto. significa que wn modeloestatístico não poderá substituir o trabalho dosconsul-tores: os resultados do seriam equivalentes. O resíduQnão explicado pode derivar de erros de juJgamento dosconsultores, de variáveis não incluídas na equação(atmosfera de trabalho, motivaçlo.diferencial, qualidade

'. dos trabalhos .publicados etc.) e ~e outros.fatores, Nioé .possível, .nesse estAgio, identificar as explicações. RazOesheurísticas sugerem que é mais apropriado tomar o resí-duo como sendo gerado por variáveis não incluídas no v

modelo;

c) quando confrontamos as variáveis privilegiadas pelomodelo (aquelas que aparecem em primeiro lugar naequação de regressão) com as prioridades declaradas pe-los consultores, verificamos que, de fato, eles julgam oscursos pelas dimensões que haviam prívílegiado em sualista; em outras palavras, os critérios manifestos e oS,cri-térios efetivamente utilizados coíncidem ..

S. A PóS-GRADUAÇÃO VISTA PELASAVALIAÇOES \. ,

O que ficamos sabendo da pós-graduação por fia das ava-liações? Os modelos mencionados e um exercício Qeaná-lise fatorial, realizado subseqüentemente, permitem umaanãlísebastante útil da pós-graduação, de seus proble-mas, bem como uma, discussão de limites e çontrovérsíasda avaliaçlo.

5.1 O perfil da excelência

O grau de excelência imputado a um ÇlJrSO,qualquer quf.seja o momento ou. irea, do conhecimento,' tem .a vercom alguns critérios estáveis: .

68

.a) 'tompethu:ia PfO/lltióftaJ doldocehtes (evidenciadapor sua titulaçio ou qualificações equi\ralentes); .

• 4t,

b) dedicaçfo efetiva dos professores ao curso, sobretudoaqueles que atuam no próprio núcleo disciplinar do pro- .grama (e~ oposiçlo. àqueles de áreas 'ínstrumentaís oudomínios bort~os);

c) produção çientífica do curso (qualidade, volume, re-gularidade de artigos em reviStas científicas, livros, pu-blica~s, ianais de congre§Os,relat6rios de pesquisa).

,

Dent~ deste marc~ de referência, geral, emergem asidióSsincr.sias das âreas do conhecímento. 'Em algumas,como sociolo~ aspubliC8ÇÕes nacionais 810 privilegia-'das; em oatras, como químiça, as intemaci,onais. O rit-mo de produção, tal como captado pelo número de artí-sos,'6 extremamente varíado, contrastando-se, por exem-plo,.a rna~mática com a botâníca,

Nio obstante; a exístêncía de variáveis cu~a influén-cia 6 fort." qualquer que seja fi área cOMiderada, indicac1arament, que a exCelência nlo se faz com ingredientestio distin~os de uma Areapara outra, embora haja algunstemperos prbprios, defmindo o sabor de cada área.

l!.de se notar que, embora os indicadores quantita-tivos u~dos captem diferentes dimensões da qualida-de, estes ab apresentam associados entre' si. Por exemplo,cursos com mais doutores em tempo integral publicamqWs. BO~ resultados em Um índíeador aumentam a pro-babilidade! de que. se .observem resultados favoráveis emoutros. .

. A p6$-graduaçlo produz pesquisas e pessoas capazesde realiz.~. ÁpesquiSà, na verdade, termina sendo umindicador ~ tangível do resultado do curso. Teses epesquisas prodUZidas no programa podem ser contadas etabuladas. Estas sIo, em princípio, medidas puramentequantitativas da produçlo .,.. enio haverá pejo em admí-ti-lo ..Nlo obstante, há certos controles de qualidade imoplícitos ne.ssasm~didas: os peri6dicos científicos mais sé-,rios têm comitêse~toriais muito severos; o mesmo se dácom as boas e~toras comerciais; bons congressos e semi-Dirias examinam as contribuiçGes enviadas antes de aceí-tá·las. Assim, com algUm cuidado na classificação da en-tidade que publica, é possíVél estabelecer limites de qua-lidade. cuja importãncia nloé desprezível. Nossos resul-tados estatísticos confirmam o enorme peso que a pro-duçfode pe~isas e teses tem tido sobre a avalíação efe-tuada pelos Consultores.

Ao contrãrío do que pensaram. atiUns críticos maisingênuos, aquelas variáveis que buscam capturar caracte-rísticas do processo de ensino não tiveram maior poderexplicativo. Estatísticas de funcionamento do. curso, talcomo as relações entre alunose'professores e as cargas deaula, têm pouco poder explicativo. Analogamente ao quetem sido. observadopara as escolas de- 19 e 29 graus, nãohá as~açlo estatisticamente forte entre a qualidade do .produto e uma enorme. variedade de medidas desse tipo.Nio obstante, hã uma exceção: o regime de trabalho dosprofessores de mais alta qualificaçl'o.Emergem comomelhores programas aqueles onde seus mais notáveis pro-fessores trabalham em tempo integraL A qualidade do .p~ depende mais de um· núcleo dê professores al-t_oate 'qualificados; que trabalham em dedicaçlo ex-•. ' .\

I

J

clusiva, do que de um 8rande número de professores me-nos qualificados.

\

Cumpre .mencíonar a aus6ncia de algumas variiveisperfeitamente quantificiveis nas anâli.sesrealizadas:

. ..a) a experiência norte-americana revela uma forte assó-cíação entre o acervo das bibliotecas eqJecializodas se~-vindo ao curso e a sua reputaçl'o. EventUalmente, essàinformação poderia ser coletada para.o caso brasileiro;"" ..

b) há forte heterogeneidade nas exígêncías de qualidadede periódicos científicos. Sabe-se que publicações em pe-riódicos mais exigentes refletem em média um nível su-perior de qualidade do trabalho. Esta triagem e a\'alia-ção está sendo realizada na Capes, visando melhorar omodelo;

c) as citações e referências a trabalhos, pesquisas e publi-éações de professores e alunos do curso Slo um critérioimportante, passí~l de lncorporação, Agregam uma. di-mensão qualitativa, ainda que ela também seja quantíâ-~vel, ao número de publicaçOes significarido a aceitaçãopor, e o impacto sobre, outros profissíonaís e cientistasda mesma área;

d) fmalmente, há urna varíãvel da maior importãncia,que é o destino profISsional dos graduados. Obtêm bonsempregos? São férteis produtores de ~encia?Pr()gridemna carreira? Estio sendo realizados estudos de acompa-nhamento de formados que, no futuro, permitírão, pelomenos em parte, responder a essas perguntas.

O porte ou tamanho do curso foi exáminado deduas maneiras. Através da anâlise fatorial vel'ificou-seque o número de alunos e a.produção discente ti~ramforte impacto sobre a avaliação até 1977; isto é, récebérmuitos alunos e graduar também muitos era consíderadouma das medidas de excelência. A partir de então, °po-der explicativo deste conjunto de variâveis caiu, passan-do a ser pouco significativo em anos recentes. Isto refle-te, claramente, a.cresêente preocupação com a qualidadee uma a tenção menor para a capacidade de receber e ti-tular alunos. Fica destruído um mito da avalia,çlo, quesobrevivia na cabeça de alguns.

Não obstante, há uma outra dimensão do· tamanho,indiretamente captada pelas matrizes de-correlação. Asvariáveis de produtividade cfentífica foram definidastambém em termos per capita. Curiosamente, as variâveisper capita revelaram-se sempre fraquíssimas, em confron-to com as suas contra-partidas defmidas em termos abso-lutos. Em outras palavras, um curso é bom pelo volumede publicações e não pela produtividade de cada um dospesquisadores (média anual, comparativamente muitobaixa, de 0,4 artigos .por docente). A rttédia dacompe-tência dos professores pesa muito menos do que a pre-

. sença de vários professores altamente competentes. Se otamanho não está sendo valorizado, .como demonstra oparágrafo anterior, tampouco as versões compactas rece-bem aplauso.

Por via •da análise fatorial, foi possível identificaruma aparente disfunção na distri~uiçio de produçl'o ci-entífica. Revelou-se nma separação tentre .os progrlUJlUcujos membros participam. atiVlUIlOntede cons.feuo,.·.A IIfllia~, diz Cape'

all:SQ& etc. e os queesCl'evem u-iros e artigos. Assim, adiscriminaçfo importante não é entre programas partici-pantes e programas inativos em Um fator geral de partici-pação na. produçlo .. Comointerpretar essa ~ssociação? .Estaria 8I1arecendo uma nova forma de produção docen-te: a participaçfo em congressos e similares, que nIIo con-duz ao aumento da produção docente em forma de arti-gos e livros? Seria esta forma um fím em si? Talvez esteseja um estllgiopreparat()rio para um período subseqüen-te de produção mais sólida, mas isso não pôde ser decidi-do pela' anãlíse do~'dados disponíveis. 11 dif{cil aceitar alegitimidade desta forma de produção docente, parti-cularmente para os que estamos acostumados com mo-dalidades tradicionais. 11 bem verdade que ela permite aprodução de trabalhos curtos, típicos 'das 'comunicaçõesem congressos, Estes, sejll pelo seu conteúdo, seja pelofôlego limitado do autor, nio encontrariam um caminhopara outras formas ,de publicações. Ou seja, permitiria apublicação de trabalhos que, de outra maneira, não se-riam publicados, além de expor os participantes a novasidéias. No entanto, na medida em que estas publicações

4igeiras compitam Com as outras' mais tradicionais, elasserlo contraproducentes. NeSse sentido, parece que hou-ye. um excesso de recursos para seminários, encontros,etc. e uma escassez de- tempo e recursos humanos paraprepará-los adequadamente. Isto aumentou a velocidadedas demandas sobre um universo ainda relativamentepequeno de pesquisadores que foram levados de um me-nor número de publicações de maior. fblego e qualidadea ummaíornümero de comunícaçõesde men •..r fôlego equalidade. A· necessidade de preparar outra pequena co-:municaçfo para econgresso ~guinte impediria o apri-meramente das anteriores. A publicação dos anais e atasdo congresso anterior seríaurn desestímulo à sua trans-formaçl~ em obras de maior fôlego. A questão preo-cupa.

Nota-se que as yàriáveisque tratam da produção delivros e artigos nacionais aparecem juntas como um fatore as variâveis da produção de livros e artigos internacio-nais aparecem juntas em outro fator, separado do primei-ro. Ao. que parece, o fator "publicações internacionais" .

. reflete simplesmente o fato de que; em algumas disci-plinas, é tradiçlopubli<1U' fora do país (ciências físicas e 'biológicas, por exemplojao passo que, em outras, é tra-diç!opublicar dentro do país (ciências sociais, por exem-plo). A distinçã'Oentre os fatores seria, portanto, explicá-vel 'por serem.lJlgumas áreas voltadas para um públicobrasileiro e. outras para um externo. Póssivehnente, de-vido a sua pequena freqüência de ocorrência, a produçãode livros (tanto a nível internacional como nacional) tem

.. fraca correlação com a produção de artigos. Ademais, aprodução delivros-textonãoestá necessariamente asso-ciada à criatividade científica e a forma atual de coletan~o pemute diferenciar entre livros-texto e livros "depesquisa" .

A análise fatot:ial captou um fator de "docência" e,um outro de "endogenia". Há um perfil de mestradosacadêmicos recrutando preferencialmente docentes, emcontraste com os mestrados profissionais que se dirigempara um mercado de trabalhoextra-acadêmico. Há, tam-

. bém, um perfil de mestrados que recrutamuma pereen-tasem .re14tivamente alta de alunos entre docentes di!. .própria .instituiçlb.Em l'!er4ac:\e.suspeita-se que vários

69

programas de pÓlrgraduaçl'o foram criados em conse-qüência das pressões do seu próprio corpo docente, nosentido de obter títulos de p()s.graduaçl'o. Observou-seforte assocíação entre este fator de endogenia e o fator"docência". Como esperado, endogenia 'não contribuipara a qualidade de cursos, apresentando uma pequenacorrelação negativa com o fator "avaliação" (-0,14 comendogenia e -0,007 com docência); A análise das regres-sões com as avaliações individuais ano a ano, de 1977 a1980, indica que esses dois fatores foram influências ne-gativas, mas que podem ser negligenciadas, na avaliaçãoda qualidade dos cursos.

5'.2 A evolupfo no tempo da pOs-graduação

o desvio-padrão das avaliaçOesé uma medida de variaçãona qualidade percebídarquanto-maís baixo, menor, a va-riação das qualífícações recebidas pelos cursos avaliados.Houve, de 1977 ao presente, uma dímínuíção consíderâ-vel e sístemãtíca do desvio-padrão entre as avaliações.

Em 1977, o desvío-padrão foi de 1,95, baixando acada ano (1,91; 1,82) até chegar a 1,52 em 1980. Essatendência poderia ser explicada de diferentes maneiras:. /

a) uma elevação do teto inferior da-qualidade dos cursosde pôs-graduação, devida às exigêncías e pressões de ôr-gãos como o CFE, a Capes etc, Os piores cursos tende.riam a elevar o seu nível (foram relativamente poucos oscursos que fecharam), reduzindo-se o desnível por baixo:

b) ou houve um abaixamento do nível dos melhores curo,sos, tendendo todos à média Essa interpretação é nega- .da pela elevação das médias das ava1iaçOes;

c) ou houve um "achatamento" das avaliações, com aelevação das qualificações dadas aos cursos píores e mé·díos (e não com a baixa das qualificaçOes dadas .aos curosos altos), Essa interpretação é consistente tanto com aelevação das avaliaçOes médias, quanto com a diminui-ção dos desvios-padrão.

As avalíações de um ano se correlacionam com as deano seguinte; poder-se-ia explicar parte da concordânciadas ava1iaçOesde ano a ano pela duração do mandato dospresidentes de comissões de consultores que avaliam oscursos: dois anos, Supondo que eles influenciam tanto aseleção dos demais avaliaderes quanto e andamento dostrabalhos, haveria uma téndêncía de cada presidente adar a mesma avaliaçle ao mesmo curso em deis anos'consecutivos. Essa tendência seria parcialmente contra-balançada pele fato de que parte dos avaliadoj:es muda acada ano, Cemputando as correlações consecutivas(1977com 1978, 1978 com 1979 e 1979 com 1980), ve-mos que a média das correlações é + 0,64, ao passo queas correlações entre os anos não consecutívos é de +0,54.Isso nos diz que parece haver uma tendência dos avalia-deres a repetir e conceíto dado no ano anterior, mas essatendência não é fundamentalmente maior de que a con-sistência encontrada entre avaUaçOesseparadas per doisanos eu mais. Para defender essa interpretação é neceSsá-rio aceitar que os avaliaderes antígos influenciariam osnovos, o que encontra apoio nos estudos sobre e com:portamento de peflUenos griapcls.

70

----_._~-------

6. ALGUMAS CONCLUSOES

1. O nível dos cu"?s de p6&.graduação não se altera radi-calmente de ano a ano, e isso é captado pelos avaliadores.

2. Entretante,.há mudanças razeáveis nas avaliações,uma vez.que a magnitude das correlações entre anos con-seeutívos é apenas razoével (média de +0,64).

,3. Ao cabe de quatro anes, há modificações considerá,veis nas avaliações, refletindo, talvez, modíãcações con-tínuas nos cursos de pés-graduação. O coeficiente de de-terminação das avaliaçOes de 1980 pelas de 1977 é deapenas +0,26, ou seja, as avaliações de 1977 explicamapenas 26% da variância das avaliaç(Sesde 1980. Os 74%restantes deverão ser explicados per motivos não capta-dos eu íncluídos nas avallaçOes de 1977, inclusive as mo-dífícações reais ocorridas posteriormente.

Desde 1977 at6 1980, a média das avaliações temaumentado de forma sistemâtica: de 2,47 em 1977 até3,33 em 1980. Há muitas explicaçOespara esse fenôme-no, entre as quais sublinhamos as seguintes:

a) uma elevação real na qualidade dos cursos, captada pe-los avaliaderes;

b) uma elevação real na qualidade dos cursos, devido àcríação de novos cursos de alto nível;

c) um relaxamento dos critérios de avaliação;

d) uma combínação das anteriores.

, Pederiâ estar havendo uma elevàção real naqualida-de dos cursos. Esta explicação colide com as crescen tesreclamações sobre a "prostítuíção" da pôs-graduação.Não ebstante,essa impressãO pode ser falsa. Os dados so-bre o número de doutorese Iivre-docentes sugerem umaelevaçãO' da qualidade do corpo docente; entretanto, osdados sobre os crit6rios de aceitação e de aprovação dosalunos sugerem um declínio na qualidade do corpo dis-eente. Surge, então, a possibilidade de que um corpo do-rente cada vez mais qualifICado esteja produzindo alunoscada vez menos qualificados. NãO'obstante, a mesma dú-vida paira sobre a ,qualidade dos títulos doutorais e livre-dÓcéntes: terá a elevação de número provocado uma re-d~ na média dá qu;tlidade? Claro, estas são conjeturase, à falJa de dados, permanecem como tais.

Uma elevaçlo de qualidade devida à criação de no-vos cursos de alto nível tampouco encontra apoio, [âque os novos cursos geralmente tem deficiências que so-mente cem e tempo são sanadas. Uma artâlise mais deta-lhada dÕs dados poderia verificar se os cursos mais recen-tes obtem melhor avaliação. Além disso, osnovos sursosraramente recebem avaliaçOes muito altas.

As difÍculdades com as interpretações anteriores dãocerta força à quarta hipótt.e, o relaxamento dos críté-nos, que seriam cada vez menos exigentes. Entretanto;essa jnterpretaçlo pennanecell conjetural at6 que dadosipdependentes !ial avaliaçOes demonstrem que a qualida-dedos cursos nlo se eleva, ou se eleva menos do que asa~ .

Conceitos Conceitos21:? 21:? 21:? 2? 21:? 21:?

Nome do curso 'Níwl Instituiçio sem. sem. sem. Nome do curso Nível InsUtui.çfo sem. sem. sem.1978 1979 1980 ' 1978 1979 1980lI:? lI:? lI:? lI:? lI:? lI:?

sem. sem. sem. sem. sem. sem.1979 1980 1981 1979 1980 1981

Geociências M/D m;'RGS A Engenharia civil M PUC/RJ A A AGeologia M UnB A Engenharia deMicrobiologia e estruturas M USP/SC A A Aimunologia M/D EPM A A A Engenharia civil M UFRGS A A A

Biologia molecular M/D EPM A A A Engenharia elétrica M UFRJ A A ABiofísica M/D UFRJ A A A ' Engenh8ria elétrica M PUC/RJ A A ABioquímica M/D UFMG A A A Engenharia elétrica M USP A A ABioquímica M/D USP A A A Engenharia elétrica M/D Unicamp A A ABioquímica M USPjFMRP A Engenharia elétrica M UFSC A A AEcologia e recursos Engenharianaturais M UFSCAR A mecânica M UFRJ A A A

Ecologia M Unicamp A Engenharia.Farmacologia M/D USPjFMRP A A A mecânica M/D Unicamp A A AFarmacologia M/D EPM A A A EngenhariaFisiologia M USP A A A metalúrgica,e deFisiologia M USP/FMRP' fi A A materiais M/D UFRJ A A AGenética M/D USPjFMRP A Engenharia'Genética M/D UFRGS A A A metalúrgica M UFMG A A I AMicrobiologia M/D UFRJ A A A Engenharia nuc.Histologia M/D USP A plano energético M UFRJ A A A'Morfologia díol, Tecnologia nuclear M USP Acelular M/D USPjFMRP A A A Reat nuc. e tecn.

Parasitologia M/D UFMG A A A comb. nucl. M USP ASociologia M IUPERJ A Engenharia deSociologia M/D USP A A A produçfo M UFRJ' A A ASociologia M UnB A Engenharia deAntropologia social M/D UFRJ A A A produçio M PUC/RJ A A AAntropologia social M/D USP A A A Engenharia química" M/D UFRJ A A AAntropologia M UnB A A A ' Patologia humana M UFBA A A ACiência política M Iuperj A A A ),fedicina social M UERJ ACiência política M UFMG A A A Patologia J.f/D UF),fG A A ATeologia M/D PUC/RJ A A A Oftalmologia D UFMG A A AFilosofia M/D USP A Medicina prev~ntiva M/D USP A A ALógica e filosofia da Pediatria" M/D USP A A Aciência M/D Unicamp A A A' Reumatologia M/D USP A

Geografia M UFPE A Patologia humana M/D* USP/FMRP A A AGeografia M UFRJ A , Clínica cirúrgica M/D USP{FMRP A A AGeografia física M/D USP A TocoginecolOgia ),f/D USPjFMRP A A AGeografia humana M/D USP A Clínica. médica M/D USfjFMRP A A AGeografia M Unesp A Medicina preventiva M/D USPjFMRP A' A AEconomia industrial Neurologia M/D USP/FMRP Ae da tecnologia M UFRJ A A A Oftalmologia M/D USPjFMRP - A

Economia do setor Pediatria M/D USPjFMRP A A Apúblico M PUC/RJ A A A Bases gerais cír,

Economia M FGV/RJ A e cír; exp. M/D Unesp A A' AEconomia M USP A A A CinugiaEconomia M, Unícamp A A A cardiovascular M EPM AEconomia M UnB A A A EndocrinologiaEconomia rural M UFRGS A clírtica M/D EPM AEconomia agrária M Usalq A Nefrologia M/D EPM A A AEconomia rural M UFV A Otorrinolaringologia M/D EPM APsicologia M UFPE A Pneumologia M/D. EPM A A APsicologia Pediatria M UFPB Aexperimental M/D USP A Pneumologia M UFRGS A A A

Psicologia escolar M/D USP A Medicina tropical M UnB APsicologia M UnB A A A Odontologia M UFRJ A A AEngenharia Odontologia social M UFF Abiomédica M UFRJ A A A ClínicasEngenharia civil M UFRJ A A A odontoI6gicas M/D USP A

72 Rwiltll de Adminilt1rlç4o de Empre8ll8

/ _._ .. ~------ ,

-~-----_ .... ------- -~~ --- .- -----------~-_. __ ._- "

Conceitos Conceitos2? 2? 2? 2? 2? 2?

sem. sem. sem. sem. sem. sem,

Nome do curso Nível Instituição 1978 1979 1980 Nome do curso Nível Instituição 1978 1979 1980I? I? I? I? I? I?

sem. sem. sem. sem. sem. sem.1979 1980 1981 1979 1980 1981

Ortodontia M USP A ParasítologiaOdontopediatria M USP A A A veterinária D UFRRJ A A A

Diagnóstico oral M/D USP/FOB A A A Medicina veterinária M UFSM A

Odontopediatria M USP/FOB A A A Ciência e-tecnologiaOrtodontia M USP/FOB 'A de alimentos M UFV A

Reabilitação oral M/D USP/FOB A A A Ciência dósOdontologia M Unicamp A A A alimentos D USP A A A

Odontologia M Unicamp A Ciência deOdont. Dentíst. alimentos M/D Unicamp A A A

restauradora M Unesp A A A Tecnologia deOdontopediatria M Unesp :A A A alimentos M/D Unicamp A A A

Odontologia M Unesp A A A Anatomia dosAnálises clínicas M USP A A. A animais

Análises domésticos M USP A

toxicológicas M USP A A A Letras e lingüística M UFPE A

Farmácia M UFRGS A Letras vemáculas M/D UFRJ A A A

Enfermagem M UFRJ A A A Ciência da literatura M/D UFRJ A

Enfermagem M USP A Letras M/D PUC/RJ A

Enfermagem M EPM A Letras M UFMG A

.4dministração M UFRJ A Letras M UFRGS A

Administração Filologia e línguapública M FGV/RJ A portuguesa M/D USP A

Administração M USP A Literatura brasileira M/D USP A

Administração M FGV/SP A LiteraturaDireito M UFSC A pertuguesa M USP

..A

DesenvolVimento Teoria literária eurbano M UFPE A literatura'

Planejamento comparada M/D USP Aurbano e regional M UFGRS A Teoria liter;lria M Unicamp- A

Serviço social M UFPB A Literatura M UnB A A AAgronomia M UFRRJ A A A Lingüística M . Unicamp A A A

Fitotecnia M/D UFV A A A Lingüís*a aplicadaFitopatologia M/L** UFV A A A ao ensino deGenética e línguas. M PUC/SP A A Amelhoramentos M/D UFV A A A

Fisiologia vegetal M UFV A A A *Recebeu conceUoA em doutorado em 1980/81.

Engenharia agrícola .M UFV A A A ·*Recebeu conceítovt em doptorado;em 1981.

Solos e nutriçãode~lantas M UFV A

Fitotecnia M ESAL A A AEntomologia M/D .* USP!Esalq A A AFitopatologia M/D** USP!Esalq A A A

Fitotecnia M USP!Esalq· A A AGenética emelhoramento de A Funa "plantas M/D ** USP!Esalq .4 A A SUa . aÇaoG '

Solos e nutrição de nOvat .etU{plantas -M 'USP!E~ A A A

O nOme' Ivrariano 10 Vargas r .. Freitas Ce e mesmo' ~entro do R~abrlu

Produção vegetal M Unesp A A antig, 'A]j' 10.Fitopatologia M UnB A A A ranha) arnente' elXeirCiência florestal M UFV A A- A AV: Pre .mas O IDe I ,na Av, G a de

Engenharia florestal M USP/Esalq' A A ASldente I4lZa eQ,Utro' raça

ISDn 2. .Engenharia florestal M UFPR A A A ' '28~A.

Economia rural M UFV AEconomia agrária M USP!Esalq AEconomia rural M UFRGS ;AZootecnia M UFMG . A. A AZootecnia M/D UFV A A AZootecnia M UFSM A

AvalÚlç4'oesda CapeI 73

-----_.-------" ---~---