Educação Superior: Quem saiu reprovado da avaliação? (1^a Parte)

Com a divulgação de novos resultados dos indicadores de qualidade da Educação Superior – ICG, CPC e ENADE – muitos comentários surgiram sobre a qualidade em geral das Instituições de Ensino e até mesmo medidas restritivas do Governo Federal acabaram sendo impostas àquelas que tiveram notas mais baixas.

Porém, a política de avaliação de cursos e de instituições é equivocada e ilegal. Por isso, o que deveria estar sendo reprovado neste momento é a má utilização de indicadores pouco confiáveis e, eventualmente, o uso político de resultados precários – ou, como se lê no próprio nome do indicador de avaliação de cursos, “preliminares”.

Digo isto porque existem, no mínimo, três motivos para que sejam reconsideradas a forma divulgação e as medidas restritivas do Ministério da Educação:

-          A fragilidade/imprecisão dos indicadores utilizados;

-          A ilegalidade da avaliação feita exclusivamente por critérios estatísticos;

-          A inexistência de previsão legal das ditas “medidas cautelares” aplicadas pelo MEC;

Neste artigo tratarei do primeiro motivo, ou seja, do problema da imprecisão dos indicadores utilizados para classificar as instituições como boas ou ruins.

Os indicadores usados são o Conceito ENADE, o Conceito Preliminar de Curso (CPC) e o Índice Geral de Cursos (IGC). O primeiro deveria avaliar o desempenho dos estudantes, o segundo a qualidade dos cursos e o último a qualidade das Instituições.

O ENADE é o resultado de uma prova feita por uma parte dos alunos da Instituição (área de Saúde, área de Exatas ou de Humanas, por exemplo), sendo divulgado anualmente, apenas para os alunos e cursos que foram avaliados naquele ano. Trata-se de uma prova padronizada, aplicada aos estudantes ingressantes e concluintes dos cursos superiores, que, apesar de sua importância para as Instituições de Ensino, não interfere no conceito individual destes alunos (o resultado da avaliação não consta do histórico).

O Conceito Preliminar de Curso está relacionado à prova do ENADE, ao questionário preenchido pelos alunos que fizeram o ENADE e ao cadastro de Docentes do curso (usado para avaliar percentual de doutores e mestres, além de constatar a existência ou não de regime de trabalho integral ou parcial desses professores).

Segundo a legislação educacional, a divisão dos pesos de cada variável do CPC é a seguinte:

Na prática, o CPC, nada mais é que a “soma” do resultado da prova do ENADE, com a opinião dos alunos sobre laboratórios e planos de ensino, mais a situação dos professores. Uma verdadeira mistura de dados de natureza diferente, que se concentra nos alunos – percentual de 70% para desempenho e opinião – e pouco revela da estrutura e projeto pedagógico dos cursos.

Como se vê, há uma inconsistência no índice que deveria, em tese, medir a qualidade do curso, não o desempenho dos alunos e suas opiniões.

A distorção na avaliação do projeto pedagógico é de tal monta que apenas uma resposta do questionário preenchido pelo alunos na época do ENADE (sobre planos de ensino) reflete no CPC como a nota de toda a dimensão didático pedagógica. O mesmo acontece em relação à infraestrutura, pois uma pergunta sobre equipamentos para aulas práticas, se bem respondida pelos alunos, dá a instituição nota máxima neste quesito.

Não bastasse isso, a questão docente, única variável que depende especificamente da instituição, valoriza excessivamente a titulação (doutorado, em especial) e o regime de trabalho. Esta postura despreza outras qualidades dos professores e cria um viés favorável ao modelo já adotado pelas instituições públicas.

Com base numa média ponderada deste índice de cursos, surge o Índice Geral de Cursos (IGC), o qual, além de ser contaminado por todas as inconsistências do CPC ainda comete o erro de misturar notas de cursos recém avaliados com cursos avaliados há 3 anos atrás.

Em resumo, os indicadores de curso decorrem de dados sobre os docentes (30%), da nota de uma prova sem grande relevância para os alunos (60%) e de duas respostas destes estudantes num questionário de opinião (10%). E o indicador institucional é uma média destes indicadores de cursos emitidos em anos diferentes. Obtidos estes indicadores na forma de média, são os mesmos convertidos em valores padronizados por faixas de 1 a 5, sendo consideradas satisfatórios os resultados três, quatro ou cinco.

Este quadro revela a possibilidade de grandes injustiças, pois um curso no qual os alunos, por desinteresse (ou por discordar das mensalidades, por exemplo), não respondem as questões das provas e as perguntas dos questionários (ou respondem de forma muito displicente) podem obter uma nota inferior a 3. E isto poderá ocorrer mesmo que a instituição invista muito para ter todos os professores doutores em regime integral, um projeto pedagógico de grande qualidade e uma infraestrutura espetacular.

E, pior, mesmo que a instituição possua uma excelente infraestrutura e o curso possua um excelente projeto pedagógico, duas respostas sem compromisso ou erradas dos alunos no questionário socioeconômico podem subtrair até 10% da nota do curso.

Portanto, não é difícil observar que a avaliação baseada em indicadores resultantes de analises estatísticas e, tal como foi o PROVÃO, baseada primordialmente no desempenho dos alunos numa prova é imprecisa. Além disso, esta avaliação acaba se mostrando frágil porque, em muitos casos, a visita da comissão de especialistas demonstra que as condições de oferta dos cursos são bem melhores do que os indicadores do MEC demonstraram a priori.

Por este motivo, talvez, a legislação educacional expressamente prevê a obrigatoriedade da visita in loco. Esta obrigatoriedade será o tema da segunda parte deste artigo.

------------------------------------------------------------------------------------------------------------------------------

Educação Superior: Quem saiu reprovado da avaliação? (2^a Parte)

Na primeira parte deste artigo afirmei que "a política de avaliação de cursos e de instituições é equivocada e ilegal”. Para fundamentar esta afirmação apontei três motivos:

-          A fragilidade/imprecisão dos indicadores utilizados;

-          A ilegalidade da avaliação feita exclusivamente por critérios estatísticos;

-          A inexistência de previsão legal das ditas “medidas cautelares” aplicadas pelo MEC;

Na primeira parte do artigo cuidei da imprecisão dos indicadores. Neste momento, meu foco passa a ser a ilegalidade no uso exclusivo de análises estatísticas, ou melhor, cuidarei da obrigatoriedade da visita in loco na avaliação de cursos.

Inicialmente, é importante observar que o próprio nome do índice usado para divulgar amplamente uma suposta avaliação dos cursos superiores demonstra que houve apenas uma avaliação precária. O Conceito Preliminar de Curso não é o indicador adequado para classificar este ou aquele curso superior, como um curso bom ou ruim. Na verdade este indicador precário se parece mais com o antigo PROVÃO do que com o atual sistema de avaliação, o SINAES.

A partir da edição da Lei do SINAES a avaliação do ensino deixou de ser unidimensional, tornando-se mais ampla e completa. E, no caso específico da avaliação de cursos superiores o MEC deveria utilizar “...procedimentos e instrumentos diversificados, dentre os quais obrigatoriamente as visitas por comissões de especialistas das respectivas áreas do conhecimento” (Parágrafo primeiro do art. 4º da Lei 10.861/2004).

Pois bem, se existe uma norma que expressamente cuida dos procedimentos para avaliação de cursos superiores, ou melhor, se existe um Sistema de Avaliação formatado por uma lei, qualquer procedimento diverso deve ser considerado ilegal. Notadamente, quando este procedimento não aplica o instrumento que a lei trata como sendo obrigatório.

Na prática, o abandono do sistema baseado apenas em resultados (especificamente na nota dos alunos no Exame Nacional de Cursos – ENC, o Provão) e a implementação de um novo sistema de avaliação contextualizada, feita por especialistas, ocorreu em virtude de estudos de importantes pesquisadores que após concluída a nova norma deixaram claro que:

A mudança foi profunda e alterou, inclusive, os objetivos da avaliação: o foco foi deslocado do simples resultado da prova dos estudantes para passar a identificar, efetivamente, “as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica” (Lei nº 10.861/2004), o que só pode ser feito com a visita das comissões externas de avaliação que devem “avaliar o conjunto de análises, estudos, pesquisas, discussões, informações, instalações, recursos humanos e materiais, elementos quantitativos e qualitativos de cada área, faculdade, [...] para oferecer informações e pareceres detalhados e bem fundamentados”. (SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação / [Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira]. – 5. ed., revisada e ampliada – Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2009, p. 119, grifamos).

Além dos objetivos e princípios gerais, na lei em questão existem artigos específicos para a avaliação de instituições (art. 3º), de cursos (art. 4º) e de estudantes (art. 5º). Isso demonstra que a velha opção que usava alunos para avaliar cursos e instituições estava superada, permitindo dizer, como exposto inicialmente, que o antigo modelo deveria ser deixado para trás.

Uma vez transformado o sistema de avaliação, deveriam os órgãos avaliadores, MEC e INEP, pautar-se pelos novos conceitos e objetivos, deixando para trás a avaliação orientada apenas no exame feito por estudantes. E os resultados dessa avaliação renovada deveriam constituir o “referencial básico” para todos os procedimentos dos órgãos reguladores do ensino superior no Brasil. Nesse sentido, a Lei 10.861/2004 já de início demonstra suas novas bases, que constituem o referencial básico para a regulação e a supervisão:

Art. 2o O SINAES, ao promover a avaliação de instituições, de cursos e de desempenho dos estudantes, deverá assegurar:

I – avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos;

II – o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos;

III – o respeito à identidade e à diversidade de instituições e de cursos;

IV – a participação do corpo discente, docente e técnico-administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações.

Parágrafo único. Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação.

Como se vê, a avaliação prevista como referencial para os cursos de graduação é sofisticada e complexa, superando o método simples de análise estatística de resultados e opiniões de estudantes.

No caso dos cursos de graduação, conforme exposto acima, há regra específica:

Art. 4^o A avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.

§ 1^o A avaliação dos cursos de graduação utilizará procedimentos e instrumentos diversificados, dentre os quais obrigatoriamente as visitas por comissões de especialistas das respectivas áreas do conhecimento.

Esta regra impõe a visita in loco como procedimento obrigatório e não faz isso casualmente. O que buscava o legislador era impedir a volta da avaliação baseada em resultados. Em virtude disso, se o Governo Federal pretende usar um indicador simplificado, obtido sem visita de comissão, deve mudar a lei antes.

Portanto, em decorrência da disposição normativa expressa sobre a utilização de referencial básico (art. 2º, parágrafo único, da Lei 10.861/2004) vinculado obrigatoriamente à visita in loco (art. 4º, § 1º, da Lei 10.861/2004), qualquer ato de supervisão ou de regulação que use outro indicador, como por exemplo os “indicadores de qualidade” CPC e IGC, deve ser considerado ilegal.

Este é o segundo motivo para “reprovar” o sistema de avaliação de cursos superiores usado pelo MEC. Porém, a situação torna-se ainda mais grave quando este sistema é utilizado punir, ou seja, para restringir a atividade das instituições. Estas medidas punitivas serão o tema da última parte deste artigo.

--------------------------------------------------------------------------------------------------------------------------------------------

Educação Superior: Quem saiu reprovado da avaliação? (3^a Parte)

Este artigo, dividido em três partes, trata da ilegalidade e incoerência da avaliação amplamente divulgada pelo Ministério da Educação a partir dos resultados do ENADE.

Na primeira parte tratei da inconsistência dos indicadores utilizados e na segunda demonstrei que é ilegal a avaliação feita exclusivamente por critérios estatísticos. Neste tópico final o tema serão as “medidas cautelares” aplicadas pelo MEC com base nesta avaliação inconsistente e ilegal.

O fato a ser discutido é o seguinte: Com base num indicador estatístico relativo a avaliação de cursos de graduação – o CPC, Conceito Preliminar de Cursos – o MEC decidiu reduzir, em novembro de 2011, as vagas de alguns cursos da área de saúde.

A restrição foi aplicada por meio de Despachos da Secretaria de Regulação e Supervisão da Educação Superior do referido Ministério e atinge as “Instituições de Educação Superior (IES) cujos cursos de graduação, na área de saúde obtiveram resultados insatisfatórios (menores que 3)”. Este tipo de medida não é novidade, pois já foi aplicada neste mesmo ano para os cursos de direito e em anos anteriores para direito, medicina e pedagogia.

Em um artigo anterior[1] já me manifestei sobre estas medidas, e disse, basicamente, que não há previsão na legislação educacional de medidas cautelares (ou liminares, entendidas como medidas decisórias no início de um processo) para resultados “insatisfatórios” em índices.

Na verdade, a regra no âmbito do Direito Educacional é a manutenção das atividades e a preservação dos interesses das partes envolvidas. Até porque, o prejuízo com uma divulgação ampla de restrições aplicadas com base em avaliação preliminar pode ser irreversível.

Além disso, a Constituição brasileira prevê o direito a devido processo legal e, na norma específica, Decreto 5.773/2006, ficou estipulado que somente em casos extremos, como a oferta de cursos sem autorização e o descumprimento de protocolo de compromisso, podem ser aplicadas “medidas cautelares”. Ou seja, há um devido processo estipulado na norma educacional, e este devido processo não contempla cautelares baseadas apenas em indicadores específicos.

O Governo Federal, nos últimos atos de supervisão, tem usado de uma regra subsidiária, contida na Lei 9.784/1999, para estender o rol de hipóteses de cautelares. Ele está aplicando esta lei como se houvesse uma omissão na legislação educacional; como se não existisse uma lista de casos nos quais pode ser usada a medida de cautela. Mas ao fazer isso, deixa de lado o fato de que existem regras específicas sobre as medidas cautelares aplicáveis às instituições credenciadas e seus cursos superiores autorizados, desprezando o devido processo legal.

Na prática, o procedimento de supervisão (fiscalização) de eventuais irregularidades na área de Educação deveria seguir a seguinte sequência:

As cautelares poderiam ser usadas em situações nas quais não cabe nem mesmo a avaliação periódica (caso de ausência de atos autorizativos, por exemplo) ou entre a 3ª e 4ª fases. Porém, nos despachos que reduziram vagas, estas medidas de cautela foram aplicadas, na segunda fase, após avaliações periódicas, antes da possibilidade de saneamento.

Num caso similar ao das restrições de vagas feitas neste mês de novembro, mais especificamente na cautelar aplicada no início do ano de 2011, estas questões forma discutidas em juízo e um Tribunal Federal afirmou que:

“Nada obstante a autoridade tenha fundamentado a limitação das vagas no poder geral de cautela do artigo 45 da Lei 9.784/99, o certo é que, além de não estar prevista a medida restritiva nas normas específicas que regulam a matéria, as quais dispõem apenas sobre a suspensão temporária da abertura de processo seletivo de cursos de graduação (artigo 10, § 2^o, I, Lei 10.861/04) e a suspensão cautelar da admissão de novos alunos na vigência de protocolo de compromisso (artigo 36, § 4^o, Portaria Normativa n° 40/2007), que supõem resultados insatisfatórios após, inclusive, a avaliação externa ‘in loco’.

Há patente inversão da ordem, pois [foi] aplicada uma medida qualificada como punitiva antes mesmo da avaliação pertinente.”

Enfim, conforme já analisou o Judiciário, há irregularidade na criação de uma hipótese de cautelar estranha à detalhada na legislação do setor educacional. E esta suposta cautelar, neste caso concreto, torna-se uma verdadeira punição antecipada.

Infelizmente, pelo que está detalhado nas três partes deste artigo, observo que o afã de punir foi posto além das garantias jurídicas e da preservação dos princípios duramente construídos ao longo dos últimos anos.

Restringir direitos, e divulgar isso é uma punição imensa, gravíssima. Essa restrição não deveria ser tratada como um ato antecipatório ou uma defesa antecipada dos interesses públicos, até porque parte de um risco que sequer foi medido de forma adequada.

Penso que deveria ser ponderado, neste caso, que os indicadores de qualidade usados para punir se referem a provas feitas por estudantes em anos anteriores e nem mesmo há como medir se aquele resultado realmente representa um risco atual, um problema iminente. Daí a importância de usar as comissões de especialistas, obrigatoriamente, em todos os procedimentos de avaliação de cursos superiores.

E o pior é que estes índices são inconsistentes. Resultam de uma avaliação que, por si só, merece ressalvas. Uma avaliação que não respeita a diversidade da sociedade brasileira; que é aplicada a estudantes que normalmente estão desestimulados; e que usa dados extraídos de um questionário de opiniões.

Depois de tantos erros, não há como deixar de reprovar a conduta do MEC, órgão regulador que tantas conquistas obteve nos últimos anos, mas que em seus últimos atos tornou-se um espetacular gerador de fatos. Fatos que podem causar prejuízos para os estudantes dos cursos afetados e que negligenciam garantias necessárias para um processo regulatório justo.

[1] Disponível em: http://www.gestaouniversitaria.com.br/index.php?option=com_content&view=article&id=24568:sobre-as-medidas-cautelares-baseadas-no-indice-geral-de-cursos&catid=251:257&Itemid=21