O PPGEL-UFU coloca em prática alguns procedimentos para autoavaliação, os quais, ao longo do tempo, foram ajudando o Programa a se reorganizar naquilo que se mostrava necessário.

No quadriênio 2017-2020, o PPGEL, com vistas a atender aos Parâmetros de Avaliação da CAPES, nomeou uma Comissão de Autoavaliação do Programa (doravante, CAA). Essa Comissão, em consonância e diálogo com a Comissão de Autoavaliação Institucional da Pós-graduação da Universidade Federal de Uberlândia, procedeu à autoavaliação do PPGEL. Em 2023, a CAA foi renovada por meio da Portaria PPGEL Nº 27/2023, sendo composta por dois docentes, duas doutorandas, um egresso, uma técnica-administrativa do Programa (que também fazia parte da CAA no período anterior, o que garantiu a partilha de conhecimentos já produzidos) e uma representante da comunidade externa à UFU. Uma vez instituída, a Comissão iniciou suas atividades prontamente, de forma independente e autônoma em relação à Coordenação.

Como primeira medida, a nova Comissão solicitou dados da Coordenação para embasar seu trabalho. Os dados levaram em conta o Planejamento Estratégico do PPGEL, o Relatório de Autoavaliação da última quadrienal,  a Avaliação do Programa recebida pela CAPES no último quadriênio e o Plano de Ação Quadrienal da Comissão de Autoavaliação para o Quadriênio 2021-2024 (Anexo 3). A eles se somaram os seguintes mecanismos e instrumentos de autoavaliação no nível da UFU e dos PPGs em geral: Plano Institucional de Desenvolvimento e Expansão da UFU; Documento de Área da CAPES – Área 41: Linguística e Literatura (2019); Ficha de Avaliação da CAPES – Linguística e Literatura (quadriênio 2021-2024); Resolução Nº 02/2016, do PPGEL-UFU, que regulamenta o processo de credenciamento, recredenciamento e descredenciamento dos docentes do PPGEL; e Projetos e Relatórios da Comissão Própria de Autoavaliação (CPA) da UFU (disponíveis em: http://www.cpa.ufu.br).

A CAA 2021-2024 também se valeu, num primeiro momento, de diversos mecanismos e instrumentos de autoavaliação existentes e já utilizados para a coleta de dados e realização da autoavaliação do Programa no Quadriênio 2017-2020: a) dados do Programa lançados na Plataforma Sucupira; b) currículos Lattes dos docentes, discentes e egressos; c) informações já organizadas e sistematizadas no site do PPGEL (http://www.ppgel.ileel.ufu.br/); d) relatórios fornecidos pelo Instituto de Letras e Linguística da UFU; e) relatórios fornecidos pela Pró-reitoria de Pesquisa e Pós-graduação da UFU; f) relatórios fornecidos pela Pró-reitoria de Extensão da UFU; g) relatórios fornecidos pela Pró-reitoria de Graduação da UFU; h) relatórios da Diretoria de Relações Internacionais e Interinstitucionais da UFU; i) relatórios fornecidos pelo Setor de Bibliotecas da UFU; j) avaliação do desempenho do docente em sala de aula e como orientador, tradicionalmente realizada pelos discentes, implementada pela UFU por via eletrônica (https://www.avaliacaodocente.ufu.br); k) formulários de coleta de dados junto aos grupos de pesquisa, por meio dos quais o PPGEL pôde realizar a avaliação qualitativa do Programa com a participação de docentes e discentes (os formulários respondidos permitiram a constituição do primeiro Banco de Dados estruturado do PPGEL); l) formulários de coleta de dados junto aos egressos do Programa, por meio dos quais o PPGEL pôde atualizar as informações referentes à atuação profissional desses egressos (local, setor e natureza dessa atuação) e ao impacto da formação recebida no PPGEL nessa atuação (os formulários respondidos foram integrados ao Banco de Dados do PPGEL).

A CAA 2021-2024 procedeu a uma discussão acerca dos princípios que pautaram a autoavaliação passada e pautariam a avaliação presente, juntamente com uma definição de metas de curto, médio e longo prazos. Partiu-se da missão da UFU definida no seu PIDE 2022-2027 e dos princípios preconizados no art. 5º do Regimento do ILEEL (a saber: pluralidade teórica e de concepções pedagógicas; a indissociabilidade entre o ensino, a pesquisa e a extensão; a orientação humanística e preparação para o exercício pleno da cidadania; a democratização da educação no que concerne à gestão e à socialização de seus benefícios etc).

Em seguida, a Comissão 2021-2024, a partir das metas do Programa no curto, médio e longo prazos definidas em seu Planejamento Estratégico para o quadriênio, desenhou um plano de ação que permitisse a efetiva conclusão e disseminação da autoavaliação do Programa até o final do ano de 2024. No curto prazo, definiu-se a prioridade de elaboração e aplicação de questionários junto a docentes, discentes, técnicas-administrativas, egressos e comunidade externa a fim de capturar as suas percepções acerca das potencialidades, fragilidades e pontos de melhoria do Programa. Partiu-se do entendimento de que os formulários anteriores eram mais quantitativos e voltados a indicadores distantes de uma compreensão holística do Programa, inclusive por desconsiderarem sobremaneira os servidores e a comunidade externa e não contemplarem as opiniões dos discentes e egressos acerca do impacto do Programa em suas formações e desenvolvimentos profissional, socioeconômico e acadêmico. Ademais, os questionários anteriores não condiziam com a metodologia adotada pela CPA-UFU, inviabilizando a faixa identificação de fragilidades, potencialidades e pontos de melhoria.

Também se definiu que, no curto-médio prazo, os resultados dos questionários deveriam ser socializados com toda a comunidade e confrontados com o Planejamento Estratégico, com dados qualitativos e quantitativos da atuação discente/docente e com as informações e esclarecimentos a serem fornecidos pela Coordenação do Programa, em conversa que também lhe oportunizaria destacar desafios e ações de sua gestão. Paralelamente a isso, informações sobre a produção técnico-científica, sobre a internacionalização e sobre as ações de extensão seriam consultadas junto aos docentes e por meio de seus currículos Lattes. Já para o médio-longo prazo, definiu-se que deverão ser implementados processos que garantam o monitoramento contínuo da qualidade do programa e do seu processo de formação.

Os questionários de avaliação do Programa pela comunidade foram elaborados pela Comissão, apresentados à Coordenação para alguns alinhamentos e submetidos à aprovação do Colegiado em 05/02/2024. O Colegiado aprovou a Proposta, que inicialmente não contemplava a comunidade externa por, num primeiro momento, não ter ficado claro para a CAA como delimitar essa população. A solução para a consulta à comunidade externa veio com a realização da III Escola de Verão em Estudos Linguísticos (EVEL), em junho de 2024. Percebeu-se que seria a oportunidade de encontrar membros externos que tivessem algum contato mínimo com o Programa.

Embora cada segmento da Comissão tenha estabelecido articulações com seus pares para promover a participação dos agentes envolvidos, competiu à Coordenação divulgar os questionários por e-mail, WhatsApp e redes sociais, reforçando aos participantes a garantia do anonimato das suas respostas. Para tal, não foram solicitados dados pessoais nem registrados os IPs dos respondentes. Entendeu-se que, embora esse procedimento pudesse implicar respostas de não envolvidos ou duplicidade de respostas de um mesmo indivíduo, esse impacto, oriundo das limitações de recursos tecnológicos, não comprometeria o engajamento do real público-alvo. Esses questionários foram, então, disponibilizados na plataforma Google Forms no período de 27/02 a 15/03/2024, contendo perguntas fechadas e um espaço para elogios, críticas e sugestões. Ademais, em nítida articulação com a política de autoavaliação da UFU definida pela CPA e com o instrumento de Avaliação da CAPES, o desenho dos questionários visou à elaboração de perguntas que permitissem identificar (i) fragilidades, (ii) potencialidades e (iii) pontos de melhoria mediante os seguintes parâmetros respectivamente: (i) mais de 30% de avaliações fracas/péssimas e menos de 50% de avaliações ótimas/boas ou pelo menos 50% de respostas de desconhecimento do assunto; (ii) mais de 70% das avaliações boas/ótimas; menos de 70% de avaliações ótimas/boas e menos de 30% de avaliações fracas/péssimas. No caso de discentes, servidoras e docentes, também foram feitas perguntas de autoavaliação pelo próprio respondente. Considerando um índice de confiança de 95% e uma margem de erro de 10%, obteve-se participação significativa de quase todos os segmentos, à exceção dos discentes. Em relação à tabulação e socialização dos resultados dos questionários, ressalta-se que a CAA foi impactada pela greve dos servidores e docentes federais, de modo que a socialização se deu tardiamente, em assembleia realizada em 23/09/2024.

Do coletivo de respostas registradas nos questionários, nota-se que o PPGEL é um Programa de excelência, no qual se destacam diversas potencialidades, percebidas sobretudo entre aqueles que têm uma visão de fora, notadamente os egressos e a comunidade externa. São atributos do Programa percebidos como de excelência por discentes, egressos e membros da comunidade externa: a qualificação do corpo docente; a formação acadêmica de qualidade (inclusive do ponto de vista das disciplinas, das aulas, das orientações e da matriz curricular); a navegabilidade e informatividade do site institucional; e a qualidade da comunicação (sobretudo em redes sociais). Outros atributos percebidos como de excelência pelos discentes são a qualidade das interações nos grupos de pesquisa, a oferta de eventos pelo PPGEL, a qualidade da Secretaria e da Coordenação, bem como a qualidade da infraestrutura do Programa.

São atributos percebidos como de excelência pelos docentes em suas autoavaliações: elevado impacto social do seu trabalho; elevado impacto acadêmico do seu trabalho nos níveis local ao regional; adequada integração do seu trabalho na pós-graduação com a graduação e com a extensão; qualidade das reuniões nos grupos de pesquisa e das orientações; e adequação das disciplinas aos interesses de orientandos, alunos da própria linha e alunos de outras linhas. São atributos percebidos como de excelência pelos docentes em suas avaliações do Programa: a qualidade do Planejamento Estratégico; a atuação da Coordenação e da Secretaria; o apoio do Programa à internacionalização, à divulgação de eventos e à participação em eventos; a qualidade da comunicação do programa; e a atualidade da matriz curricular. Essas percepções apontam que os docentes do PPGEL enxergam em si e no Programa qualidades fundamentais para o desenvolvimento de atividades na pós-graduação, sejam elas em níveis de ensino, pesquisa, extensão ou administração. Ademais, algumas dessas percepções são convergentes com as dos discentes, sobretudo no que tange ao impacto acadêmico das pesquisas do Programa, aos grupos de pesquisa e às relações, atuações e comunicações da Secretaria e da Coordenação. Essas percepções convergentes de discentes e docentes também condizem com as percepções de boas relações e elevada produtividade da Secretaria, apontando que os segmentos “internos” possuem boa dinâmica de trabalho, com cada qual oportunizando o seu melhor, a produtividade coletiva e a melhoria contínua. Aliás, as servidoras do PPGEL percebem em si características positivas para se adaptarem a mudanças e contribuírem para o desenvolvimento das ações coletivas do Programa. Além disso, percebem o Programa como um bom local de trabalho, que permite alavancar sua produtividade tanto no trabalho presencial quanto no teletrabalho, estabelecer boa relação com a Coordenação e os discentes e executar um volume adequado de demandas com prazos adequados de respostas.

Essa convergência de opiniões entre os agentes que têm uma visão “de dentro” também pode ser correlacionada com a boa reputação de que o PPGEL goza com os agentes que têm uma visão “de fora”. Os egressos percebem o alto impacto do PPGEL para o seu posicionamento no mercado e para o seus desenvolvimentos humano, acadêmico, pessoal, profissional e socioeconômico. Por sua vez, a comunidade externa percebe o Programa como consolidado nacionalmente, desenvolvedor de pesquisas de excelência e formador de pesquisadores de excelência por um corpo docente qualificado num contexto de adequada infraestrutura. Também percebe que o Programa disfruta de boa visibilidade através do site institucional e das redes sociais, além de envidar esforços de divulgação e realização de eventos e outras ações extensionistas.

Em termos de fragilidades, as respostas dos discentes apontam questões relacionadas ao bem-estar mental, à oferta de disciplinas em idioma estrangeiro e aos espaços físicos, incluindo a biblioteca. Por sua vez, as respostas dos docentes apontam, em relação a si próprios, uma baixa percepção do impacto acadêmico de seu trabalho em nível internacional; em se tratando do Programa, apontam uma possível inadequação no processo seletivo (o que diverge da opinião discente), uma baixa percepção das referências bibliográficas da Biblioteca da UFU, uma baixa percepção da capacidade do PPGEL em internacionalizar e atuar em redes com outras instituições e pesquisadores do exterior e de outros estados (o que não condiz com os resultados dos questionários aplicados entre os egressos e com os dados de produtividade do Programa coletados via currículos Lattes e analisados pela Comissão Sucupira), bem como baixa percepção da comunicação via redes sociais (o que pode estar associado à própria preferência dos docentes em não participar de redes sociais) e do apoio instrucional para a inclusão e acessibilidade (neste caso, um aspecto que, em boa medida, ultrapassa as competências do próprio Programa). Nota-se, portanto, que ambos os segmentos identificam fragilidades no nível da internacionalização e no uso da biblioteca da UFU, a qual é desconhecida por muitos (a despeito de apresentações feitas nos seminários de recepção de ingressantes). Ao mesmo tempo, chama a atenção o fato de que a acessibilidade e inclusão são percebidas como uma fragilidade apenas pelos docentes e somente como um ponto de melhoria pelos discentes, muito provavelmente por desconhecimento dos discentes acerca das dificuldades enfrentadas pelos seus pares com deficiência (apenas 4,7% dos matriculados no quadriênio, sendo a maioria com surdez, alguns com cegueira e um com paralisia cerebral).

Em se tratando de pontos de melhoria, as respostas dos docentes apontam a integração com a educação básica, a inserção em redes locais a internacionais, a troca de conhecimentos com outros docentes e o cumprimento de prazos pelos orientandos. O cumprimento de prazos pelos orientandos pode estar relacionado a questões de saúde mental e bem-estar entre os discentes; a inserção em redes locais a internacionais e troca de conhecimentos com outros docentes podem estar relacionadas a uma percepção negativa dos discentes da sua atuação em parcerias (haja vista que as avaliações foram excelentes para os grupos de pesquisa) e do impacto que o seu trabalho pode ter no cenário internacional (considerando que, apesar de lidarem com problemas locais ou regionais, produzem conhecimentos que podem transformar outros contextos). Por sua vez, a integração com a educação básica parece ter sido impactada pela percepção dos membros da Linha 1, dada a natureza eminentemente teórica dessa linha de pesquisa.

Por fim, chama a atenção que o bem-estar e a saúde mental se destacam como fragilidades entre os discentes, mas não entre os docentes e as servidoras. De fato, a saúde mental se tornou uma preocupação durante e após o período pandêmico. Ao mesmo tempo que compete ao PPGEL fomentar o bem-estar e saúde mental de seus docentes e servidores, é necessário envidar esforços para entender a situação dos discentes. Pode-se aventar hipóteses relacionadas a conjunturas econômicas e aos efeitos das transformações digitais e tecnológicas, que, segundo alguns estudos, contribuem para o que coloquialmente se pode denominar brain rot (eleita a palavra do ano de 2024 pela Oxford University Press), o que pode gerar ansiedade e desafios na realização de atividades intelectuais complexas (como escrever um artigo).

Ações corretivas

Com base nos dados obtidos por meio de diferentes instrumentos de avaliação, a CAA 2021-2024 entendeu que a Coordenação executou bem o Planejamento Estratégico 2021-2024, mediante ações de curto prazo que, embora não intencionalmente corretivas, contribuíram para a manutenção do Programa no curso certo. Entretanto, a CAA 2021-2024 identificou necessidades de ações corretivas de curto, médio e longo prazo, as quais se traduzem nas seguintes diretrizes para a autoavaliação no Quadriênio 2025-2028:

No curto prazo: elaborar e implementar mecanismos de avaliação do trabalho da CAA pela comunidade do Programa; garantir que a CAA atue efetivamente durante todo o quadriênio, mediante monitoramento contínuo tanto da Coordenação quanto da Comissão dos indicadores a serem estabelecidos no Planejamento Estratégico 2025-2028; revisar o Regimento do PPGEL no que diz respeito a disciplinas que constam no currículo, mas não são efetivamente ministradas em razão de mudanças no corpo docente; definir e aplicar ações para preenchimento efetivo da Avaliação Docente pelos discentes; e revisar os instrumentos de avaliação adotados neste quadriênio a fim de ampliar sua confiabilidade e validades interna e externa. Além disso, esses instrumentos não devem ser alterados substancialmente, a fim de que seja possível realizar estudos longitudinais e acompanhar a evolução do PPGEL em seus indicadores.

 No curto a médio prazo: desenhar políticas para atrair mais mestrandos e fazer frente à concorrência de outros Programas na captação desses discentes; promover ações, como lives, rodas de conversa, seminários ou assembleias, que confiram visibilidade (i) à efetiva inserção do PPGEL nos circuitos internacionais de produção de conhecimento, com impacto acadêmico, socioeconômico e profissional, (ii) à efetiva integração do PPGEL com a graduação e a extensão, bem como à qualidade da infraestrutura do Programa, sobretudo no que diz respeito aos seus espaços físicos; realizar debates acerca dos critérios de seleção de ingressantes, a fim de promover uma melhor sintonia entre as expectativas dos docentes e as reais condições de realização dos certames (inclusive da perspectiva de judicialização); promover revisão de Regimento e ações que fomentem ofertas semestrais de disciplinas que sejam mais diversas e superiores em número aos quantitativos atuais.

 No curto a longo prazo: promover rodas de conversa tanto para a socialização dos resultados quanto para a conscientização da comunidade (sobretudo dos discentes, para os quais não se obtiveram os números de respostas esperadas) acerca da importância da autoavaliação e acerca das diretrizes, parâmetros, princípios e valores que norteiam o trabalho da CAA; divulgar semestralmente o trabalho da CAA por meio de todos os recursos digitais disponíveis, apontando resultados, medidas corretivas e, quando possível, avaliação dessas medidas; investigar mais atentamente a dinâmica dos discentes em relação à execução de atividades no espaço físico da UFU, os quais se encontram subutilizados. É importante promover a utilização dos espaços, valorizando a interação entre as pessoas no mundo real como forma mais efetiva de produção e disseminação de conhecimento. Ao mesmo tempo, também é relevante se apropriar dos aprendizados da pandemia, avaliar o impacto socioeconômico de atividades remotas na vida dos discentes e provocar as instâncias superiores para que revisem continuamente seus direcionamentos sobre o ensino a distância; investigar mais profundamente a saúde mental da comunidade, com destaque para os discentes; ainda que não tenha sido objeto da presente autoavaliação, investigar mais atentamente os impactos da Inteligência Artificial (IA) na produção acadêmica, cabendo a revisão de políticas de boas práticas e comportamento ético em pesquisa e realização de pesquisas linguísticas voltadas aos efeitos da IA nos textos e discursos da comunidade; monitorar as ações da Coordenação para o desenvolvimento do Programa, mediante participação em editais de fomento e atuação junto às instâncias superiores; mediante provocação da Direção do ILEEL, da PROPP ou da Reitoria, desenvolver sistema próprio ou adquirir aplicação que permita configuração e armazenamento de bancos de dados eletrônicos e coletas de dados de forma anônima, segura e confiável; realizar anualmente avaliação e sistematização de informações do PPGEL; verificar constantemente a articulação das ações do PPGEL com o PIDE-UFU, o Documento de Área da CAPES e a legislação específica para os Programas de Pós-graduação; manter o alinhamento constante do trabalho da Comissão de Autoavaliação com o trabalho da Comissão de Planejamento Estratégico do Programa, realizado sempre numa dinâmica da retroalimentação; sistematizar os resultados de todas as ações de autoavaliação em Relatórios anuais a serem compartilhados com todos os envolvidos no Programa e com a PROPP; incentivar a interação entre docentes/discentes de diferentes linhas a fim de fomentar uma troca de conhecimentos e práticas, mediante ações como pesquisa interdisciplinar e editais para projetos colaborativos e criação/manutenção grupos de trabalhos temáticos; incentivar a interação entre docentes/discentes sem e com deficiência, a fim de promover a diversidade e, ao mesmo tempo, conscientizar a comunidade acerca das políticas de inclusão e acessibilidade desenvolvidas pelo Programa; criar política de formação continuada dos docentes e verificar sua efetivação; e realizar uma meta-avaliação das práticas, mecanismos e instrumentos da CAA, a fim de rever continuamente as estratégias para o desenvolvimento do Programa provenientes do processo de autoavaliação.

 No longo prazo: manter ou ampliar a interação efetiva e contínua do Programa com os egressos do Programa, mediante estabelecimento de uma política que vise, no médio prazo, incitar nos discentes a consciência de pertencimento ao Programa, para, no longo prazo, manter fortalecidos os laços e a parceria com o Programa quando egressos.

Em termos de meta-avaliação, a CAA entende que se conseguiu contemplar a maior parte das diretrizes arroladas no Plano de Ação Quadrienal 2017-2020, ao mesmo tempo que contribuiu com avanços no processo de autoavaliação do PPGEL em comparação com o quadriênio anterior. Parte desses avanços decorre dos próprios encaminhamentos da CAA 2017-2020, conforme contemplados no Plano de Atuação Quadrienal e no Planejamento Estratégico para este quadriênio. A outra parte desses avanços decorre de novas medidas da CAA 2021-2024, como o desenvolvimento de questionários em conformidade com a metodologia da CPA-UFU e com vistas a aplicação a todos os segmentos da comunidade (docentes, discentes, egressos, servidores e comunidade externa).

O relatório detalhado, bem como os instrumentos de avaliação, elaborados pela Comissão de Autoavaliação encontram-se no arquivo PDF.