FESTIVAL DE MÉTODOS PVALOOZA
PROGRAMA
Edição 1 · 4 a 8 de janeiro de 2027 · 15 horas
Análise de Conteúdo Automatizada em R: texto, R e LLMs
Programa do curso · edição de janeiro de 2027
1. Dados gerais
| Item | Descrição |
|---|---|
| Evento | Festival de Métodos Pvalooza · Edição 1: Análise de Conteúdo Automatizada em R |
| Título do curso | Análise de Conteúdo Automatizada em R: texto, R e LLMs |
| Coordenação e docência | Anderson Henrique (CEM/USP) |
| Apoio | Monitores (a divulgar) |
| Modalidade | Online, síncrona, pelo Google Meet |
| Datas | 4 a 8 de janeiro de 2027 (segunda a sexta), a confirmar em dezembro de 2026 |
| Carga horária | 15 horas (5 encontros de 3h) |
| Turnos | Manhã: 9h às 12h · Noite: 18h30 às 21h30 (horário de Brasília). Conteúdo idêntico nos dois turnos |
| Vagas | 160 (80 por turno), por sorteio entre inscritos elegíveis, com cotas por região, nível acadêmico e raça, e paridade de gênero |
| Público | Estudantes de graduação, mestrado e doutorado, pós-doutorandos e profissionais de qualquer área, com projeto que envolva texto |
| Pré-requisitos | R básico/intermediário (importar dados, usar pacotes, rodar scripts), computador com R e RStudio, conta Google e conta no GitHub |
| Software | R (≥ 4.1), RStudio, pacote acR, renv para versões fixas dos pacotes |
| Materiais | Repositório do curso no GitHub (convite aos selecionados; aberto ao público depois da edição) e este site |
| Suporte | Discussions e Issues do repositório no GitHub |
| Gravação | As aulas não serão gravadas |
| Certificação | Não há certificado nesta edição. Pode-se emitir declaração de participação, conforme demanda |
| Calendário de seleção | Inscrições até 15 de novembro de 2026 · resultado do sorteio, por e-mail, até 20 de novembro · sorteados expressam interesse até 15 de dezembro · lista final de participantes até 27 de dezembro |
2. Ementa
Fundamentos da análise de conteúdo e sua passagem para o paradigma text-as-data. Importação de textos de fontes heterogêneas (planilhas, documentos Word e PDFs) e construção de corpus. Pré-processamento e descrição quantitativa de textos em português. Métodos de contagem, contexto e dicionários. Comparação entre grupos (keyness), escalonamento e modelagem de tópicos (LDA). Codificação com modelos de linguagem de grande porte (LLMs): codebook, prompts, saída estruturada e classificação em lote. Validação com codificação humana (concordância entre codificadores, métricas de classificação), custo, viés, reprodutibilidade e boas práticas de relato. Uso integrado do pacote acR, que combina os módulos qualitativo (LLM) e quantitativo em um mesmo fluxo.
3. Objetivos
Objetivo geral
Capacitar pesquisadores de ciências sociais e áreas afins a conduzir, em R, um fluxo reprodutível de análise de conteúdo automatizada em R, do texto bruto à validação dos resultados, combinando métodos quantitativos e classificação por LLM.
Objetivos específicos
Ao final do curso, a pessoa participante será capaz de:
- Distinguir análise de conteúdo clássica, métodos quantitativos de texto e codificação por LLM, e escolher o método adequado a uma pergunta de pesquisa.
- Importar textos de arquivos
.xlsx,.docxe.pdfe de fontes abertas (como discursos parlamentares) e organizá-los em um corpus. - Pré-processar textos em português e produzir análises descritivas (frequências, TF-IDF, KWIC, colocações, legibilidade, diversidade lexical).
- Aplicar dicionários, keyness, escalonamento e LDA, e interpretar seus resultados e limites.
- Construir um codebook e usar um LLM, via API, para classificar textos de forma estruturada, estimando custos e riscos.
- Validar classificações automáticas contra codificação humana com amostragem, kappa, alfa de Krippendorff, AC1 de Gwet, precisão, revocação e F1.
- Documentar o fluxo de modo reprodutível (projeto R,
renv, scripts numerados, registro de versões e modelos) e relatar o método com transparência.
4. Metodologia
- Aulas expositivas dialogadas curtas, seguidas de prática guiada, no formato live coding com os scripts do repositório.
- Prática em R em cada bloco, com scripts numerados e dados fornecidos. Para quem tiver problemas técnicos, há resultados pré-computados em cada etapa.
- LLM com plano B: cada participante cria sua chave gratuita (Gemini ou Groq). Quem não conseguir usa as classificações pré-computadas, e o aprendizado não depende da API.
- Mini-projeto (dias 4 e 5), em que cada pessoa aplica o fluxo a um corpus de sua escolha ou ao corpus do curso.
- Suporte assíncrono por Discussions e Issues no GitHub, com monitores.
- Participação sem nota. Não há prova nem aprovação por nota.
5. Conteúdo programático
Módulo 1 · Fundamentos e corpus Da análise de conteúdo clássica à automatizada; erros típicos da pesquisa com texto; o pipeline do acR; projeto em R com renv; importação de .xlsx, .docx e .pdf; coleta de discursos parlamentares; estrutura de um corpus.
Módulo 2 · Pré-processamento e descrição Limpeza e normalização; tokenização; stopwords em português; escolhas de pré-processamento e seus efeitos; frequências e TF-IDF; KWIC e colocações; legibilidade e diversidade lexical; Lei de Zipf; dicionários e léxicos de sentimento e emoção.
Módulo 3 · Comparação e modelagem Keyness entre grupos; coocorrência; Wordscores e escalonamento; análise de correspondência; agrupamento de documentos; LDA e escolha do número de tópicos; séries temporais de métricas textuais; noções de embeddings (conceitual).
Módulo 4 · LLMs na análise de conteúdo Quando usar LLM; provedores e modelos (Gemini, Groq, outros); chaves de API; construção de codebook; prompts e saída estruturada; classificação em lote; estimativa de tokens e de custo; consistência, viés e alucinação; dados sensíveis e LLM local.
Módulo 5 · Validação e reprodutibilidade Amostragem para validação humana; planilha de revisão; concordância entre codificadores (kappa, Krippendorff, Gwet) e o paradoxo do kappa; métricas de classificação; comparação dicionário × LLM × humano; relatório de método; boas práticas de reprodutibilidade; apresentação dos mini-projetos.
6. Programação por dia
Cada encontro tem 3 blocos e 2 pausas de 10 minutos. Os horários abaixo valem para os dois turnos (manhã: início às 9h00; noite: início às 18h30).
Dia 1 · Fundamentos e corpus
| Tempo | Atividade |
|---|---|
| 0:00 a 0:15 | Boas-vindas, regras do curso, como pedir ajuda (GitHub) |
| 0:15 a 0:50 | Bloco 1. Análise de conteúdo: do clássico ao automatizado; o pipeline do acR; text-as-data e seus riscos |
| 0:50 a 1:00 | Pausa |
| 1:00 a 1:55 | Bloco 2. Projeto em R e renv; importação de arquivos .xlsx, .docx e .pdf com ac_import(); criação de corpus com ac_corpus() |
| 1:55 a 2:05 | Pausa |
| 2:05 a 3:00 | Bloco 3. Coleta de discursos parlamentares (ac_fetch_camara(), ac_fetch_senado()); limpeza (ac_clean()); atividade: montar o corpus do curso |
Dia 2 · Pré-processamento e descrição
| Tempo | Atividade |
|---|---|
| 0:00 a 0:15 | Revisão do dia 1 e dúvidas |
| 0:15 a 0:50 | Bloco 1. Tokenização, stopwords, efeitos do pré-processamento (ac_tokenize(), ac_clean_stopwords()); contagem e TF-IDF (ac_count(), ac_top_terms(), ac_tf_idf()) |
| 0:50 a 1:00 | Pausa |
| 1:00 a 1:55 | Bloco 2. Leitura em contexto (ac_kwic(), ac_collocations()); diagnósticos do corpus (ac_readability(), ac_lexical_diversity(), ac_plot_zipf()) |
| 1:55 a 2:05 | Pausa |
| 2:05 a 3:00 | Bloco 3. Dicionários e sentimento (ac_dictionary(), ac_sentiment(), ac_emotion()); construir e salvar um dicionário próprio; atividade guiada |
Dia 3 · Comparação e modelagem
| Tempo | Atividade |
|---|---|
| 0:00 a 0:15 | Revisão e dúvidas |
| 0:15 a 0:50 | Bloco 1. Keyness entre grupos (ac_keyness(), ac_plot_keyness()); coocorrência (ac_cooccurrence()) |
| 0:50 a 1:00 | Pausa |
| 1:00 a 1:55 | Bloco 2. Escalonamento e mapas (ac_wordscores(), ac_ca()); agrupamento (ac_cluster_documents()); séries temporais (ac_temporal()) |
| 1:55 a 2:05 | Pausa |
| 2:05 a 3:00 | Bloco 3. LDA: escolha de K (ac_lda_tune()), estimação e interpretação (ac_lda()); limites dos tópicos; visão conceitual de embeddings; fechamento do bloco quantitativo |
Dia 4 · LLMs na análise de conteúdo
| Tempo | Atividade |
|---|---|
| 0:00 a 0:15 | Revisão e checagem das chaves de API |
| 0:15 a 0:50 | Bloco 1. Quando usar LLM; provedores e modelos (ac_qual_list_models(), ac_qual_recommend_model()); custo e tokens (ac_estimate_tokens()); dados sensíveis e LLM local |
| 0:50 a 1:00 | Pausa |
| 1:00 a 1:55 | Bloco 2. Codebook (ac_qual_codebook(), ac_qual_save_codebook()); prompts e saída estruturada |
| 1:55 a 2:05 | Pausa |
| 2:05 a 3:00 | Bloco 3. Classificação em lote com ac_qual_code(); consistência e erros; plano B com resultados pré-computados; início do mini-projeto |
Dia 5 · Validação, reprodutibilidade e mini-projeto
| Tempo | Atividade |
|---|---|
| 0:00 a 0:15 | Revisão e dúvidas |
| 0:15 a 0:50 | Bloco 1. Amostragem e revisão humana (ac_qual_sample(), ac_qual_export_for_review(), ac_qual_import_human()) |
| 0:50 a 1:00 | Pausa |
| 1:00 a 1:55 | Bloco 2. Concordância e métricas (ac_qual_irr(), ac_qual_reliability()); paradoxo do kappa; dicionário × LLM × humano (ac_dictionary_validate()) |
| 1:55 a 2:05 | Pausa |
| 2:05 a 3:00 | Bloco 3. Relatório e exportação (ac_qual_report(), ac_export()); reprodutibilidade; apresentações curtas dos mini-projetos; encerramento e próximos passos |
7. Avaliação e frequência
Não há avaliação formal. Recomenda-se participar dos 5 encontros e entregar o mini-projeto como exercício de aprendizagem (não obrigatório). Quem solicitar declaração de participação deve ter presença em pelo menos 4 dos 5 encontros.
8. Bibliografia
Básica
GRIMMER, Justin; ROBERTS, Margaret E.; STEWART, Brandon M. Text as Data: a new framework for machine learning and the social sciences. Princeton: Princeton University Press, 2022.
KRIPPENDORFF, Klaus. Content Analysis: an introduction to its methodology. 4. ed. Thousand Oaks: Sage, 2018.
SAMPAIO, Rafael Cardoso; LYCARIÃO, Diógenes. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021.
GRIMMER, Justin; STEWART, Brandon M. Text as data: the promise and pitfalls of automatic content analysis methods for political texts. Political Analysis, v. 21, n. 3, p. 267-297, 2013.
Complementar: método e texto como dado
DENNY, Matthew J.; SPIRLING, Arthur. Text preprocessing for unsupervised learning: why it matters, when it misleads, and what to do about it. Political Analysis, v. 26, n. 2, p. 168-189, 2018.
WILKERSON, John; CASAS, Andreu. Large-scale computerized text analysis in political science: opportunities and challenges. Annual Review of Political Science, v. 20, p. 529-544, 2017.
GENTZKOW, Matthew; KELLY, Bryan; TADDY, Matt. Text as data. Journal of Economic Literature, v. 57, n. 3, p. 535-574, 2019.
SALGANIK, Matthew J. Bit by Bit: social research in the digital age. Princeton: Princeton University Press, 2018.
BARBERÁ, Pablo et al. Automated text classification of news articles: a practical guide. Political Analysis, v. 29, n. 1, p. 19-42, 2021.
LAVER, Michael; BENOIT, Kenneth; GARRY, John. Extracting policy positions from political texts using words as data. American Political Science Review, v. 97, n. 2, p. 311-331, 2003.
SLAPIN, Jonathan B.; PROKSCH, Sven-Oliver. A scaling model for estimating time-series party positions from texts. American Journal of Political Science, v. 52, n. 3, p. 705-722, 2008.
HOPKINS, Daniel J.; KING, Gary. A method of automated nonparametric content analysis for social science. American Journal of Political Science, v. 54, n. 1, p. 229-247, 2010.
ROBERTS, Margaret E. et al. Structural topic models for open-ended survey responses. American Journal of Political Science, v. 58, n. 4, p. 1064-1082, 2014.
RODRIGUEZ, Pedro L.; SPIRLING, Arthur. Word embeddings: what works, what doesn’t, and how to tell the difference for applied research. Journal of Politics, v. 84, n. 1, p. 101-115, 2022.
Confiabilidade e validação
NEUENDORF, Kimberly A. The Content Analysis Guidebook. 2. ed. Thousand Oaks: Sage, 2017.
BARDIN, Laurence. Análise de Conteúdo. São Paulo: Edições 70, 2011.
COHEN, Jacob. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, v. 20, n. 1, p. 37-46, 1960.
LANDIS, J. Richard; KOCH, Gary G. The measurement of observer agreement for categorical data. Biometrics, v. 33, n. 1, p. 159-174, 1977.
GWET, Kilem L. Computing inter-rater reliability and its variance in the presence of high agreement. British Journal of Mathematical and Statistical Psychology, v. 61, n. 1, p. 29-48, 2008.
GWET, Kilem L. Handbook of Inter-Rater Reliability. 4. ed. Gaithersburg: Advanced Analytics, 2014.
FEINSTEIN, Alvan R.; CICCHETTI, Domenic V. High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, v. 43, n. 6, p. 543-549, 1990.
CICCHETTI, Domenic V.; FEINSTEIN, Alvan R. High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology, v. 43, n. 6, p. 551-558, 1990.
LOVEJOY, Jennette et al. Assessing the reporting of reliability in published content analyses: 1985-2010. Communication Methods and Measures, v. 8, n. 3, p. 207-221, 2014.
Produção brasileira
IZUMI, Mauricio; MOREIRA, Davi. O texto como dado: desafios e oportunidades para as ciências sociais. BIB, n. 86, p. 138-174, 2018.
SAMPAIO, Rafael Cardoso et al. Muita Bardin, pouca qualidade: uma avaliação sobre as análises de conteúdo qualitativas no Brasil. Revista Pesquisa Qualitativa, v. 10, n. 25, p. 464-494, 2022.
LLMs e software
GILARDI, Fabrizio; ALIZADEH, Meysam; KUBLI, Maël. ChatGPT outperforms crowd workers for text-annotation tasks. PNAS, v. 120, n. 30, 2023.
WANG, Xuezhi et al. Self-consistency improves chain of thought reasoning in language models. EMNLP, 2023.
BENOIT, Kenneth et al. quanteda: an R package for the quantitative analysis of textual data. Journal of Open Source Software, v. 3, n. 30, 2018.
HENRIQUE, Anderson. acR: análise de conteúdo em R. Pacote R. Disponível em: https://ahenriquecp.com/acR/.
Itens acima: da lista do SICSS-Brazil 2026. A versão do acR deve ser atualizada na citação (o pacote está na 0.6.0; a citação do SICSS menciona 0.3.2).
Sugestões adicionais
WELBERS, Kasper; VAN ATTEVELDT, Wouter; BENOIT, Kenneth. Text analysis in R. Communication Methods and Measures, v. 11, n. 4, p. 245-265, 2017. DOI: 10.1080/19312458.2017.1387238.
SILGE, Julia; ROBINSON, David. Text Mining with R: a tidy approach. Sebastopol: O’Reilly, 2017.
TÖRNBERG, Petter. ChatGPT-4 outperforms experts and crowd workers in annotating political Twitter messages with zero-shot learning. arXiv, 2304.06588, 2023.
ZIEMS, Caleb et al. Can large language models transform computational social science? Computational Linguistics, v. 50, n. 1, p. 237-291, 2024. DOI: 10.1162/coli_a_00502.