4. Seis formas de olhar para o mesmo cluster
4.1 Dendrograma — a árvore das fusões
Mostra a ordem em que documentos foram unidos e a altura de cada fusão. Cortes altos separam grupos sólidos; cortes baixos indicam agrupamentos frouxos.
4.2 Projeção PCA — a geometria do corpus
Cada documento vira um ponto no plano das duas componentes principais. Documentos com vocabulário parecido ficam próximos; a cor mostra a divisão do algoritmo.
4.3 Mapa de calor — a assinatura da separação
Ordena os documentos pelo dendrograma e desenha a matriz de dissimilaridade inteira. Blocos escuros na diagonal são o carimbo de qualidade de um clustering bem-sucedido.
4.4 Termos mais distintivos por cluster
Este gráfico responde à pergunta que interessa depois de rodar o modelo: “o que cada grupo fala de diferente?”. Juntamos a etiqueta do cluster ao TF-IDF e mostramos os 8 termos mais fortes por grupo.
tokens_com_cluster <- corpus |>
ac_clean() |>
ac_count() |>
left_join(clust$assignments, by = "doc_id") |>
group_by(cluster, token) |>
summarise(n = sum(n), .groups = "drop") |>
rename(doc_id = cluster) |>
mutate(doc_id = paste0("Cluster ", doc_id))
tfidf_cluster <- ac_tf_idf(tokens_com_cluster)
top_por_cluster <- tfidf_cluster |>
group_by(doc_id) |>
slice_max(tf_idf, n = 8) |>
ungroup() |>
mutate(token = tidytext::reorder_within(token, tf_idf, doc_id))
ggplot(top_por_cluster, aes(tf_idf, token, fill = doc_id)) +
geom_col(show.legend = FALSE) +
tidytext::scale_y_reordered() +
facet_wrap(~ doc_id, scales = "free") +
scale_fill_manual(values = ac_palette(clust$k)) +
labs(
title = "Termos mais distintivos por cluster (TF-IDF)",
subtitle = "O 'o que cada grupo fala de diferente'",
x = "TF-IDF", y = NULL,
caption = "acR • pos-clustering"
) +
theme_ac()
4.5 Curva de silhueta — escolhendo k visualmente
Quando o k automático parecer arbitrário, olhe para a
curva. A silhueta média de cada k diz o quão coeso
é o agrupamento naquele número de grupos. Picos claros são bons; platôs
indicam que a divisão seguinte é quase tão boa quanto.
if (requireNamespace("cluster", quietly = TRUE)) {
ks <- 2:6
sils <- vapply(ks, function(k_try) {
ac_cluster_documents(corpus, k = k_try)$silhouette
}, numeric(1))
df_sil <- data.frame(k = ks, silhueta = sils)
ggplot(df_sil, aes(k, silhueta)) +
geom_line(color = ac_palette(1), linewidth = 1.1) +
geom_point(size = 3.5, color = ac_palette(1)) +
geom_point(
data = df_sil[which.max(df_sil$silhueta), ],
aes(k, silhueta),
size = 6, shape = 21, stroke = 1.4,
fill = "white", color = ac_palette(1)
) +
scale_x_continuous(breaks = ks) +
labs(
title = "Silhueta media por numero de grupos",
subtitle = "Circulo vazado = k escolhido automaticamente",
x = "k (numero de clusters)", y = "Silhueta media"
) +
theme_ac()
}
4.6 Hard vs. soft — comparando com LDA
Este é o gráfico mais didático da vignette: mostra lado a lado como hard clustering e LDA veem o mesmo corpus. À esquerda, cada linha do heatmap é um documento e cada coluna, o cluster ao qual ele pertence (binário: 0 ou 1). À direita, cada linha é o mesmo documento e cada coluna é a proporção γ do tópico LDA — um gradiente contínuo.
lda_fit <- ac_lda(corpus, k = 2, seed = 42)
hard <- clust$assignments |>
mutate(valor = 1, tipo = paste0("Cluster ", cluster)) |>
select(doc_id, tipo, valor)
soft <- lda_fit$documents |>
mutate(tipo = paste0("Topico ", topic), valor = gamma) |>
select(doc_id, tipo, valor)
plot_df <- bind_rows(
hard |> mutate(painel = "Hard clustering\n(1 = pertence)"),
soft |> mutate(painel = "LDA (soft)\n(gamma = proporcao)")
) |>
mutate(doc_id = factor(doc_id, levels = rev(sort(unique(doc_id)))))
ggplot(plot_df, aes(tipo, doc_id, fill = valor)) +
geom_tile(color = "white") +
facet_wrap(~ painel, scales = "free_x") +
scale_fill_gradient(low = "#F1F5F9", high = ac_palette(1), name = "Valor") +
labs(
title = "Hard vs. soft: a mesma pergunta, duas respostas",
subtitle = "Cluster da uma etiqueta; LDA da proporcoes por documento",
x = NULL, y = NULL,
caption = "acR • ac_cluster_documents vs. ac_lda"
) +
theme_ac() +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
Note como o hard clustering sempre pinta uma célula por linha (o documento é do grupo A ou do grupo B), enquanto o LDA distribui massa — a maior parte dos documentos é ~90% de um tópico, mas alguns ficam repartidos. É a mesma tipologia latente, expressa em duas métricas diferentes.
