A Probabilidade da Linguagem

Um modelo de linguagem pode completar uma frase, traduzir um parágrafo, responder a uma pergunta ou produzir uma quantidade industrial de texto sobre assunto nenhum. Antes de qualquer uma dessas façanhas, porém, ele faz algo muito mais modesto e muito mais preciso: recebe um contexto e distribui probabilidade entre as continuações possíveis. Todo o restante começa aí.

Nos artigos anteriores, transformamos palavras em vetores e vimos que a matemática oferece uma linguagem capaz de representar objetos linguísticos. Falta agora definir o que significa uma continuação ser mais provável que outra, como aprender essas probabilidades a partir de um corpus e como medir o preço de uma previsão ruim. É desse caminho que nascem expressões repetidas em aprendizado de máquina: máxima verossimilhança, NLL, entropia cruzada, divergência KL e perplexidade. Frequentemente apresentadas como cinco ideias diferentes, elas são cinco vistas da mesma conta.