Desvendando a Modelagem de Sequências

Modelando Sequencias - Além da Frequência de Termos

Em Você Pensa Como Fala, A Temida Matemática, A Probabilidade da Linguagem e A Vetorização Básica, construímos os fundamentos matemáticos e os primeiros algoritmos de vetorização para textos. Vimos como representar palavras e documentos como vetores, mas também percebemos que representações como TF-IDF descartam parte do significado semântico.

A atenta leitora deve ter percebido, ao longo de toda a sua vida, que a linguagem natural parece seguir estruturas sequenciais. A posição de uma palavra em uma frase é importante para a construção do significado. A frase “O cachorro mordeu o homem” é muito diferente da frase “O homem mordeu o cachorro”, apesar de usarem as mesmas palavras.

Neste artigo, a esforçada leitora adentrará os mares de incerteza, probabilidades e sequências.

Começaremos com as abordagens probabilísticas clássicas, as Cadeias de Markov, intimamente relacionadas aos modelos N-gram, para entender como a dependência local, a relação entre uma palavra e seus vizinhos, pode ser modelada matematicamente. Essa compreensão nos levará a explorar mecanismos mais poderosos, construindo a intuição necessária para entender conceitos como o conceito de atenção, que revolucionou o campo do processamento de linguagem natural e é a espinha dorsal dos Transformers. Embora existam outros paradigmas importantes para modelagem sequencial, como as Redes Neurais Recorrentes (RNNs, LSTMs, GRUs), nosso foco aqui será traçar um caminho específico que nos levará diretamente aos fundamentos conceituais dos Transformers.