A Temida Matemática

Nesta série, a curiosa leitora irá enfrentar os Transformers. E vencerá. Mas, tenho que admitir, não há qualquer relação com o Optimus Prime. Este transformer você não venceria. Se for estes Transformers que está procurando, o Google falhou com você!

Aqui vamos discutir os Transformers que são modelos de aprendizado de máquina que revolucionaram o processamento de linguagem natural (NLP, de Natural Language Processing). Estas técnicas, e algoritmos, foram apresentadas ao mundo em um artigo intitulado Attention is All You Need (Atenção é Tudo que Você Precisa), publicado em 2017¹ na conferência Advances in Neural Information Processing Systems (NeurIPS). Observe, atenta leitora, que isso se deu há quase 10 anos. No ritmo atual, uma eternidade.

O entendimento da linguagem natural por máquinas é um desafio importante que beirava o impossível. Hoje, este problema parece estar resolvido. Se isso for verdade, terá sido graças às técnicas e aos algoritmos criados em torno de aprendizado de máquina, fundamentado em cálculo e estatística. Ou se preferir, podemos dizer que usamos algoritmos determinísticos para aplicar técnicas estocásticas em bases de dados gigantescas e assim, romper os limites que haviam sido impostos pela linguística matemática e computacional determinísticas. Nos dois casos, a matemática reina absoluta.

Veremos como esses modelos, inicialmente projetados para tradução automática, se tornaram a base para tarefas como geração de texto e conversação, como no GPT-3, compreensão de linguagem em texto e até mesmo em áudio.

Será uma longa, longa viagem. Que começa com a definição das ferramentas mínimas necessárias para entender este universo.

Para criar um conjunto sólido de capacidades cognitivas, começaremos com as técnicas de representação mais simples e os conceitos matemáticos fundamentais: vetores, produtos escalares e multiplicação de matrizes. E, gradualmente, construiremos nosso entendimento.

O que suporta todo este esforço é a esperança de que a esforçada leitora possa acompanhar o raciocínio e entender como os Transformers funcionam a partir do seu cerne. E, com esta base sólida, possa criar suas próprias soluções.