Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Habilidades Especiais na Especialização de LLM

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Habilidades especiais na especialização de LLM são as capacidades concretas que o modelo precisa ter para cumprir o objetivo, explicitadas antes de escolher modelo, dados e avaliação.

Elas existem porque um objetivo de especialização costuma ser formulado de forma ampla demais para orientar decisões. Dizer que se quer uma IA que gere código-fonte não diz qual modelo escolher, que dados reunir nem como julgar as respostas. Destrinchar esse objetivo nas habilidades que o sustentam (gerar código, ler arquivos de código, responder em chat, produzir um arquivo pronto) transforma a intenção em critérios verificáveis.

No Método de Especialização de LLM, as habilidades especiais entram como complemento do pilar de expectativas, o primeiro dos quatro. A ideia nasceu da dinâmica MonsterLabS, em que cada equipe montou um monstro representando uma especialização, com seu modelo, ferramental, dados e forma de avaliar as respostas, e também com os comportamentos que ele deveria ter. Na dinâmica essas habilidades são poucas e lúdicas; numa especialização real, a lista precisa ser bem mais completa.

Habilidades explícitas e habilidades implícitas

Todo pedido tem uma habilidade explícita, a que aparece no próprio enunciado, e várias implícitas, que ficam subentendidas mas decidem se a especialização funciona. Especializar uma IA para gerar código-fonte de um projeto bancário deixa explícita a geração de código. Só que, para gerar código coerente com o projeto, o modelo precisa ler bem os arquivos que já existem, e talvez precise responder em chat para explicar o que fez.

Por isso um modelo especializado apenas em gerar código a partir de um prompt pode ser menos útil do que outro um pouco pior em geração pura, mas bom em ler arquivos. A habilidade que parece principal nem sempre é a que pesa mais no uso real.

Como o formato de saída muda as prioridades

O formato em que o resultado deve chegar reorganiza a importância de cada habilidade. Código entregue como texto para copiar e colar, como arquivo separado ou implementado direto no projeto exige capacidades diferentes: no último caso, leitura do repositório e respeito à estrutura existente passam a ser críticas. Definir esse formato faz parte de explicitar as habilidades e ajuda a descobrir qual delas é realmente indispensável.

O que se perde sem destrinchar as habilidades

Quando a expectativa fica genérica, a especialização perde nuances, e o erro se propaga para todo o resto do método:

  • a escolha do modelo é feita pela habilidade errada ou só pela mais visível;
  • os dados reunidos não cobrem as habilidades implícitas;
  • a avaliação das respostas não tem régua clara, porque não se sabe o que a resposta deveria demonstrar.
Habilidades definem a régua de avaliação

Ao comparar modelos, por exemplo no LM Arena, a pergunta sobre qual resposta é melhor só tem resposta quando se sabe que habilidade e que nível de detalhe se espera.

Exemplo com análise de vulnerabilidades de código

Uma especialização cujo objetivo é analisar vulnerabilidades de código ilustra o ponto. Ao pedir a dois modelos um ponto de partida para essa análise, um deles organizou a resposta pelo processo, começando por análise de dependências, e o outro pelos principais tipos de vulnerabilidade. Nenhuma das duas é certa em absoluto: para quem precisa primeiro de um roteiro prático, a lista objetiva de passos serve melhor; para quem precisa dominar as categorias de falha, a resposta explicativa ganha. A preferência depende do nível de detalhe que a habilidade exige naquele momento, e isso só fica claro quando a habilidade foi escrita antes do teste.