Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

AI Toolkit

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

AI Toolkit é a extensão da Microsoft para o Visual Studio Code que conecta, testa, compara e avalia modelos de IA locais ou em nuvem a partir de um catálogo integrado.

A extensão leva para dentro do editor o trabalho de escolher um modelo: em vez de alternar entre sites e painéis de fornecedores, os candidatos ficam num catálogo único e podem ser confrontados com o mesmo prompt, ao lado do código que vai usá-los. Isso é útil sobretudo em tarefas repetitivas com uma entrada variável: primeiro se descobre qual modelo responde melhor, depois se fixa esse modelo para a atividade.

Catálogo, playground e comparação

O catálogo aceita modelos de vários provedores: modelos disponibilizados via GitHub (com a conta do usuário), modelos da OpenAI e do Gemini com chave de API e modelos que rodam na própria máquina, na linha da Execução Local de Modelos de Linguagem.

  • Playground: testa um modelo isolado, definindo parâmetros e contexto da conversa.
  • Compare: roda o mesmo prompt em dois ou mais modelos lado a lado e mostra as respostas e o número de tokens que cada um gastou.

Um confronto entre um modelo local pequeno, na casa de 1 bilhão de parâmetros, e um modelo grande via API mostra o valor desse recurso: o modelo pequeno entregou uma resposta satisfatória para a tarefa, sem precisar do maior modelo disponível. O modelo local também não consome tokens pagos, o que muda a conta de custo. A qualidade do conteúdo continua precisando ser conferida.

Ferramentas via MCP e pipelines de agentes

A extensão se conecta a servidores do Model Context Protocol, como o servidor MCP do GitHub, para dar ao modelo funções adicionais durante os testes. Isso só funciona com modelos que suportam chamada de ferramentas: um modelo local muito pequeno pode não ter esse suporte e ficar de fora.

O recurso de execução em lote (bulk run) monta um pipeline de agentes ligados por MCP, cada um responsável por uma etapa (processar o texto, gerar conteúdo, avaliar), e roda todos juntos até a avaliação final.

Avaliação contra resposta esperada

O módulo de avaliação compara a resposta do modelo com uma resposta esperada. O dataset mais simples tem, em cada linha, três campos: a pergunta (query), a resposta esperada (ground truth) e a resposta obtida. A ferramenta calcula a similaridade e devolve uma pontuação, e é possível escolher as métricas, como F1 score e METEOR, ou criar um avaliador próprio com um único critério. O avaliador pode ser outro modelo instruído com uma regra explícita, na lógica do LLM as a Judge.

JSON Lines não tolera edição solta

O dataset fica em formato JSON Lines, em que cada linha precisa ser um objeto JSON completo e válido. Abrir o arquivo como JSON comum e editá-lo à mão quebra a estrutura, e todas as avaliações seguintes falham na conversão.

Para interpretar o resultado, é preciso conhecer a escala de cada métrica: um valor abaixo de 1 só diz algo quando se sabe o intervalo em que a métrica varia.

Fine-tuning dentro da ferramenta

A extensão também oferece um fluxo de Fine-tuning, em que o modelo ajustado é baixado para uso local. Vale a regra geral de preparo dos dados: para cada resposta esperada, a mesma pergunta deve aparecer formulada de vários jeitos, de três ou quatro até cerca de dez variações, técnica próxima do Aumento de Dados de Treinamento. Isso ajuda o modelo a generalizar, mas o modelo ajustado responde bem apenas dentro do escopo das perguntas para as quais foi preparado.