AI Toolkit
Ir para notas que citam estaAI Toolkit é a extensão da Microsoft para o Visual Studio Code que conecta, testa, compara e avalia modelos de IA locais ou em nuvem a partir de um catálogo integrado.
A extensão leva para dentro do editor o trabalho de escolher um modelo: em vez de alternar entre sites e painéis de fornecedores, os candidatos ficam num catálogo único e podem ser confrontados com o mesmo prompt, ao lado do código que vai usá-los. Isso é útil sobretudo em tarefas repetitivas com uma entrada variável: primeiro se descobre qual modelo responde melhor, depois se fixa esse modelo para a atividade.
Catálogo, playground e comparação
O catálogo aceita modelos de vários provedores: modelos disponibilizados via GitHub (com a conta do usuário), modelos da OpenAI e do Gemini com chave de API e modelos que rodam na própria máquina, na linha da Execução Local de Modelos de Linguagem.
- Playground: testa um modelo isolado, definindo parâmetros e contexto da conversa.
- Compare: roda o mesmo prompt em dois ou mais modelos lado a lado e mostra as respostas e o número de tokens que cada um gastou.
Um confronto entre um modelo local pequeno, na casa de 1 bilhão de parâmetros, e um modelo grande via API mostra o valor desse recurso: o modelo pequeno entregou uma resposta satisfatória para a tarefa, sem precisar do maior modelo disponível. O modelo local também não consome tokens pagos, o que muda a conta de custo. A qualidade do conteúdo continua precisando ser conferida.
Ferramentas via MCP e pipelines de agentes
A extensão se conecta a servidores do Model Context Protocol, como o servidor MCP do GitHub, para dar ao modelo funções adicionais durante os testes. Isso só funciona com modelos que suportam chamada de ferramentas: um modelo local muito pequeno pode não ter esse suporte e ficar de fora.
O recurso de execução em lote (bulk run) monta um pipeline de agentes ligados por MCP, cada um responsável por uma etapa (processar o texto, gerar conteúdo, avaliar), e roda todos juntos até a avaliação final.
Avaliação contra resposta esperada
O módulo de avaliação compara a resposta do modelo com uma resposta esperada. O dataset mais simples tem, em cada linha, três campos: a pergunta (query), a resposta esperada (ground truth) e a resposta obtida. A ferramenta calcula a similaridade e devolve uma pontuação, e é possível escolher as métricas, como F1 score e METEOR, ou criar um avaliador próprio com um único critério. O avaliador pode ser outro modelo instruído com uma regra explícita, na lógica do LLM as a Judge.
O dataset fica em formato JSON Lines, em que cada linha precisa ser um objeto JSON completo e válido. Abrir o arquivo como JSON comum e editá-lo à mão quebra a estrutura, e todas as avaliações seguintes falham na conversão.
Para interpretar o resultado, é preciso conhecer a escala de cada métrica: um valor abaixo de 1 só diz algo quando se sabe o intervalo em que a métrica varia.
Fine-tuning dentro da ferramenta
A extensão também oferece um fluxo de Fine-tuning, em que o modelo ajustado é baixado para uso local. Vale a regra geral de preparo dos dados: para cada resposta esperada, a mesma pergunta deve aparecer formulada de vários jeitos, de três ou quatro até cerca de dez variações, técnica próxima do Aumento de Dados de Treinamento. Isso ajuda o modelo a generalizar, mas o modelo ajustado responde bem apenas dentro do escopo das perguntas para as quais foi preparado.