Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Function Calling para Ampliar a Capacidade dos Modelos (2024-09-23)

23 set 20241h 08min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o function calling, recurso disponível em diversos modelos de linguagem que permite ao modelo identificar quando precisa de informações ou operações externas, acionar uma função ou API e usar o resultado para produzir uma resposta mais atualizada e precisa. Foram discutidas limitações dos modelos, como desatualização após o treinamento, alucinações e dificuldade com cálculos ou dados em tempo real, além da relação com técnicas como fine-tuning e RAG. O function calling foi descrito como complementar a essas abordagens, podendo consultar clima, voos, notícias, estatísticas, bancos de dados e outros aplicativos, com custo e complexidade potencialmente menores que um novo treinamento do modelo.

Na demonstração prática, foi utilizado um modelo local executado pelo Ollama, com funções para consultar e atualizar o tempo de voo entre cidades, incluindo tratamento de atrasos, cache, parâmetros obrigatórios e funções de fallback. Também foram exploradas possibilidades de encadear múltiplas funções, criar agentes e personagens com comportamentos distintos para jogos, integrar ferramentas a assistentes virtuais e usar modelos locais em ambientes como editores de código e cadernos de anotações. A conversa final reforçou o potencial do recurso para aumentar a assertividade, lidar com dados atualizados e construir sistemas mais autônomos, mas ficaram em aberto novos experimentos com web scraping, múltiplos agentes, geração de voz e aplicações em jogos.

Gerado por IA a partir da transcrição.
Capítulos · 36
00:03
Abertura e apresentação da sessão
Assistir
01:18
Estrutura da sessão e contexto do Solutis Labs
Assistir
03:54
Objetivos da bancada de IA generativa
Assistir
05:09
Desatualização e limitações dos modelos de linguagem
Assistir
06:26
Function calling como forma de enriquecer respostas
Assistir
09:01
Fluxo de funcionamento das funções
Assistir
10:19
Casos de uso e integração com aplicações
Assistir
12:53
Diferenças entre function calling, RAG e prompt engineering
Assistir
19:15
Modelos compatíveis e início do hands-on
Assistir
20:32
Execução de modelos locais com Ollama
Assistir
23:06
Exemplo prático: consulta de tempo de voo
Assistir
24:23
Atualização de dados em tempo real via função
Assistir
28:14
Ollama, Continue e ferramentas para modelos locais
Assistir
32:11
Instalação, escolha e desempenho dos modelos
Assistir
34:45
Implementação de tools e parâmetros de funções
Assistir
37:16
Ciclo de chamadas e processamento das funções
Assistir
38:36
Criando uma função para contar piadas
Assistir
43:44
Exemplo de múltiplos personagens e agentes
Assistir
45:03
NPCs, modelos e chamadas de função
Assistir
46:20
Personagens, lojas e sistemas de jogo
Assistir
47:36
Quests dinâmicas e modelos menores
Assistir
48:53
Ferramentas para facilitar o trabalho do mestre
Assistir
50:12
Compatibilidade de modelos e encerramento da demonstração
Assistir
51:33
Precisão numérica com function calling
Assistir
52:50
Orquestração, fallback e validação de respostas
Assistir
54:07
Geração e clonagem de vozes
Assistir
55:22
Persistência de dados e automação por código
Assistir
56:38
Assistentes virtuais com acesso a informações atuais
Assistir
57:55
Limitações e evolução de assistentes como Alexa
Assistir
59:11
Dados em tempo real e atualização de modelos
Assistir
1:00:26
Custo energético do treinamento de modelos
Assistir
1:01:43
Modelos locais, GPUs e geração de conteúdo
Assistir
1:03:00
Criação de mundos e jogos personalizados por IA
Assistir
1:04:15
Projetos, web scraping e ferramentas para apresentação
Assistir
1:05:30
Sistemas multiagentes e delegação de tarefas
Assistir
1:06:49
AutoGPT, Langflow e encerramento da sessão
Assistir
Cortes · 12
Function calling: como atualizar as respostas dos modelos
A sessão explica como modelos de linguagem podem acionar funções e APIs externas para buscar informações atuais, como clima, voos, cálculos e estatísticas. Também são apresentados os principais casos de uso e a integração com chatbots, bancos vetoriais e outras técnicas.
05:09 – 12:53Assistir
Function calling, RAG e enriquecimento de contexto
Em uma explicação conduzida a partir de perguntas do público, os participantes diferenciam function calling, RAG, fine-tuning e engenharia de prompts. O trecho mostra como dados específicos são recuperados de uma base vetorial ou de ferramentas externas para tornar a resposta do modelo mais contextualizada.
12:53 – 19:15Assistir
Demonstração: modelo local usando uma função de voos
É feita uma demonstração prática com um modelo local pequeno, mostrando primeiro uma resposta sem dados atualizados e depois o uso de uma função para consultar o tempo de voo entre São Paulo e Salvador. Ao alterar os dados retornados pela função, o modelo passa a responder com informações atualizadas em tempo real.
20:32 – 26:58Assistir
Executando modelos locais e configurando ferramentas
O trecho apresenta o Ollama como forma de executar modelos localmente, explica requisitos de hardware e mostra ferramentas de integração, como plugins de editor e aplicativos de anotações. Em seguida, a demonstração detalha a configuração de uma função, seus parâmetros, a chamada da API e o processamento da resposta pelo modelo.
26:58 – 38:32Assistir
Criando uma função personalizada para o modelo
A demonstração tenta adicionar ao modelo uma função para contar piadas e orientar seu comportamento por meio de instruções e parâmetros. O resultado evidencia as limitações do modelo escolhido e a necessidade de selecionar modelos adequados ou usar uma etapa adicional de tradução e processamento.
38:36 – 43:44Assistir
NPCs, personagens e regras em um RPG com IA
A apresentação explora uma arquitetura de múltiplos perfis para narradores, NPCs e personagens jogáveis, permitindo respostas diferentes conforme o ponto de vista. Também mostra como configurar comportamentos, lojas, missões e regras de diferentes versões de sistemas de RPG usando chamadas de função.
43:44 – 48:53Assistir
Function calling para respostas mais precisas
A conversa mostra como funções podem tornar respostas numéricas e dados atualizados mais confiáveis do que depender apenas do modelo de linguagem. Também é explicado o uso de funções de fallback e limites mínimo e máximo para validar resultados e evitar valores absurdos.
51:33 – 54:07Assistir
Geração de voz e tentativa de clonar a própria voz
Os participantes discutem serviços de síntese de voz, criação de personalidades vocais e o desejo de executar esse processamento localmente. Também relatam dificuldades ao treinar uma voz própria, especialmente por o resultado soar monótono ou diferente da identidade original.
54:07 – 55:22Assistir
Function calling transformando assistentes virtuais
O grupo discute como chamadas de função permitem que modelos consultem sites, notícias e outras fontes em tempo real, superando a limitação de conhecimento congelado. A conversa compara essa possibilidade com assistentes como Alexa e aborda como dados atuais podem ser integrados à interação.
56:38 – 1:00:26Assistir
Custo computacional e evolução dos modelos de IA
Os participantes comentam a dificuldade e o custo energético de treinar e executar modelos grandes, incluindo investimentos em infraestrutura e usinas de energia. Também discutem modelos locais, atualizações recentes e ferramentas de geração de imagens, conteúdo, NPCs e cenários.
1:00:26 – 1:03:00Assistir
Jogos e mundos personalizados gerados por IA
A conversa imagina jogos capazes de criar mundos, histórias e cadeias de eventos sob medida para cada jogador. Os participantes discutem a possibilidade de recompilar a narrativa conforme as preferências do usuário e refletem sobre os potenciais criativos e riscos dessa personalização.
1:03:00 – 1:04:15Assistir
Sistemas multiagentes e equipes de desenvolvedores virtuais
É apresentado o conceito de sistemas que criam vários agentes especializados, organizados hierarquicamente para delegar tarefas e trabalhar em conjunto. A discussão também relaciona essa abordagem a experimentos com personagens autônomos em jogos e a ferramentas de desenvolvimento baseadas em agentes.
1:05:30 – 1:08:00Assistir
Perguntas desta sessão
Qual é a missão e o contexto do Solutis Labs?
O Solutis Labs atua como um propulsor da comunidade Solutis, explorando e estudando tecnologias disruptivas que estão ganhando espaço no mercado. A bancada de IA generativa investiga as capacidades dos modelos disponíveis e formas de aplicá-los.
02:30 – 03:26Assistir
Qual é o cenário atual dos modelos de linguagem disponíveis no mercado?
Depois de treinados e disponibilizados, os modelos de linguagem ficam desatualizados, o que pode comprometer seu desempenho. O treinamento é caro e pode incluir informações pouco úteis ou deixar de fora dados relevantes. Além disso, quando não conseguem responder, os modelos podem alucinar. Técnicas como fine-tuning e enriquecimento de prompts ajudam a contornar essas limitações, e o Function Calling é apresentado como uma alternativa para casos específicos.
05:43 – 07:25Assistir
O que é RAG (Retrieval-Augmented Generation) e como ele personaliza as respostas de um modelo de linguagem?
RAG usa dados específicos de um domínio, que são vetorizados e armazenados em um banco de dados vetorial. Quando o usuário faz uma pergunta, o sistema recupera os trechos relevantes e os adiciona ao prompt como contexto, permitindo respostas mais específicas e atualizadas sem modificar o modelo.
13:29 – 15:50Assistir
Quais são as configurações da máquina usada para executar o modelo local?
A máquina tem um processador Ryzen 5 2000, com 8 núcleos a 3,5 GHz, 32 GB de RAM e uma placa de vídeo GTX 1050 com 4 GB. Essa configuração permite executar modelos locais de aproximadamente 8 bilhões de parâmetros, distribuindo o processamento entre GPU e CPU.
21:52 – 22:57Assistir
O que é o Ollama e para que ele serve?
O Ollama é uma forma simples de executar modelos de linguagem localmente. Ele é disponibilizado pela Meta, pode ser instalado em diferentes sistemas operacionais e oferece uma ferramenta de linha de comando para baixar e usar modelos.
28:05 – 28:29Assistir
É possível disponibilizar e executar um modelo local usando o Ollama?
Sim. É possível instalar o Ollama em diferentes ambientes por meio dos links fornecidos; depois, o modelo pode ser baixado e executado pelo terminal, usando o nome específico do modelo.
32:18 – 32:33Assistir
É possível executar um modelo de aproximadamente 40 bilhões de parâmetros em um computador com 64 GB de RAM?
Embora seja possível iniciar o modelo, ele não terá boa performance apenas com essa quantidade de memória. É preferível usar uma placa de vídeo compatível, pois o processamento pode ser distribuído entre CPU e GPU.
33:18 – 33:31Assistir
Quais parâmetros uma função de Function Calling pode declarar para consultar tempos de voo?
A função pode declarar parâmetros como cidade ou aeroporto de partida e de chegada; os campos obrigatórios devem ser especificados no esquema para que o modelo saiba quais informações precisa fornecer.
37:06 – 37:14Assistir
O que acontece quando faltam parâmetros obrigatórios em uma chamada de função?
O modelo pode informar que não consegue executar a função por falta de dados ou tentar preencher os parâmetros com base no contexto da conversa. Por isso, é importante validar as informações recebidas antes de executar a chamada.
37:14 – 37:21Assistir
As informações capturadas em tempo real pelos assistentes também servem para treinar ou atualizar os modelos?
As informações em tempo real são usadas pelos assistentes e podem potencialmente retroalimentar os modelos, contribuindo para melhorias contínuas, embora isso não equivalha necessariamente a um novo treinamento completo.
59:43 – 59:59Assistir