Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Arquitetura Medalhão

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Arquitetura medalhão é a organização de um pipeline de dados em camadas bronze (cru), prata (transformado) e ouro (pronto para consumo), com checagens de qualidade entre elas.

É o modelo típico de uma esteira de engenharia de dados vista de forma abstrata, antes de entrar nos componentes. Depois da produção e da ingestão, etapas comuns a pipelines de dados, de NLP e de GenAI, o dado atravessa as três camadas e é transformado progressivamente até estar pronto para dashboards ou para esteiras de machine learning. Os nomes das camadas não são obrigatórios: qualquer conjunto de fases com o mesmo objetivo de transformação progressiva cumpre o papel.

O papel de cada camada

  • Bronze: recebe o dado exatamente como ele chega da fonte, cru e sem tratamento.
  • Prata: é onde o dado é intensamente transformado.
  • Ouro: entrega o dado pronto, num formato consistente, para consumo em dashboards ou como insumo de modelos de machine learning.

Onde entram as checagens de qualidade

A passagem de bronze para prata é o ponto mais forte de aplicação de quality checks do pipeline: é ali que as dimensões de qualidade de dados são verificadas com mais rigor. Ferramentas de ETL com funcionalidade de catálogo, como o AWS Glue, podem identificar informação sensível já na entrada e limpá-la antes que o dado siga para as camadas prata e ouro. Um problema detectado em qualquer etapa deve ser barrado ou sinalizado para as etapas seguintes e reportado ao sistema de origem, nunca chegar ao consumo.

Conectar uma solução de GenAI à camada ouro

É comum ligar um pipeline de GenAI diretamente à camada ouro, porque o dado que chega ali já passou por limpeza e tem alguma garantia de qualidade e de anonimização. Nesse arranjo, a Limpeza de Dados Antes da Vetorização se ocupa menos de qualidade básica e mais de adequar o dado ao modelo, como parte da Preparação de Dados para Modelos de IA.