Overfitting
Ir para notas que citam estaOverfitting é o fenômeno em que um modelo se ajusta tão especificamente aos dados de treino que passa a generalizar mal e a errar diante de entradas fora daquele padrão.
É o principal risco do Fine-tuning. O ajuste fino existe justamente para estreitar o comportamento de um modelo pré-treinado em torno de uma tarefa; quando esse estreitamento vai longe demais, ou quando os exemplos de treino são poucos ou desbalanceados, o modelo aprende o padrão dos exemplos em vez da tarefa. O resultado parece ótimo nas entradas parecidas com o treino e falha assim que surge algo diferente.
Como o sobreajuste aparece num classificador simples
Um classificador de imagens ajustado com poucas fotos de cachorros e gatos ilustra bem o sintoma. Com cada animal sozinho na imagem, o modelo acerta com confiança perto de 100%. Diante de uma foto com um gato e um cachorro juntos, ele responde gato: o gato aparece maior na imagem e havia mais amostras de gato no conjunto de treino, e essas duas pistas pesam mais do que a presença do cachorro.
O mesmo vale para uma entrada que não pertence a nenhuma classe. Uma raposa tende a ser encaixada à força em cachorro ou gato, provavelmente gato, porque o modelo só conhece essas duas categorias, não tem uma opção de nenhuma das anteriores e puxa o desconhecido para a classe com mais exemplos parecidos. Mesmo algumas amostras de uma classe nova tendem a ser absorvidas pela classe majoritária.
Como detectar e mitigar
- Separar dados de teste dos dados de treino. Ter muitos exemplos de treino não basta: é preciso um conjunto de validação que o modelo nunca viu, para confirmar se ele generaliza.
- Diversificar os exemplos. Mais posições, mais raças, iluminação variada, desenhos além de fotos. Quando os dados são escassos, o Aumento de Dados de Treinamento gera variações que ampliam a cobertura.
- Equilibrar as classes e, quando fizer sentido, criar uma classe para o caso misto ou para o que não é nenhuma das opções.
- Ajustar os hiperparâmetros aos poucos, reavaliando a cada rodada com os dados de teste. Valores mais altos de épocas ou de taxa de aprendizado não garantem resultado melhor e podem piorar o que já funcionava.
Um modelo que acerta tudo nos exemplos que viu pode ser justamente o que está sobreajustado. A medida que importa é o desempenho em entradas novas.