GOgenier – Guia de Diagnóstico e Solução de Problemas

Este documento apresenta um guia prático para diagnóstico e resolução de problemas no GOgenier, abordando os principais cenários que impactam o funcionamento da plataforma, o consumo de recursos e a qualidade das soluções implementadas. 

Os tópicos abordados são: 

1. Visão Geral 

Este guia tem como objetivo apoiar na identificação, análise e resolução de problemas relacionados ao uso da plataforma GOgenier. 

Ao longo da operação, é comum surgirem cenários que impactam diretamente a performance das soluções, o consumo de recursos e o funcionamento geral das funcionalidades disponibilizadas. 

Pensando nisso, este material foi estruturado como um guia prático de diagnóstico, organizado por cenários recorrentes, apresentando para cada um deles: 

O objetivo é permitir uma análise mais assertiva e direcionada, reduzindo o tempo de investigação e facilitando a identificação da origem dos problemas. 

2. Custo de LLM está caro, o que fazer? 
 
O aumento no custo de utilização de LLMs geralmente está relacionado à forma como os agentes, integrações e configurações da plataforma estão estruturados. 

Em muitos casos, o consumo elevado não está ligado apenas ao volume de interações, mas principalmente a fatores como tamanho do prompt, escolha do modelo e envio de dados desnecessários para processamento. 

Nesta seção, são apresentados os principais pontos de atenção e boas práticas para otimizar o consumo de tokens e reduzir custos operacionais. 
 
2.1. Revisão do Prompt do Agente 

O tamanho do prompt impacta diretamente no consumo de tokens, pois ele é enviado integralmente a cada interação com a LLM. Isso significa que, mesmo em conversas curtas, prompts extensos podem gerar consumo elevado de forma recorrente. 

Além disso, prompts mal estruturados ou com informações redundantes aumentam o custo sem necessariamente melhorar a qualidade das respostas do agente. 

Pontos de atenção: 

Boas práticas: 

2.2. Jornada e Insights Ativos 

Funcionalidades como Relatório de Jornada e Insights realizam processamentos adicionais sobre as interações, o que pode gerar aumento no consumo de tokens, especialmente em cenários com alto volume de mensagens. 

Esse impacto ocorre porque essas funcionalidades utilizam a LLM para gerar análises e registros complementares, ampliando o volume total de processamento além da resposta do agente. 

Pontos de validação: 

Recomendação: 

2.3. Configuração da LLM 

A configuração do modelo de LLM é um ponto crítico para o controle de custos, pois impacta diretamente o consumo de tokens em funcionalidades que utilizam essa definição de forma global. 

A escolha de um modelo mais robusto pode gerar aumento significativo no consumo, mesmo em recursos que não exigem alta complexidade de processamento. 

Pontos de atenção: 

Boas práticas: 

Importante: 
Esses recursos utilizam a configuração global da LLM. Portanto, a escolha de um modelo mais robusto pode impactar diretamente no consumo, mesmo em cenários que não exigem maior capacidade de processamento. 
 
Material complementar: 
Para mais detalhes sobre os modelos de LLM e recomendações de uso, consulte a documentação completa sobre o assunto: 

GOgenier - Como Escolher o Melhor LLM para sua Operação 
 

2.4. Atenção nas Integrações (APIs) 

Integrações realizadas via API podem impactar diretamente o consumo de tokens, especialmente quando retornam grandes volumes de dados que são enviados para processamento pela LLM. 

Em muitos casos, esses retornos incluem informações desnecessárias para a resposta do agente, aumentando o consumo sem gerar valor adicional. 
 
Problema comum: 

Pontos de atenção: 

Boas práticas: 

2.5. Escolha Adequada da LLM por Tipo de Agente 

A definição do modelo de LLM deve considerar o objetivo e a complexidade de cada agente. Nem todos os cenários exigem o uso de modelos robustos, e a escolha inadequada pode gerar aumento de custo sem ganho proporcional de qualidade. 

A utilização de modelos mais avançados deve ser reservada para casos em que há necessidade real de maior capacidade de interpretação, análise ou personalização. 

Boas práticas: 

Exemplos de aplicação 

Agentes simples (baixo consumo recomendado): 

Indicação: modelos leves como GPT-4.1. mini 
 

Agentes intermediários: 

Indicação: modelos intermediários 
 

Agentes avançados (alto consumo justificado): 

Indicação: modelos mais robustos como GPT-5.2. 

Material complementar: 

Para mais detalhes sobre os modelos de LLM e recomendações de uso, consulte a documentação completa sobre o assunto: 
GOgenier - Como Escolher o Melhor LLM para sua Operação   

3. Agente não está respondendo o que eu quero 

3.1. Clareza do Prompt 

O agente responde com base no que foi instruído no prompt, e não no que é esperado implicitamente. Isso significa que qualquer ambiguidade, ausência de informação ou instrução incompleta pode impactar diretamente a qualidade da resposta. 

Se o direcionamento fornecido ao agente não for claro e objetivo, a resposta tende a refletir essa falta de precisão. 

Pontos de atenção: 

Regra de ouro: 
O agente responde o que foi pedido, não o que era esperado. 

 
3.2. Qualidade e Completude dos Dados (Base de Conhecimento) 

A qualidade das respostas do agente está diretamente relacionada à disponibilidade e à estrutura das informações fornecidas. Quando os dados são incompletos, inconsistentes ou não estão acessíveis no momento da interação, o agente tende a gerar respostas imprecisas ou insuficientes. 

Para garantir um bom desempenho, é fundamental assegurar que todas as fontes de informação estejam corretamente configuradas e contenham os dados necessários. 

Fontes de dados: 

Pontos de validação: 

Importante: 
Na ausência de dados adequados, o agente pode tentar completar a resposta com base em inferência, o que aumenta o risco de imprecisão. Por outro lado, quando os dados estão completos e bem estruturados, a tendência é de respostas mais assertivas e confiáveis. 
 

3.3. Evitar Respostas Indevidas 

Quando o agente é instruído a responder sobre um tema sem que as informações necessárias estejam disponíveis, há uma tendência de geração de respostas incorretas ou imprecisas. 

Esse comportamento ocorre porque o agente tenta atender à solicitação mesmo sem possuir dados suficientes, o que pode comprometer a confiabilidade da resposta. 

Pontos de atenção: 

Boas práticas: 

Exemplos: 

Importante: 
A definição dessas regras reduz significativamente a ocorrência de respostas incorretas e aumenta a confiabilidade do agente. 
 

3.4. Definição Clara de Regras e Comportamentos 

O agente opera com base em um fluxo lógico definido pelas instruções do prompt. Quanto mais detalhadas e específicas forem essas instruções, maior tende a ser a qualidade e consistência das respostas. 

Instruções genéricas ou pouco claras podem levar a interpretações incorretas, impactando diretamente o comportamento do agente. 

Pontos de atenção: 

Boas práticas: 

Exemplo: 

Importante: 
O agente deve ser tratado como um recurso que executa exatamente o que foi definido. Quanto mais específico for o direcionamento, maior será a assertividade das respostas. 

3.5. Validação de Fluxo e Contexto 

O correto funcionamento do agente depende da consistência do fluxo definido e do contexto disponível durante a interação. Problemas nesses pontos podem comprometer a continuidade da conversa e a coerência das respostas. 

Falhas no contexto ou conflitos entre regras podem fazer com que o agente perca informações importantes ou adote comportamentos inconsistentes ao longo da jornada. 

Pontos de atenção: 

Boas práticas: 

Importante: 
A consistência entre contexto e regras é essencial para garantir respostas coerentes e uma experiência contínua ao longo da interação. 

3.6. Integrações e Dados Externos 

As integrações com sistemas externos são uma das principais fontes de dados para o agente, e sua qualidade impacta diretamente a assertividade das respostas. 

Dados incorretos, mal estruturados ou de difícil interpretação podem comprometer o entendimento do agente e resultar em respostas inconsistentes ou imprecisas. 

Pontos de atenção: 

Boas práticas: 

Importante: 
Dados mal estruturados ou confusos impactam diretamente a qualidade da resposta, mesmo quando o prompt e as regras estão corretamente definidos. 
 

3.7. Escolha da LLM Adequada 

A escolha do modelo de LLM pode influenciar na qualidade das respostas do agente, especialmente em cenários que exigem maior capacidade de interpretação ou análise. 

Modelos mais simples podem apresentar limitações ao lidar com instruções complexas, enquanto modelos mais avançados podem melhorar o desempenho — desde que o problema não esteja relacionado à ausência de dados ou à definição inadequada de regras. 

Pontos de atenção: 

Importante: 
Antes de alterar o modelo de LLM, é fundamental validar: 

A troca de modelo deve ser considerada apenas após garantir que esses três elementos estejam corretamente definidos. 

Material complementar: 
Para mais detalhes sobre os modelos de LLM e recomendações de uso, consulte a documentação completa sobre o assunto: 
GOgenier - Como Escolher o Melhor LLM para sua Operação 

4. Análise de Logs no Playground 

O Playground deve ser utilizado como ferramenta de auditoria sempre que houver problemas no comportamento do agente. Ele permite testar o agente de forma isolada, facilitando a identificação da origem dos erros com maior clareza. 
 
 
Ao simular interações diretamente no Playground, é possível analisar o comportamento do agente sem interferências externas, tornando o diagnóstico mais preciso. 

Pontos de validação: 

Boas práticas: 

Recomendação: 
Sempre que surgir um problema no agente: 

Importante: 
O Playground funciona como um recurso de diagnóstico direto do agente, permitindo uma análise mais rápida e assertiva dos problemas. 
 

5. Para que serve o Agente Curador e Como Configurar 

O Agente Curador atua como uma camada de controle de qualidade, sendo responsável por analisar as respostas geradas pelo agente principal e avaliar sua aderência às diretrizes definidas. 

Seu papel é garantir que o agente não apenas responda, mas entregue respostas com qualidade, consistência e assertividade. 

Avaliações realizadas: 

Objetivos: 

Como configurar: 

Exemplo de comando: 
Criar um agente responsável por avaliar o desempenho de um agente de suporte ao cliente, verificando se as respostas estão corretas, completas e alinhadas com a base de conhecimento, além de identificar falhas e sugerir melhorias. 

Recomendação: 
Para construção do prompt, é possível utilizar ferramentas como ChatGPT ou Claude, garantindo uma estrutura mais completa e eficiente para o agente curador.