Optimiza tu contexto con Session Pruning

¿Alguna vez has sentido que tus conversaciones con el LLM se vuelven pesadas y costosas sin razón aparente? Es frustrante ver cómo el historial se llena de datos técnicos antiguos que ya no aportan nada, consumiendo tokens valiosos y arruinando la eficiencia del caché en sesiones largas.

Session Pruning soluciona esto recortando los resultados de herramientas (toolResult) antiguos en la memoria justo antes de cada llamada al LLM. Lo mejor es que no toca tus archivos en disco, por lo que el historial original se mantiene intacto mientras ahorras dinero en cada petición.

Requisitos previos

• Una cuenta de Anthropic API o acceso a modelos de Anthropic mediante OpenRouter.
• Configuración activa de Gateway.

Inicio rápido

Para activar el recorte basado en el tiempo de vida del caché, sigue estos dos pasos:

1. Configura el modo: Cambia el mode a cache-ttl dentro de la configuración de tu agente.
2. Define el tiempo: Establece un ttl (por ejemplo, 5m) para decidir cuándo se considera que un resultado es lo suficientemente antiguo para ser procesado.

Aquí tienes cómo se ve en tu configuración:

{
  agent: {
    contextPruning: {
      mode: "cache-ttl",
      ttl: "5m",
      tools: { allow: ["exec", "read"], deny: ["*image*"] },
    },
  },
}

Si prefieres mantener el comportamiento por defecto (desactivado), usa esta estructura:

{
  agent: {
    contextPruning: { mode: "off" },
  },
}

Solución de problemas

Si notas que el pruning no se está ejecutando como esperas, revisa estos puntos basados en el comportamiento del sistema:

• Resultados con imágenes: El sistema ignora y nunca recorta los resultados de herramientas que contienen bloques de imagen.
• Falta de mensajes del asistente: Si no hay suficientes mensajes del asistente para establecer el límite de protección (keepLastAssistants), el proceso de pruning se saltará automáticamente.

Detalles del funcionamiento

El sistema utiliza dos métodos para gestionar el tamaño de los datos: el Soft-trim, que mantiene el principio y el final del contenido añadiendo una nota sobre el tamaño original, y el Hard-clear, que reemplaza todo el contenido por un marcador de posición.

Estos son los valores que el sistema usa por defecto cuando activas la función:

• ttl: “5m”
• keepLastAssistants: 3
• softTrimRatio: 0.3
• hardClearRatio: 0.5

¿Necesitas ayuda para ajustar estos parámetros en tu Gateway? Prueba nuestro AI Setup Assistant.

Próximos pasos

• Gateway Configuration
• Compaction Concepts