Skip to main content

Resumen

Devin Desktop incluye una API de analítica personalizada. Permite consultar datos de Autocomplete, chat y Command, además de aplicar diversos filtros, agrupaciones y agregaciones. Incluimos todos los ejemplos en curl; luego pueden traducirse a solicitudes HTTP en otros lenguajes.
La API de Analytics está disponible para los planes Enterprise

Especificación de la API de analítica de datos de usuarios

Los datos de la tabla Users de la página Teams se pueden obtener con el siguiente comando:
SERVICE_KEY: La clave de servicio: un usuario Admin puede crearla desde la sección de claves de servicio de la página de Settings. El rol de la clave de servicio debe tener permisos de “Teams de solo lectura”. GROUP_NAME: El nombre de un grupo para filtrar. Este campo es opcional. START_TIMESTAMP/END_TIMESTAMP: Marcas de tiempo en formato RFC 3339, por ejemplo, 2023-01-01T00:00:00Z

Ejemplo de salida

Especificación de la API de Analytics de Cascade

Los datos específicos de Cascade que aparecen en la página de analytics pueden consultarse a través de la API.
SERVICE_KEY: La clave de servicio; un usuario Admin puede crear una nueva desde Team Settings GROUP_NAME: El nombre de un grupo por el que filtrar. Este campo es opcional. No se puede establecer si emails está establecido. START_TIMESTAMP/END_TIMESTAMP: Marcas de tiempo en formato RFC 3339, por ejemplo, 2023-01-01T00:00:00Z EMAILS: Una lista de correos electrónicos por los que filtrar. Este campo es opcional. No se puede establecer si group_name está establecido. IDE_TYPES: Una lista de tipos de IDE por los que filtrar. Este campo es opcional. Los valores posibles se describen a continuación. QUERY_REQUESTS: Una lista de consultas que se deben realizar. Este campo es obligatorio. Los valores posibles de CASCADE_DATA_SOURCE se describen a continuación.

Consulta de ejemplo

Tipos de IDE

Dividimos los datos de cascade en categorías según el tipo de IDE. Si se excluye el campo ide_types de la query, se devuelven datos de todos ellos. Si quieres consultar datos de solo uno de los IDE, puedes usar cualquiera de las siguientes opciones:
  • “editor” para el editor de Devin Desktop
  • “jetbrains” para el plugin de JetBrains
  • “cli” para Devin CLI
Al filtrar por Devin CLI ("cli"), solo cascade_runs devuelve datos. Las fuentes de datos cascade_lines y cascade_tool_usage no son compatibles con Devin CLI y devolverán resultados vacíos.

Fuentes de datos de Cascade

Hay tres valores posibles para CASCADE_DATA_SOURCE

Fuente: cascade_lines

Usa cascade_lines para consultar datos sobre las líneas de Cascade sugeridas y aceptadas cada día. Ejemplo de salida:
linesSuggested: El número de líneas sugeridas ese día. linesAccepted: El número de líneas aceptadas ese día.

Fuente: cascade_runs

Utiliza cascade_runs para consultar datos sobre el uso del modelo, el consumo de créditos y el modo. Resultado de ejemplo:
day: La fecha de la ejecución. model: El modelo utilizado para el mensaje. mode: El modo de la ejecución. Uno de CONVERSATIONAL_PLANNER_MODE_DEFAULT (para el modo de escritura), CONVERSATIONAL_PLANNER_MODE_READ_ONLY (para el modo de solo lectura), CONVERSATIONAL_PLANNER_MODE_NO_TOOL (para el modo heredado) o UNKNOWN. messagesSent: El número de mensajes enviados. cascadeId: El ID de la ejecución. Este ID puede usarse para comprender cuántas conversaciones distintas se han iniciado (y no cuántas veces el usuario envía un mensaje). promptsUsed: La cantidad de créditos utilizada. Este valor se devuelve en centavos. Por ejemplo, 0.25 créditos se devuelve como 25 y 1 crédito se devuelve como 100. Los datos devueltos por la API están en formato sin procesar, lo que puede explicar cualquier valor “UNKNOWN”. Si usas esta fuente de datos para tus propias métricas, se recomienda agregar según las métricas específicas que te interesen (p. ej., sumar el campo promptsUsed para comprender los patrones de uso del usuario, messagesSent para comprender la interacción del usuario, etc.), ya que es posible que los datos de mode y prompt estén divididos entre varias entradas.

Fuente: cascade_tool_usage

Usa cascade_tool_usage para consultar datos sobre el uso de herramientas. Ten en cuenta que esto devuelve un recuento agregado del uso de herramientas durante el período proporcionado. Resultado de ejemplo:
tool: La herramienta utilizada en el mensaje. count: El número de veces que se utilizó la herramienta. A continuación se muestra una correspondencia entre los enums devueltos y el nombre legible, tal como aparece en la UI:
  • CODE_ACTION: ‘Editar código’
  • VIEW_FILE: ‘Ver archivo’
  • RUN_COMMAND: ‘Ejecutar comando’
  • FIND: ‘Herramienta Find’
  • GREP_SEARCH: ‘Búsqueda Grep’
  • VIEW_FILE_OUTLINE: ‘Ver esquema del archivo’
  • MQUERY: ‘Riptide’
  • LIST_DIRECTORY: ‘Listar directorio’
  • MCP_TOOL: ‘Herramienta MCP’
  • PROPOSE_CODE: ‘Proponer código’
  • SEARCH_WEB: ‘Buscar en la web’
  • MEMORY: ‘Memoria’
  • PROXY_WEB_SERVER: ‘Vista previa del navegador’
  • DEPLOY_WEB_APP: ‘Desplegar aplicación web’

Especificación de la Custom Analytics API

Ciertas fuentes de datos permiten realizar consultas personalizables mediante la Custom Analytics API. Los esquemas completos de selecciones, filtros, agregaciones y ordenaciones se encuentran en la siguiente sección, en formato JSON. Al final del documento se incluyen consultas de ejemplo para cada una de las tres fuentes de datos, así como consejos para depurar consultas.
DATA_SOURCE: selecciona USER_DATA, CHAT_DATA, COMMAND_DATA, PCW_DATA o CASCADE_DATA según busques datos de Autocomplete, chat, Command, PCW o Cascade. SERVICE_KEY: La clave de servicio; un usuario Admin puede crear una nueva desde Team Settings. El rol de la clave de servicio debe tener el permiso “Analytics Read”. GROUP_NAME: El nombre de un grupo para filtrar. Este campo es opcional.

Esquemas

Selecciones

Las selecciones son obligatorias. Cada selección corresponde a un valor que se va a consultar.
FIELD_NAME: El campo que desea consultar. Consulte la sección Campos disponibles a continuación. NAME: Un alias para el campo. Si no se especifica, será la versión en minúsculas de <AGGREGATION_FUNCTION>_<FIELD_NAME>, p. ej., sum_num_acceptances. Debe ser distinto de todos los demás nombres de campos y agregaciones. AGGREGATION_FUNCTION: Debe ser uno de UNSPECIFIED, COUNT, SUM, AVG, MAX, MIN. Si no se proporciona “aggregation_function”, el valor predeterminado es UNSPECIFIED.

Filtros

Los filtros se utilizan para limitar los datos de modo que solo incluyan elementos que cumplan ciertos criterios. Son opcionales.
NAME: El nombre del campo que quieres filtrar. Si el elemento filtrado es el mismo que una Selección/Agregación, debe ser igual al nombre del campo o de la agregación. VALUE: el valor que se compara. FILTER: Uno de EQUAL, NOT_EQUAL, GREATER_THAN, LESS_THAN, GE (mayor o igual), LE (menor o igual).

Agregaciones

Las agregaciones se utilizan para dividir los datos en grupos según un criterio específico. Son opcionales.
FIELD_NAME: El campo que quieres consultar. Consulta la sección Campos disponibles. NAME: Un alias del campo. Debe ser distinto de todos los demás nombres de campos y agregaciones.

Campos disponibles

Datos de usuario

Todos los datos de la fuente USER_DATA se agregan por usuario y por hora. Nota: PCW (porcentaje de código escrito) ahora tiene su propia tabla y no depende de la tabla user_data.

Datos del chat

Ten en cuenta que todos los datos proporcionados en la API de datos del chat corresponden a las respuestas del modelo de chat, no a las preguntas del usuario.

Datos de Command

Ten en cuenta que la fuente de datos de Command contiene todos los comandos, incluidos los que se rechazaron. El campo “accepted” puede usarse para filtrar solo los comandos aceptados.

Datos de PCW

Selecciones válidas

Datos de Cascade

La fuente de datos de Cascade contiene una entrada por cada mensaje que se envía a Cascade.
Para acceder a todos los campos que se enumeran a continuación, asegúrate de usar la versión 1.11.2 o posterior.

Filtros válidos

Para filtrar por fecha, usa start_timestamp y end_timestamp, que deben estar en formato RFC 3339 (p. ej., 2023-01-01T00:00:00Z; consulta el ejemplo a continuación).

Ejemplos

Datos de usuario

Esta consulta calcula el porcentaje total de código escrito durante el mes de enero de 2024. Respuesta de ejemplo (JSON formateado para facilitar la lectura):

Datos del chat

Esta consulta muestra el número de líneas de código aceptadas mediante el code lens “Generate Docstring” a lo largo de todo el tiempo, agrupadas por IDE. Respuesta de ejemplo:

Datos de Command

Esta consulta devuelve la cantidad de líneas agregadas y eliminadas en los comandos “edit”, agrupadas por lenguaje de programación. Respuesta de ejemplo:

Datos de PCW

Esta consulta devuelve los datos de PCW (porcentaje de código escrito), junto con los bytes filtrados por el lenguaje Go. Respuesta de ejemplo:

Depuración de consultas

A partir de la versión 1.10.0, las consultas no válidas devolverán un mensaje de error. Esta sección incluye algunos mensajes de error comunes, qué significan y cómo depurar las consultas correspondientes.
Mensaje de errorExplicación
at least one field or aggregation is requiredNo se detectó ninguna selección ni agregación; asegúrate de que la solicitud de consulta contenga al menos una.
invalid aggregation function for string type field ide: QUERY_AGGREGATION_SUMUna de las selecciones usó una función de agregación no válida. En este caso, se intentó usar SUM en el campo “ide”, pero solo admite COUNT y UNSPECIFIED.
invalid query table: QUERY_DATA_SOURCE_UNSPECIFIEDProbablemente haya un error tipográfico en el campo data_source; vuelve a comprobar la ortografía.
all selection fields should have an aggregation function, or none of them shouldSi hay múltiples campos de selección, todos deben contener un aggregation_function o ninguno debe contenerlo. Por ejemplo, esta selección no es válida porque num_acceptances se suma, pero num_lines_accepted no:
Nota: PCW siempre se considera agregado. Si no se elige explícitamente ningún aggregation_function, se considera no especificado. Si quieres información sobre ambos campos, usa dos consultas separadas.
invalid aggregation function for string type field ide: QUERY_AGGREGATION_SUMNo todos los campos admiten todas las funciones de agregación; consulta la sección de campos disponibles para ver cuáles corresponden. En este caso, la consulta usó la función de agregación QUERY_AGGREGATION_SUM con el campo “ide”, lo cual no es válido.
tried to aggregate on a distinct field: distinct_developer_days. Consider aggregating on the non-distinct fields instead: [api_key date]Los campos con el patrón “distinct_*” no pueden estar en la sección aggregations; el error sugiere uno o varios campos alternativos sobre los que agregar. Así que, en lugar de:
Prueba:
duplicate field alias for selection/aggregation: num_acceptancesTodas las selecciones y agregaciones deben tener un nombre distinto. Ten en cuenta que, si no se especifica el nombre, de forma predeterminada se establece como <AGGREGATION_FUNCTION>_<FIELD_NAME>.
invalid group name: GroupNameNo se encontró el grupo con el nombre especificado; vuelve a comprobar la ortografía.