Devin Desktop incluye una API de analítica personalizada. Permite consultar datos de Autocomplete, chat y Command, además de aplicar diversos filtros, agrupaciones y agregaciones.
Incluimos todos los ejemplos en curl; luego pueden traducirse a solicitudes HTTP en otros lenguajes.
La API de Analytics está disponible para los planes Enterprise
Especificación de la API de analítica de datos de usuarios
Los datos de la tabla Users de la página Teams se pueden obtener con el siguiente comando:
SERVICE_KEY: La clave de servicio: un usuario Admin puede crearla desde la sección de claves de servicio de la página de Settings. El rol de la clave de servicio debe tener permisos de “Teams de solo lectura”.
GROUP_NAME: El nombre de un grupo para filtrar. Este campo es opcional.
START_TIMESTAMP/END_TIMESTAMP: Marcas de tiempo en formato RFC 3339, por ejemplo, 2023-01-01T00:00:00Z
Especificación de la API de Analytics de Cascade
Los datos específicos de Cascade que aparecen en la página de analytics pueden consultarse a través de la API.
SERVICE_KEY: La clave de servicio; un usuario Admin puede crear una nueva desde Team Settings
GROUP_NAME: El nombre de un grupo por el que filtrar. Este campo es opcional. No se puede establecer si emails está establecido.
START_TIMESTAMP/END_TIMESTAMP: Marcas de tiempo en formato RFC 3339, por ejemplo, 2023-01-01T00:00:00Z
EMAILS: Una lista de correos electrónicos por los que filtrar. Este campo es opcional. No se puede establecer si group_name está establecido.
IDE_TYPES: Una lista de tipos de IDE por los que filtrar. Este campo es opcional. Los valores posibles se describen a continuación.
QUERY_REQUESTS: Una lista de consultas que se deben realizar. Este campo es obligatorio. Los valores posibles de CASCADE_DATA_SOURCE se describen a continuación.
Dividimos los datos de cascade en categorías según el tipo de IDE. Si se excluye el campo ide_types de la query, se devuelven datos de todos ellos. Si quieres consultar datos de solo uno de los IDE, puedes usar cualquiera de las siguientes opciones:
- “editor” para el editor de Devin Desktop
- “jetbrains” para el plugin de JetBrains
- “cli” para Devin CLI
Al filtrar por Devin CLI ("cli"), solo cascade_runs devuelve datos. Las fuentes de datos cascade_lines y cascade_tool_usage no son compatibles con Devin CLI y devolverán resultados vacíos.
Fuentes de datos de Cascade
Hay tres valores posibles para CASCADE_DATA_SOURCE
Usa cascade_lines para consultar datos sobre las líneas de Cascade sugeridas y aceptadas cada día.
Ejemplo de salida:
linesSuggested: El número de líneas sugeridas ese día.
linesAccepted: El número de líneas aceptadas ese día.
Utiliza cascade_runs para consultar datos sobre el uso del modelo, el consumo de créditos y el modo.
Resultado de ejemplo:
day: La fecha de la ejecución.
model: El modelo utilizado para el mensaje.
mode: El modo de la ejecución. Uno de CONVERSATIONAL_PLANNER_MODE_DEFAULT (para el modo de escritura), CONVERSATIONAL_PLANNER_MODE_READ_ONLY (para el modo de solo lectura), CONVERSATIONAL_PLANNER_MODE_NO_TOOL (para el modo heredado) o UNKNOWN.
messagesSent: El número de mensajes enviados.
cascadeId: El ID de la ejecución. Este ID puede usarse para comprender cuántas conversaciones distintas se han iniciado (y no cuántas veces el usuario envía un mensaje).
promptsUsed: La cantidad de créditos utilizada. Este valor se devuelve en centavos. Por ejemplo, 0.25 créditos se devuelve como 25 y 1 crédito se devuelve como 100.
Los datos devueltos por la API están en formato sin procesar, lo que puede explicar cualquier valor “UNKNOWN”. Si usas esta fuente de datos para tus propias métricas, se recomienda agregar según las métricas específicas que te interesen (p. ej., sumar el campo promptsUsed para comprender los patrones de uso del usuario, messagesSent para comprender la interacción del usuario, etc.), ya que es posible que los datos de mode y prompt estén divididos entre varias entradas.
Usa cascade_tool_usage para consultar datos sobre el uso de herramientas. Ten en cuenta que esto devuelve un recuento agregado del uso de herramientas durante el período proporcionado.
Resultado de ejemplo:
tool: La herramienta utilizada en el mensaje.
count: El número de veces que se utilizó la herramienta.
A continuación se muestra una correspondencia entre los enums devueltos y el nombre legible, tal como aparece en la UI:
- CODE_ACTION: ‘Editar código’
- VIEW_FILE: ‘Ver archivo’
- RUN_COMMAND: ‘Ejecutar comando’
- FIND: ‘Herramienta Find’
- GREP_SEARCH: ‘Búsqueda Grep’
- VIEW_FILE_OUTLINE: ‘Ver esquema del archivo’
- MQUERY: ‘Riptide’
- LIST_DIRECTORY: ‘Listar directorio’
- MCP_TOOL: ‘Herramienta MCP’
- PROPOSE_CODE: ‘Proponer código’
- SEARCH_WEB: ‘Buscar en la web’
- MEMORY: ‘Memoria’
- PROXY_WEB_SERVER: ‘Vista previa del navegador’
- DEPLOY_WEB_APP: ‘Desplegar aplicación web’
Especificación de la Custom Analytics API
Ciertas fuentes de datos permiten realizar consultas personalizables mediante la Custom Analytics API.
Los esquemas completos de selecciones, filtros, agregaciones y ordenaciones se encuentran en la siguiente sección, en formato JSON. Al final del documento se incluyen consultas de ejemplo para cada una de las tres fuentes de datos, así como consejos para depurar consultas.
DATA_SOURCE: selecciona USER_DATA, CHAT_DATA, COMMAND_DATA, PCW_DATA o CASCADE_DATA según busques datos de Autocomplete, chat, Command, PCW o Cascade.
SERVICE_KEY: La clave de servicio; un usuario Admin puede crear una nueva desde Team Settings. El rol de la clave de servicio debe tener el permiso “Analytics Read”.
GROUP_NAME: El nombre de un grupo para filtrar. Este campo es opcional.
Las selecciones son obligatorias. Cada selección corresponde a un valor que se va a consultar.
FIELD_NAME: El campo que desea consultar. Consulte la sección Campos disponibles a continuación.
NAME: Un alias para el campo. Si no se especifica, será la versión en minúsculas de <AGGREGATION_FUNCTION>_<FIELD_NAME>, p. ej., sum_num_acceptances. Debe ser distinto de todos los demás nombres de campos y agregaciones.
AGGREGATION_FUNCTION: Debe ser uno de UNSPECIFIED, COUNT, SUM, AVG, MAX, MIN. Si no se proporciona “aggregation_function”, el valor predeterminado es UNSPECIFIED.
Los filtros se utilizan para limitar los datos de modo que solo incluyan elementos que cumplan ciertos criterios. Son opcionales.
NAME: El nombre del campo que quieres filtrar. Si el elemento filtrado es el mismo que una Selección/Agregación, debe ser igual al nombre del campo o de la agregación.
VALUE: el valor que se compara.
FILTER: Uno de EQUAL, NOT_EQUAL, GREATER_THAN, LESS_THAN, GE (mayor o igual), LE (menor o igual).
Las agregaciones se utilizan para dividir los datos en grupos según un criterio específico. Son opcionales.
FIELD_NAME: El campo que quieres consultar. Consulta la sección Campos disponibles.
NAME: Un alias del campo. Debe ser distinto de todos los demás nombres de campos y agregaciones.
Todos los datos de la fuente USER_DATA se agregan por usuario y por hora.
Nota: PCW (porcentaje de código escrito) ahora tiene su propia tabla y no depende de la tabla user_data.
Ten en cuenta que todos los datos proporcionados en la API de datos del chat corresponden a las respuestas del modelo de chat, no a las preguntas del usuario.
Ten en cuenta que la fuente de datos de Command contiene todos los comandos, incluidos los que se rechazaron. El campo “accepted” puede usarse para filtrar solo los comandos aceptados.
La fuente de datos de Cascade contiene una entrada por cada mensaje que se envía a Cascade.
Para acceder a todos los campos que se enumeran a continuación, asegúrate de usar la versión 1.11.2 o posterior.
Para filtrar por fecha, usa start_timestamp y end_timestamp, que deben estar en formato RFC 3339 (p. ej., 2023-01-01T00:00:00Z; consulta el ejemplo a continuación).
Esta consulta calcula el porcentaje total de código escrito durante el mes de enero de 2024. Respuesta de ejemplo (JSON formateado para facilitar la lectura):
Esta consulta muestra el número de líneas de código aceptadas mediante el code lens “Generate Docstring” a lo largo de todo el tiempo, agrupadas por IDE.
Respuesta de ejemplo:
Esta consulta devuelve la cantidad de líneas agregadas y eliminadas en los comandos “edit”, agrupadas por lenguaje de programación.
Respuesta de ejemplo:
Esta consulta devuelve los datos de PCW (porcentaje de código escrito), junto con los bytes filtrados por el lenguaje Go.
Respuesta de ejemplo:
A partir de la versión 1.10.0, las consultas no válidas devolverán un mensaje de error. Esta sección incluye algunos mensajes de error comunes, qué significan y cómo depurar las consultas correspondientes.
| Mensaje de error | Explicación |
|---|
| at least one field or aggregation is required | No se detectó ninguna selección ni agregación; asegúrate de que la solicitud de consulta contenga al menos una. |
| invalid aggregation function for string type field ide: QUERY_AGGREGATION_SUM | Una de las selecciones usó una función de agregación no válida. En este caso, se intentó usar SUM en el campo “ide”, pero solo admite COUNT y UNSPECIFIED. |
| invalid query table: QUERY_DATA_SOURCE_UNSPECIFIED | Probablemente haya un error tipográfico en el campo data_source; vuelve a comprobar la ortografía. |
| all selection fields should have an aggregation function, or none of them should | Si hay múltiples campos de selección, todos deben contener un aggregation_function o ninguno debe contenerlo. Por ejemplo, esta selección no es válida porque num_acceptances se suma, pero num_lines_accepted no:Nota: PCW siempre se considera agregado. Si no se elige explícitamente ningún aggregation_function, se considera no especificado. Si quieres información sobre ambos campos, usa dos consultas separadas. |
| invalid aggregation function for string type field ide: QUERY_AGGREGATION_SUM | No todos los campos admiten todas las funciones de agregación; consulta la sección de campos disponibles para ver cuáles corresponden. En este caso, la consulta usó la función de agregación QUERY_AGGREGATION_SUM con el campo “ide”, lo cual no es válido. |
| tried to aggregate on a distinct field: distinct_developer_days. Consider aggregating on the non-distinct fields instead: [api_key date] | Los campos con el patrón “distinct_*” no pueden estar en la sección aggregations; el error sugiere uno o varios campos alternativos sobre los que agregar. Así que, en lugar de:Prueba: |
| duplicate field alias for selection/aggregation: num_acceptances | Todas las selecciones y agregaciones deben tener un nombre distinto. Ten en cuenta que, si no se especifica el nombre, de forma predeterminada se establece como <AGGREGATION_FUNCTION>_<FIELD_NAME>. |
| invalid group name: GroupName | No se encontró el grupo con el nombre especificado; vuelve a comprobar la ortografía. |