1. Los métodos de detección predeterminados para datos numéricos y categóricos son los mismos que para otras funciones, con personalización disponible para las necesidades de monitoreo de precisión.
2. Enfoque de monitoreo de modelos unificado para entrega en línea y por lotes utilizando las funciones de monitoreo de modelos de BigQuery para modelos implementados en Vertex AI Prediction Endpoints o datos de entrega por lotes almacenados en BigQuery.
3. La automatización es esencial para un monitoreo verdaderamente escalable de cambios y desviaciones, aprovechando el lenguaje de procedimientos de BigQuery para optimizar procesos como el reentrenamiento continuo de modelos y la identificación proactiva de problemas de calidad de datos.
Los métodos de detección predeterminados para datos numéricos y categóricos, así como los umbrales, se pueden personalizar para satisfacer las necesidades de monitoreo de precisión en las funciones de monitoreo de modelos de BigQuery. El tutorial adjunto proporciona una demostración detallada de cómo se calculan manualmente estas métricas y las compara con los resultados obtenidos utilizando la función de validación.
Cuando se trata de datos en línea y de entrega por lotes, las funciones de monitoreo de modelos de BigQuery ofrecen un enfoque unificado para monitorear los modelos implementados en Vertex AI Prediction Endpoints o el uso de datos de entrega por lotes almacenados en BigQuery. Para la publicación por lotes, se puede acceder fácilmente a las funciones de monitoreo de los datos de predicción ya almacenados o a los que BigQuery puede acceder. Para el servicio en línea, los modelos implementados en los puntos finales de predicción de Vertex AI se pueden monitorear configurando solicitudes de registro y respuestas en BigQuery para detectar sesgos y desviaciones.
El tutorial incluye una guía paso a paso sobre la creación de terminales, la implementación de modelos, la configuración de registros y el monitoreo de datos en línea y por lotes dentro de BigQuery. Para lograr un monitoreo escalable de cambios y desviaciones, la automatización es esencial. El lenguaje de procedimientos de BigQuery permite la automatización, no solo para el monitoreo sino también para el reentrenamiento continuo del modelo. En un entorno de producción, la automatización puede ayudar a identificar de forma proactiva problemas de calidad de los datos, adaptarse a los cambios del mundo real y mantener una estrategia de implementación alineada con las necesidades de la organización.
