Dirección de investigación
Predictores por categoría entrenados sobre salidas de AIR.
Los meta modelos son modelos sustitutos específicos por categoría entrenados sobre datos de experimentos estructurados de AIR. Convierten la señal experimental acumulada — opciones de arquitectura, funciones de runtime, recetas de entrenamiento y sus resultados medidos — en una capa predictiva que estima qué es probable que funcione antes de comprometer el presupuesto completo de barrido. Esto es optimización bayesiana fundamentada en datos reales de NAS, no supuestos teóricos.
Los meta modelos no reemplazan experimentos — reformulan cómo se priorizan los experimentos. Cuando AIR tiene cientos de registros experimentales estructurados mapeando configuraciones a rendimiento, los meta modelos aprenden qué regiones del espacio de búsqueda probablemente producirán ganancias y cuáles probablemente desperdiciarán presupuesto. El resultado es una política de búsqueda que se afina con cada ciclo de barrido.
Número de capas, ancho y opciones estructurales
Predice qué familias de arquitectura probablemente ofrecerán la mejor relación calidad-presupuesto para una categoría de problema específica. Partiendo de profundidad del modelo, ancho, configuración de atención y estrategia de embedding — las decisiones estructurales que dominan el rendimiento.
Primitivas de runtime y combinaciones de operadores
Evalúa funciones de activación, normalizaciones y combinaciones de operadores propuestas para que las variantes de baja señal se despriorizan antes de ejecuciones costosas. Aquí es donde la invención de funciones de AIR alimenta hacia adelante — las nuevas funciones se evalúan antes de ser barridas.
Efectividad de optimización y recetas de entrenamiento
Estima si las recetas de entrenamiento — programas de tasa de aprendizaje, estrategias de warmdown, esquemas de cuantización, métodos de regularización — probablemente ayudarán o perjudicarán bajo las restricciones actuales. Construido a partir de los mismos registros estructurados que impulsan las decisiones de dirección de AIR.
Los meta modelos progresan a través de tres etapas conforme se acumulan datos: procesos gaussianos para exploración temprana consciente de incertidumbre, árboles potenciados por gradiente para manejar características arquitectónicas discretas, y conjuntos MLP para capturar interacciones no lineales a escala.
El alcance actual está deliberadamente restringido a familias de modelos específicas, expandiéndose conforme la calidad de calibración se mantiene.