| Título: |
AsistO: A Qualitative MDP-based Recommender System for Power Plant Operation AsistO: Un Sistema de Recomendaciones basado en MDPs Cualitativos para la Operación de Plantas Generadoras |
| Autores: |
Alberto Reyes, L., Alberto Sucar, Enrique Morales, Eduardo F. |
| Fecha: | 2010-04-27 |
| Publicador: | Revistas UNAM |
| Fuente: |
 |
| Tipo: | |
| Tema: |
Recommender systems; power plants; Markov decision processes; abstractions Sistemas de recomendaciones; plantas generadoras; procesos de decisión de Markov; abstracciones |
| Descripción: |
THIS PAPER PROPOSES A NOVEL AND PRACTICAL MODEL-BASED LEARNING APPROACH WITH ITERATIVE REFINEMENT FOR SOLVING CONTINUOUS (AND HYBRID) MARKOV DECISION PROCESSES. INITIALLY, AN APPROXIMATE MODEL IS LEARNED USING CONVENTIONAL SAMPLING METHODS AND SOLVED TO OBTAIN A POLICY. ITERATIVELY, THE APPROXIMATE MODEL IS REFINED USING VARIANCE IN THE UTILITY VALUES AS PARTITION CRITERION. IN THE LEARNING PHASE, INITIAL REWARD AND TRANSITION FUNCTIONS ARE OBTAINED BY SAMPLING THE STATEACTION SPACE. THE SAMPLES ARE USED TO INDUCE A DECISION TREE PREDICTING REWARD VALUES FROM WHICH AN INITIAL PARTITION OF THE STATE SPACE IS BUILT. THE SAMPLES ARE ALSO USED TO INDUCE A FACTORED MDP. THE STATE ABSTRACTION IS THEN REFINED BY SPLITTING STATES ONLY WHERE THE SPLIT IS LOCALLY IMPORTANT. THE MAIN CONTRIBUTIONS OF THIS PAPER ARE THE USE OF SAMPLING TO CONSTRUCT AN ABSTRACTION, AND A LOCAL REFINEMENT PROCESS OF THE STATE ABSTRACTION BASED ON UTILITY VARIANCE. THE PROPOSED TECHNIQUE WAS TESTED IN ASISTO, AN INTELLIGENT RECOMMENDER SYSTEM FOR POWER PLANT OPERATION, WHERE WE SOLVED TWO VERSIONS OF A COMPLEX HYBRID CONTINUOUS-DISCRETE PROBLEM. WE SHOW HOW OUR TECHNIQUE APPROXIMATES A SOLUTION EVEN IN CASES WHERE STANDARD METHODS EXPLODE COMPUTATIONALLY. ESTE ARTÍCULO PROPONE UNA TÉCNICA NOVEDOSA Y PRÁCTICA DE APRENDIZAJE BASADA EN MODELOS CON REFINAMIENTO ITERATIVO PARA RESOLVER PROCESOS DE DECISIÓN DE MARKOV (MDPS) CONTINUOS. INICIALMENTE, SE APRENDE UN MODELO APROXIMADO USANDO MÉTODOS DE MUESTREO CONVENCIONALES, EL CUAL SE RESUELVE PARA OBTENER UNA POLÍTICA. ITERATIVAMENTE, EL MODELO APROXIMADO SE REFINA CON BASE EN LA VARIANZA DE LOS VALORES DE LA UTILIDAD ESPERADA. EN LA FASE DE APRENDIZAJE, SE OBTIENEN LAS FUNCIONES DE RECOMPENSA INMEDIATA Y DE TRANSICIÓN MEDIANTE MUESTRAS DEL TIPO ESTADO-ACCIÓN. ÉSTAS PRIMERO SE USAN PARA INDUCIR UN ÁRBOL DE DECISIÓN QUE PREDICE LOS VALORES DE RECOMPENSA Y A PARTIR DEL CUAL SE CONSTRUYE UNA PARTICIÓN INICIAL DEL ESPACIO DE ESTADOS. POSTERIORMENTE, LAS MUESTRAS TAMBIÉN SE USAN PARA INDUCIR UN MDP FACTORIZADO. FINALMENTE, LA ABSTRACCIÓN DE ESPACIO DE ESTADOS RESULTANTE SE REFINA DIVIDIENDO AQUELLOS ESTADOS DONDE PUEDA HABER CAMBIOS EN LA POLÍTICA. LAS CONTRIBUCIONES PRINCIPALES DE ESTE TRABAJO SON EL USO DE DATOS PARA CONSTRUIR UNA ABSTRACCIÓN INICIAL, Y EL PROCESO DE REFINAMIENTO LOCAL BASADO EN LA VARIANZA DE LA UTILIDAD. LA TÉCNICA PROPUESTA FUE PROBADA EN ASISTO, UN SISTEMA INTELIGENTE DE RECOMENDACIONES PARA LA OPERACIÓN DE PLANTAS GENERADORAS DE ELECTRICIDAD, DONDE RESOLVIMOS DOS VERSIONES DE UN PROBLEMA COMPLEJO CON VARIABLES HÍBRIDAS CONTINUAS Y DISCRETAS. AQUÍ MOSTRAMOS COMO NUESTRA TÉCNICA APROXIMA UNA SOLUCIÓN AUN EN CASOS DONDE LOS MÉTODOS ESTÁNDAR EXPLOTAN COMPUTACIONALMENTE. |
| Idioma: | Inglés |
1 Ordered Hunt Schemes for Overlaid CDMA Cellular Systems,Esquemas de ordenamiento en sistemas celulares sobrepuestos CDMA por Castañeda Camacho, J; Benemérita Universidad Autónoma de Puebla, Puebla, México,Lara Rodríguez, D; IPN | 6 Model for Adjustment of Aggregate Forecasts using Fuzzy Logic,Modelo para el ajuste de pronósticos agregados utilizando lógica difusa por Escobar Gómez, E N; Instituto Tecnológico de Tuxtla Gutiérrez Chiapas,Díaz Núñez, J J; Universidad Autónoma de Ciudad Juárez Chihuahua,Taracena Sanz, L F; Instituto Tecnológico de Querétaro, Querétaro |
2 Volatile Organic Compound Emissions from Light-Duty Vehicles During Cold-Starts,Emisiones de compuestos orgánicos volátiles durante arranques en frío de automóviles ligeros por Mendoza Domínguez, A; Tecnológico de Monterrey, Campus Monterrey, Nuevo León, México,León Romero, M A; Tecnológico de Monterrey, Campus Monterrey, Nuevo León, México,Caballero Mata, P | 7 Matrix Formulation of Foundations for Vibrating Machinery in Frequency Domain,Formulación matricial de cimentaciones para maquinaria vibratoria en el dominio de la frecuencia por Carbajal Romero, M F; Instituto Politécnico Nacional. México DF,Rodríguez Castellanos, A; Instituto Mexicano del Petróleo. México DF,Rodríguez Sánchez, J E; Instituto Mexicano del Petróleo. México DF,Flores Méndez, E; IPN |
3 Hydrogen Sorption Properties of the Intermetallic Mg2Ni Obtained by Using a Simoloyer Ball Milling,Propiedades de ab-desorción de hidrógeno del intermetálico Mg2Ni obtenido empleando un molino de bolas Simoloyer por Martínez Franco, E; IPN,Klassen, T; GKSS, Research Center Geesthacht, Germany,Jaramillo Vigueras, D; IPN,Bormann, R; GKSS, Research Center Geesthacht, Germany | 8 Numerical Approach to an Outflow Hydrograph of a Dambreak,Estimación numérica del hidrograma de salida de una presa debido a su ruptura por Fuentes Mariles, O A; Universidad Nacional Autónoma de México,Arganis Juárez, M L; UNAM,De Luna Cruz, F; UNAM,Franco, V; UNAM |
4 Electrical Parameters Extraction of CMOS Floating-Gate Inverters,Extracción de parámetros eléctricos de inversores CMOS de compuerta flotante por Molinar Solís, J E; Universidad Autónoma del Estado de México,Ponce Ponce, V H; IPN,García Lozano, R Z; Universidad Autónoma del Estado de México,Díaz Sanchez, A; Instituto Nacional de Astrofísica, Óptica y Electrónica INAOE,Rocha Pérez, j M; Instituto Nacional de Astrofísica, Óptica y Electrónica INAOE | 9 Back Work Ratio of Brayton Cycle,La relación de trabajo de retroceso de un ciclo Brayton por Malaver de la Fuente, M; Universidad Marítima del Caribe, Venezuela |
5 Active Rectifier with Extended Functions: An Option to Voltage Sags Ride Through and Power Quality Improvement,Rectificador activo con funciones ampliadas: una alternativa para la compensación de sags de voltaje y mejorar la calidad de la red eléctrica por Núñez Gutiérrez, C A; Universidad Autónoma de San Luis Potosí, SLP,Lira Pérez, J; Universidad Autónoma de San Luis Potosí, SLP,Pazos Flores, F; Universidad Autónoma de San Luis Potosí, SLP,Echavarría Solís, R; Universidad Politécnica de Victoria, Ciudad Victoria, Tamaulipas | 10 Flood Predictions Combining Regional and Single Site Hydrometric Information,Predicción de crecientes combinando información hidrométrica local y regional por Campos Aranda, D F; Universidad Autónoma de San Luis Potosí |