Entradas

Mostrando entradas de junio, 2016

Un ejemplo simple de "ensamble learning" con modelos de regresión (Post I de varios...)

Ensamblando modelosLa idea de este post es introducir algunas nociones de ensamble de modelos y presentar un pequeño código para implementar uno para un modelo de regresión a título de ilustración. El post pretende ordenar (básicamente para mí mismo) algunas ideas al respecto e ilustrarlas con un código y un modelo muy simples.En líneas generales los ensambles de modelos buscan aumentar la capacidad predictiva a partir de la generación de muchos "modelitos" diferentes sobre datasets diferentes. Obviamente, lo ideal sería tener muchas muestras independientes de la misma población para poder estimar modelos diferentes y promediarlos de alguna manera (de esta manera, se reduciría/suavizaría la variancia y se mantendría el sesgo relativamente constante). Como consecuencia, deberían mejorar las predicciones.Ahora bien, como esto no suele ser posible (tenemos UNA sola muestra de la población) lo que puede utilizarse con diversas técnicas de remuestreo (por ejemplo, bootstrap) de u…