UNIVERSIDAD DE CHILE FACULTAD DE CIENCIAS FÍSICAS Y MATEMÁTICAS DEPARTAMENTO DE INGENIERÍA INDUSTRIAL “VALOR AGREGADO DE LA EDUCACIÓN MEDIA CHILENA” TESIS PARA OPTAR AL GRADO DE MAGÍSTER EN ECONOMÍA APLICADA MEMORIA PARA OPTAR AL TITULO DE INGENIERO CIVIL INDUSTRIAL CRISTIÁN MARCELO ESPINOZA GIACOMOZZI PROFESOR GUÍA: Pablo González Soto MIEMBROS DE LA COMISIÓN: María Soledad Arellano Schmidt Alejandra Mizala Salces Eduardo Fajnzylber Reyes SANTIAGO DE CHILE Agosto 2007
Transcript
UNIVERSIDAD DE CHILE
FACULTAD DE CIENCIAS FÍSICAS Y MATEMÁTICAS DEPARTAMENTO DE INGENIERÍA INDUSTRIAL
“VALOR AGREGADO DE LA EDUCACIÓN
MEDIA CHILENA”
TESIS PARA OPTAR AL GRADO DE MAGÍSTER EN ECONOMÍA APLICADA MEMORIA PARA OPTAR AL TITULO DE INGENIERO CIVIL INDUSTRIAL
CRISTIÁN MARCELO ESPINOZA GIACOMOZZI
PROFESOR GUÍA: Pablo González Soto
MIEMBROS DE LA COMISIÓN:
María Soledad Arellano Schmidt Alejandra Mizala Salces
Fuente: Ministerio de Educación. Indicadores de la educación año 2002
Tomando en cuenta que las habilidades básicas para continuar aprendiendo
durante la vida y desempeñarse exitosamente en la esta y en el puesto de
trabajo, son adquiridas principalmente en los establecimientos educacionales.
Dado que se ha alcanzado una tasa de cobertura y años de educación
promedio buenos para estándares internacionales, se hace necesario investigar
cuanto están aportando nuestros establecimientos de Educación Media a la
adquisición de habilidades y conocimientos que requiere una sociedad
moderna, ya que la Educación Media es el último nivel del ciclo educativo previo
a la inserción laboral para la gran mayoría de la fuerza de trabajo chilena (la
tasa de matriculación para la educación superior es relativamente baja y no
supera el 30%3).
3 Ver Andrea Tokman (2004).
14
Cuando se quiere comparar el desempeño de individuos en pruebas
estandarizadas a través de países, se debe tener claro que dicho rendimiento
es el resultado de una multiplicidad de factores: características y actitudes de
los estudiantes, profesores, escuelas, políticas educacionales y recursos
económicos dedicados por cada país, entre otros. Estos no siempre son
posibles de medir y deben ser considerados al momento de generar las
comparaciones.
La metodología que se aplicará para estimar el aporte de la Educación Media
chilena, en relación con el contexto internacional, corresponde al valor
agregado. Esta metodología implica contar con observaciones en dos instantes
de tiempo para cada individuo, pero usualmente sólo es posible contar con una
observación, en este caso al finalizar la Educación Media.
Para estimar el puntaje que hubieran obtenido los individuos que solo
finalizaron la Educación Media al finalizar la Educación Básica, se aplica el
método de Matching Propensity Score. Este método, es capaz de estimar el
puntaje no observado que hubieran obtenido los individuos que finalizaron la
Educación Media, encontrando parejas dentro de un grupo de individuos que
sólo han finalizado la Educación Básica (grupo de control) que presenten una
distribución de características observables muy parecidas a los individuos que
sólo finalizaron la Educación Media. Para ambos, esas características deben
15
corresponder al tiempo de su paso por la Educación Básica (características de
pre-tratamiento).
La estimación del puntaje que hubieran obtenido los individuos que
finalizaron la Educación Media al término de la Ecuación Básica se estima en
dos etapas para el método de Matching Propensity Score. Primero se calcula la
probabilidad de ingresar a la Educación Media para todos los individuos de la
muestra (los que sólo finalizaron la Educación Media y Básica), comúnmente
llamada Propensity Score y luego se buscan las parejas para cada individuo
que finalizó la Educación Media dentro del grupo de los que sólo finalizaron la
Educación Básica mediante tres métodos: Regresión Lineal, Regresión de
Kernel y el método de Vecinos mas cercanos con reposición.
En el método de Matching Mahalanonis, la estimación del puntaje no
observado se obtiene en un solo paso, dado que este método no utiliza el
Propensity Score, si no que busca las parejas directamente sobre las variables
de pre-tratamiento.
Con la estimación de los puntajes no observados se procede a estimar el
aporte de la Educación Media al crecimiento en los puntajes, mediante la
metodología de valor agregado para los países que forman la muestra con
respecto a Chile.
16
Los resultados muestran que el sistema de Educación Media en Chile
entrega el aporte más bajo al crecimiento de los puntajes con respecto a los
demás países.
17
CAPITULO I REVISIÓN BIBLIOGRÁFICA
La investigación sobre la eficacia de las escuelas siempre ha sido tema de
interés para los investigadores de la educación a nivel mundial. Estos
investigadores han demostrado en los últimos quince años que las pesimistas
conclusiones de Coleman (1966) y Jencks (1972) sobre la nula influencia de la
escuela sobre los resultados de los estudiantes son falsas. Las conclusiones
actuales llevan a afirmar que el efecto que una escuela tiene en el aprendizaje
de sus estudiantes puede ser identificado y, hasta cierto punto, medido (OCDE,
1995). Luego las escuelas y sus profesores son capaces de mejorar o empeorar
el rendimiento que cabría predecir de los estudiantes a partir de sus variables
de entrada4.
El principal desafío se vuelve cómo comparar la eficacia entre distintas
escuelas a nivel individual, regional, etc. Los intentos más rudimentarios para
medir la eficacia de las escuelas consistieron en comparar los puntajes
promedios obtenidos por sus estudiantes o el porcentaje de estudiantes que
sobrepasan cierto umbral. Esta forma de medir la eficacia es ampliamente
cuestionada por los investigadores, ya que perjudica a las escuelas que 4 Ver Fernández y González (1997).
18
atienden a estudiantes provenientes de estratos socio económicos y culturales
deficientes. Meyer (1996, 2000) ha estudiado la diferencia y significancia de
indicadores de valor agregado. Múltiples debilidades acompañan a los
indicadores de producto educacional comúnmente usados, como media y
mediana de puntajes, proporción de estudiantes que se desempeñan por
encima de umbral e indicadores de ganancia (cambio en los puntajes
promedios de grado a grado para la misma cohorte de estudiantes). Estos
típicos indicadores están sesgados contra las escuelas que atienden
mayoritariamente a estudiantes de características de background deficientes y
con alta movilidad. La principal fuente de este sesgo corresponde a que la
escuela no es el único determinante del logro de los estudiantes, sino que sobre
éste influye el logro previo, características de la familia y del estudiante, y
características de la comunidad. Además la evidencia indica que éstas variables
explican más de la variación en el logro del estudiante que los factores
relacionados a la escuela (Muñoz & Dossett, 2001).
Un refinamiento de la metodología para medir la eficacia de las escuelas
viene dado por ajustar los puntajes obtenidos por los estudiantes según
variables de background, así supuestamente se lograría una comparación mas
justa entre escuelas. Mediante el método de regresiones lineales se estima lo
que el estudiante debería obtener en puntaje, dado sus características de
background, luego se calcula la diferencia entre el puntaje realmente obtenido y
19
el puntaje que se espera que obtenga. Luego la medida de eficacia vendría
dado por el promedio de las diferencias entre los estudiantes de una escuela.
Uno de los principales problemas de estas metodologías proviene del hecho
que el proceso educativo es acumulativo y generalmente sólo se cuenta con
observaciones contemporáneas de las variables involucradas. Para solucionar
en parte este problema se realizan ajustes a los puntajes además por el puntaje
inicial, bajo el supuesto que esta variable captura toda la influencia de las
variables históricas. Luego se calcula la diferencia entre el puntaje que
realmente obtiene el estudiante y lo que se espera que obtenga5, dado sus
características de background y su puntaje inicial. Luego la medida de eficacia
nuevamente se calcula promediando tales diferencias entre los alumnos de
cada escuela. Una crítica importante realizada a este tipo de método es que
cuando tomados como grupo, un promedio de ganancias individual (Ai2 – Ai1)
puede ser diferente de cero, mientras la suma de ganancias de puntaje residual
(Ai2 - E(Ai2|Ai1)) suman cero por construcción, luego una media grupal de
ganancias residuales puede no ser una cantidad útil cuando se quiere saber
cuanto impacta un programa determinado a los estudiantes como grupo.
Con el refinamiento de las herramientas estadísticas para tratar la estructura
de datos en niveles, nace el segundo desarrollo metodológico, el que contempla
5 Ai2 - E(Ai2|Ai1). En donde Ai2 corresponde al puntaje observado y E(Ai2|Ai1) corresponde al puntaje obtenido al evaluar las variables usadas en la estimación con sus respectivos coeficientes estimados.
20
la estructura anidada de la información. La técnica para tratar con esta
estructura anidada de la información se conoce como Modelamiento Jerárquico
(HML). Una ventaja de este enfoque es su flexibilidad con respecto a la
estructura de tiempo de las observaciones. Igualmente importante es que este
método facilita el estudio de efectos de las variables de desarrollo a cada nivel
de anidación. Muchos de los actuales sistemas de accountability emplean
alguna forma de este tipo de modelos para combatir la información anidada de
accountability (Thum, 2003). El más reciente desarrollo en este campo es la
definición de los efectos de “valor agregado” de la escuela. Harold (2003)
argumenta, que el enfoque de valor agregado es una herramienta potencial
para incrementar la exactitud de las inferencias en relación con los efectos de la
escuela. Este enfoque puede disminuir considerablemente los errores que se
han cometido cuando se mide la efectividad de las escuelas, pero no eliminarlos
completamente.
El análisis de la efectividad de las escuelas en base a modelos en distintos
niveles de anidación es un enfoque generalmente aceptado. La versión más
simple de este tipo de modelos es el que relaciona una variable de producto
(puntajes en pruebas estandarizadas) con las distintas escuelas, suponiendo
una muestra aleatoria de estudiantes para cada una de las escuelas elegidas
aleatoriamente. Si denotamos el puntaje obtenido en una prueba estandarizada
21
para el estudiante i y la escuela j como Aij, el modelo puede expresarse como
sigue:
Aij = Bj + eij (1)
Luego el puntaje obtenido por el estudiante i perteneciente a la escuela j
puede ser decompuesto en la contribución de su escuela (Bj) y una desviación
de la contribución de su escuela (eij), asociada al estudiante i. La contribución
de cada escuela puede ser descompuesto en dos términos: la contribución
media de todas las escuelas (B0) y una contribución asociada a cada escuela
individual (uj), entonces la ecuación (1) se puede escribir como:
Aij = B0 + uj + eij (2)
El término uj se conoce como el residuo de las escuelas. Típicamente se
asume una distribución Normal para los residuos, con media cero (dado que ya
se incluyo una media de la población completa de escuelas B0) y varianza s 2u.
Para el residuo del estudiante también se asume una varianza s 2e.
22
Si el tamaño de s2u relativo a la varianza total6 es pequeño, entonces se
puede concluir que las escuelas tienen poco efecto sobre el puntaje de los
alumnos.
Para estimar el efecto asociado a cada escuela sobre el puntaje (uj) existen
dos formas. La más simple corresponde a calcular la media para cada escuela y
restar la media de la población completa de escuelas, obteniendo el residual
para cada escuela. Si se cuenta con un gran número de estudiantes en cada
escuela esta forma de estimación parece razonable, pero si la cantidad de
estudiantes es pequeña, la media será pobremente estimada (grandes
intervalos de confianza). Por ésta última razón se utiliza un método alternativo
para estimar el residual de las escuelas, conocido como residuales disminuidos.
Este método de estimación producirá residuales con menor variación que las
medias verdaderas de las escuelas (s 2u).
La predicción de los residuales se basa en las diferencias entre los puntajes
observados y la predicción de la parte fija del modelo (B0), lo que puede ser
visto como una regresión múltiple de la siguiente forma:
6 Como se asumió que uj y eij varían independientemente, entonces la varianza total esta dada por: Var(Aij – B0) = Var(uj + eij) = s 2
u + s 2e
23
Donde los coeficientes de la regresión {ak} son derivados de los parámetros
aleatorios del modelo, esto es, ellos dependen de las cantidades s 2u y s2
e. En
este simple modelo las estimaciones toman las siguientes formas:
ûj = ju
n
un
Aej
j ~
22
2
*
*
σσ
σ
+, jA
~
= j
jiij
n
BA )( 0−∑∈ (4)
La estimación del residual disminuido corresponde al primer método simple
( jA~
) multiplicado por el factor de disminución del residual de la escuela, que se
encuentra entre los valores cero y uno. Cuando el número de estudiantes de
una escuela (nj) aumenta, al igual que s 2e (aumento relativo con respecto s 2
u) el
factor de disminución se acerca a uno y los dos estimadores tienden a coincidir.
Cuando el número de estudiantes de una escuela es pequeño el factor de
disminución tiende a cero, lo que produce que la estimación del residual de la
escuela (residual agregado a la media de la población completa de escuelas B0)
tiende a la media de la población completa de escuelas. Cuando se cuenta con
poca información de una escuela (pocos estudiantes) las estimaciones tienden
a la media de todas las escuelas. En el caso extremo en que no existe
información para una escuela en particular, entonces la mejor estimación es la
media de la población completa.
24
Frecuentemente los investigadores corren las regresiones del producto
(puntaje obtenido en pruebas estandarizadas en el tiempo t) con respecto al
producto rezagado (puntaje obtenido en pruebas estandarizadas en el tiempo t-
1) con el fin de nivelar el campo de juego, ya que es generalmente aceptado
que el puntaje obtenido al comienzo del período es el que predice mejor el
puntaje obtenido al final del período. Realizando el ajuste por el puntaje
rezagado, el modelo (2) puede ser transformado en el siguiente modelo:
Aij = B0 + B1 A-ij + uj + eij (5)
Donde A-ij corresponde al puntaje rezagado y B1 corresponde al incremento
predicho promedio en el puntaje actual dado el incremento de una unidad en el
puntaje rezagado.
El modelo (5) implica que la relación entre el producto actual y el rezagado es
la misma para cada escuela, con uj representando la diferencia entre la media
predicha para cada escuela para cualquier puntaje rezagado.
Este ajuste para los residuales se conoce como estimaciones de valor
agregado, ya que al ajustar por el puntaje inicial se intenta medir el progreso
(puntaje agregado con respecto al inicial) relativo para cada escuela.
25
El ajuste para los residuales puede incorporar otro tipo de variables aparte
del puntaje inicial, como estatus socio económico, género, etc. La esencia del
enfoque de valor agregado es que el desempeño de la escuela (o profesores) y
los programas, es medido usando un modelo de regresión estadística que
incluye todos los factores no relacionados a la escuela que contribuyen al
crecimiento del logro del estudiante, en particular, logro previo y características
del estudiante, familia y comunidad. La idea clave es aislar estadísticamente la
contribución de las escuelas y programas al crecimiento en el logro del
estudiante en un grado dado, de todas las otras fuentes de crecimiento en el
logro del estudiante (Meyer; 1997, 2000).
Un refinamiento del modelo (5) considera que la relación entre el puntaje
actual y los factores de ajuste (puntaje inicial y otras variables de inputs a nivel
de estudiante denotadas como A-ij) varían de escuela a escuela, este modelo es
comúnmente conocido como efectividad diferencial y reconoce la necesidad de
diferenciar a las escuelas en más de una dimensión. Este tipo de modelos
puede representarse como sigue:
Aij = B0 + (B1+ vj) A-ij + uj + eij (6)
En donde B1 denota la pendiente media de la población completa de
escuelas y vj denota la desviación de cada escuela con respecto a esa media.
26
Este modelo implica que existen dos variables aleatorias a nivel de escuela
cada una con varianza y correlación distinta de cero.
En la actualidad junto con realizar ajustes por variables a nivel de estudiante,
también se realizan por variables contextuales, que operan a nivel de sala o
escuela, como edad de los profesores, tamaño de la sala de clases, salario de
los profesores, estatus socio económico promedio de los estudiantes, puntaje
inicial promedio de los estudiantes, etc. Además se pueden incorporar
interacciones entre variables grupales e individuales. En cuanto a los ajustes a
nivel de escuela, Ladd & Walsh (2001) proponen que es necesario hacer una
clara distinción entre recursos que están disponibles para cada escuela y la
eficiencia con la cual esos recursos son usados por éstas, solo así se puede
obtener una medida real de la eficiencia de las distintas escuelas. Incluyendo
este tipo de variables se puede aislar el efecto de los factores que la escuela no
puede controlar, como los recursos presupuestados, o recursos proveídos por
apoderados o fundadores, y que pueden afectar el desempeño de cada
escuela. Así, el modelo (6) debería incluir dos vectores de ajustes adicionales;
Rjt que incluye todos los factores que están fuera del control de los
administradores y facultad de las escuelas, y Ejt que mide la efectividad de la
administración y staff de la escuela. Es importante destacar que los modelos
conceptuales de función de producción educacional, explícitamente indican que
los inputs relevantes que afectan el producto actual de los estudiantes son
27
necesariamente a nivel individual, es por esta razón que muchos estudios
entregan conclusiones a veces contradictorias, ya que los inputs son medidos a
nivel agregado (promedios) y no a nivel individual.
Ahora si es posible seguir a cada estudiante durante el transcurso de su
educación, entonces se puede saber a qué escuelas pertenecieron en cada
nivel educativo, y así se puede elaborar un modelo que estime cuál es el efecto
de escuela por nivel educativo sobre el puntaje actual (por simplicidad para este
modelo se ignora a los alumnos que se cambiaron de escuela entre los nivel
educativos considerados). El modelo estadístico puede ser expresado como
sigue:
Aij = B0 + B1 A-ij + uj + u-
k + eij (7)
Donde u-k es la contribución de la escuela k en el nivel educativo inferior al
nivel educativo actual sobre el puntaje actual. Este modelo estima la varianza
entre las escuelas del nivel educativo inferior y una varianza entre las escuelas
del nivel educativo actual, y los efectos de ambos niveles educativos se asumen
independientes. Este modelo se puede extender para asemejarse al tipo de
modelo representado por (6).
28
Un problema importante de estos modelos es el error de medición. En el caso
de las variables de ajuste, es reconocido por ejemplo que los puntajes iniciales
son medidos con alto error, luego si los modelos estadísticos no incorporan este
efecto, pueden contener sesgo en sus inferencias.
Por simplicidad la mayoría de este tipo de modelos excluye a los estudiantes
que se cambiaron de escuela durante en nivel analizado. Esta simplificación
puede llevar en algunos casos a inferencias erróneas, ya que si aquellos
estudiantes que se cambiaron de escuela durante el período de análisis son
justamente aquellos estudiantes que muestran los progresos más bajos
entonces al analizar sólo a aquellos alumnos que permanecieron en la escuela
producirá juicios sesgados de efectividad, en este caso sobrevalorando la
efectividad de éstas (este análisis se aplica también al caso contrario).
Es importante destacar que la utilización se distintos niveles agregación en la
información para los mismos modelos básicos puede llevar a conclusiones
distintas, es decir si solo se utiliza información agregada, las relaciones
estimadas pueden variar con respecto a la utilización de solo información
individual, luego realizar inferencias hacia niveles individuales en base a solo
información agregada puede llevar a conclusiones erróneas.
29
Existe evidencia de aplicaciones exitosas del enfoque de valor agregado para
accountability, entre ellas podemos nombrar; The Minneapolis Value Added
Systems, The Dallas Value Added Accountability System, y The Tennessee
Value Added Assessment System.
Minneapolis Public School (MPS) usa un enfoque de valor agregado para
identificar a los profesores efectivos para replicar su éxito, en vez de centrarse
en identificar a los profesores inefectivos. MPS evalúa a las escuelas,
estudiantes y profesores en un continuo de desempeño usando un modelo
estadístico que incorpora indicadores como; ganancia en el logro del estudiante
comparado a la ganancia esperada, magnitud de la diferencia en el logro entre
diferentes grupos de estudiantes en estándares definidos de estados, clima de
aprendizaje, seguridad y satisfacción, e involucramiento del estudiante y la
familia. La información de desempeño de la escuela es determinado del logro,
asistencia y suspensiones del estudiante, además de entrevistas a los
profesores, estudiantes y padres. MPS usa una metodología estadística de
valor agregado para determinar la efectividad de los profesores y escuelas.
Para determinar los efectos de valor agregado de los profesores y escuelas,
MPS utiliza dos modelos estadísticos. Primero, se utiliza un modelo ANCOVA
para controlar por diferencias en las características del estudiante y nivel de
logro inicial. Segundo, un Modelo Lineal Jerárquico (HLM) de dos etapas es
utilizado para controlar por variables a nivel de escuela. Un índice de valor
30
agregado es calculado para todas las escuelas, y las que obtienen un
desempeño mayor a una desviación estándar son consideradas efectivas, y las
que se desempeñan bajo una desviación estándar son consideradas inefectivas
(Dossett & Muñoz, 2003).
The Dallas Independent School District utiliza un sistema de accountability de
valor agregado para determinar las escuelas efectivas. Las escuelas efectivas
se definen como las que se desempeñan por sobre lo que sería esperado a
través del distrito completo. El sistema ha sido expandido para identificar
profesores efectivos y formar evaluaciones para el distrito. Este sistema
combina el método de regresión múltiple y HLM. En la primera etapa, el modelo
de regresión múltiple es usado para regresar variables de producto y
predictoras contra variables llamadas “fairness variables”. Los puntajes del
estudiante son regresadas contra nueve características a nivel de estudiante
(raza, estado limitado en el dominio del inglés, género y variables
socioeconómicas). En la segunda etapa, la metodología desarrollada que
produce estimaciones de la efectividad de las escuelas es el método de HLM,
que usa los residuales resultantes de la regresión múltiple (Dossett & Muñoz,
2003). El modelo de accountability de Dallas realiza lo siguiente; (a) Controla
por diferencias de los estudiantes preexistentes en raza, género, dominio de
lenguaje, y estado socioeconómico (“fairness variables”), (b) incluye puntajes
referenciados a la norma y criterio, tasas de asistencia, deserción, retención de
31
los estudiantes, matricula de cursos de honor y planes de diplomas avanzados,
tasa de graduación, y porcentaje de estudiantes que toman test de admisión al
colegio; (c) otorga más importancia a los puntajes que a otras variables
basadas en la determinación por The Accountability Task Force; (d) incluye a
las escuelas que rinden cuentas solo para los estudiantes que han estado
suficiente tiempo en éstas para ser influenciados por su educación; y (e) incluye
los test de al menos 95% de los estudiantes elegibles, así que las escuelas no
impedirían a algunos estudiantes rendir el test (Dossett & Muñoz, 2003).
The Tennessee Value added Assessment System (TVAAS) es un modelo
mulitinivel desarrollado con la intension de entregar estimaciones insesgadas
del efecto del sistema de la escuela, escuelas y profesores sobre la ganancia
académica de los estudiantes. Este modelo confía sobre los puntajes escalados
derivados de la parte norma-referenciada de Tennessee Comprehensive
Assesment Program (TCAP) test, el cuál es rendido por todos los estudiantes
de Tennessee desde los grados 2 al 8. En el Modelo Multinivel de TVAAS, los
estudiantes sirven como su propio control para los factores exteriores, como
estado socioeconómico y composición del cuerpo estudiantil. El objetivo no es
comparar a los estudiantes, sino, que medir el progreso que cada uno de ellos
tiene en un año. Este sistema identifica a una escuela efectiva como una
escuela que entrega oportunidades educacionales para todos los estudiantes,
32
indiferentemente si éstos tienen facilidades o dificultades para aprender
(Dossett & Muñoz, 2003).
33
CAPITULO II MARCO TEÓRICO
2.1 Modelo teórico de valor agregado
El modelo conceptual ampliamente aceptado entre el set relevante de inputs
para el proceso de producción educacional está dado por el siguiente modelo7:
Ait = f (Bi(t), Pi
(t), Si(t), Ii) (1)
En donde para el alumno i, Ait representa el puntaje en el tiempo t; Bi(t) es el
vector de influencias del backgound familiar acumulado hasta tiempo t; Pi(t) es el
vector de influencias de compañeros acumulados hasta el tiempo t; Si(t) es el
vector de inputs del establecimiento acumulados al tiempo t; y Ii es el vector de
habilidades innatas.
Este modelo conceptual relaciona el producto actual (puntaje en t) con todo el
set de valores históricos de las variables involucradas, excluyendo la dotación
de habilidades innatas las que se asumen constantes en tiempo, luego los
7 Ver Hanushek (1979).
34
inputs históricos tienen un efecto duradero sobre el producto actual. El modelo
explícitamente indica que las variables involucradas deben ser observadas a
nivel individual. La introducción de inputs promedios a nivel de escuelas
claramente genera una distorsión al espíritu del modelo conceptual, la que
podría llevar a modificar las relaciones con el producto.
Todavía no hay total claridad conceptual sobre la relación input output. Los
modelos lineales asumen independencia entre los distintos inputs y productos
marginales constantes, en cambio los modelos logarítmicos permiten productos
marginales declinantes, pero restringen la forma de las interacciones de las
variables.
Si se asume una función lineal aditivamente separable, entonces (1) puede
rescribirse como sigue:
Ait = βt Bit + βt-1 Bi,t-1 +…+ β1 Bi1 +
δt Pit + δt-1 Pi,t-1 +…+ δ1 Pi1 +
θt Sit + θt-1 Si,t-1 +…+ θ1 Si1 +
γt Ii +
eit (2)
35
Ahora si se resta (α- 1) Ai,t-1 en ambos lados de la ecuación, y reagrupamos
se obtiene:
Ait - Ai,t-1 = βt Bit + δt Pit + θt Sit - (1 - α) Ai,t-1 +
(βt - α βt-1) Bi,t-1 +…+ (β1 - α β0) Bi0 +
(δt - α δt-1) Pi,t-1 +…+ (δ1 - α δ0) Pi0 +
(θt - α θt-1) Si,t-1 +…+ (θ1 - α θ0) Si0 +
Ii (γt - α γt-1) + ?it (3)
Con ?it = {eit - α ei,t-1}
Donde Ait - Ai,t-1 representa el crecimiento (valor agregado) en el puntaje entre
t y t-1.
Si suponemos que las variables de background, como sexo, género y
educación de los padres entre otras, observadas en t-1 < t disminuyen en la
misma tasa su efecto de un período a otro, entonces βt - αβt-1 = 0 (βt/βt-1 = α)
para todo t. Este supuesto no quiere decir que dichas variables tengan el mismo
efecto en todo período t, ya que en ese caso se tendría que βt = βt-1 para todo t,
con lo que se tendría α = 1, lo que equivaldría decir que los inputs pasados no
36
disminuyen su efecto en el tiempo. En vez de eso se plantea que α es distinto
de 1.
Además si aplicamos el mismo supuesto anterior (tasas constantes de
disminución de los efectos sobre el crecimiento en puntaje) a las variables de
influencias de los compañeros, input del establecimiento y las habilidades
innatas, entonces tenemos que δt - αδt-1 = 0, θt - αθt-1 = 0 y γt - αγt-1 = 0 para todo
t.
Los supuestos recién enunciados no sólo implican que cada uno de los set
de variables relevantes (background, compañeros de clase, input del
establecimiento y habilidades) decrecen en su efecto a través del tiempo a una
tasa constante, si no que además esta tasa es la misma para cada set de
variables, en este caso α (δt / δt-1 = θt / θt-1 = γt / γt-1 = α para todo t).
Si se piensa que cada set de variables disminuye su efecto a una tasa
constante, pero distinta para cada set, o más aún que dicha tasa no es
constante en el tiempo, entonces no sería posible resumir la información de
cada set de variables relevantes en el puntaje Ai,t-1, con lo cual tendríamos que
incluir en el modelo toda la evolución de los set relevantes de variables para
cada individuo.
37
Una vez aplicados los supuestos anteriores el modelo teórico queda de la
siguiente forma:
Ait - Ai,t-1 = βt Bit + δt Pit + θt Sit - (1 - α) Ai,t-1 + ?it (4)
Es importante destacar que el modelo (4) disminuye el requerimiento de
información con respecto al modelo (3). El modelo (4) sólo necesita de
observaciones contemporáneas de las distintas variables involucradas, además
del puntaje al comienzo del período considerado (Ait-1), en cambio el modelo (3)
necesita observaciones durante toda su evolución hasta el período considerado
para cada uno de los estudiantes, lo que hace casi imposible su
implementación.
En este tipo de modelo el problema de omitir variables es considerable solo si
éstas están correlacionadas con las demás variables incluidas en el modelo, en
cuyo caso las estimaciones de los coeficientes serán sesgadas. En el caso que
éstas no estén correlacionadas el único efecto que tendrían sobre las
estimaciones de los coeficientes sería que éstos no serían de mínima varianza,
pero sí insesgados. En la práctica por una variedad de razones es difícil
especificar un vector apropiado de variables background familiar y recursos
dedicados a cada escuela (Ladd & Walsh, 2001).
38
2.2 Método de Matching Propensity Score
Como se puede observar del modelo de valor agregado (ecuación 4) se
necesita la observación del producto (puntajes) en dos instantes de tiempo para
cada individuo. En particular se necesita observaciones del puntaje al término
de la Educación Básica y al término de la Educación Media para los individuos
que finalizaron la Educación Media. Como no se cuenta con observaciones del
puntaje al término de la Educación Básica para los individuos que finalizaron la
Educación Media se utiliza el Método de Matching Propensity Score para
estimar este puntaje. A continuación se describe la base teórica de este
método.
2.2.1 El rol de la aleatoriedad
Una causa es vista como un tratamiento que trae un cambio en una variable
de interés, comparado con una línea base, llamada control. El principal
problema en identificar el efecto causal es que la variable de interés es
observada bajo el régimen de tratamiento o control, pero nunca en ambos.
El efecto de tratamiento en estudios no experimentales es el efecto de
tratamiento esperado sobre la población tratada:
39
t |T=1 = E(Yi1|Ti=1) – E(Yi0|Ti=1)
Donde Yi1 (Yi0) es el valor de la variable de interés cuando la unidad i es
expuesta al tratamiento (control) y T=1 (=0) significa que la unidad i fue
asignada al tratamiento (control). El problema de la no observabilidad es que se
puede estimar E(Yi1|Ti=1), pero no E(Yi0|Ti=1).
Se puede estimar: t e = E(Yi1|Ti=1) – E(Yi0|Ti=0), pero es potencialmente un
estimador sesgado de t , ya que, si las unidades de tratamiento y control difieren
sistemáticamente en sus características, y si sólo se observa Yi0 para el grupo
de control, éste podría no ser una buena estimación para Yi0 para el grupo de
tratados.
La aleatoriedad previene lo anterior, luego:
Yi1, Yi0 - Ti E(Yi0|Ti=0) = E(Yi0|Ti=1)
En donde - simboliza independencia. Así los grupos de tratados y de control
no difieren sistemáticamente, haciendo la condicionante sobre Ti en la
expectativa innecesaria, produciendo t |T=1 = t e.
40
2.2.2 Matching exacto sobre variables de pre-tratamiento
La siguiente proposición extiende la estructura de la sección anterior a
estudios no experimentales:
Proposición 1: Si para cada unidad se observa un vector de variables pre-
tratamiento Xi, y Yi1, Yi0 - Ti|Xi para todo i, luego el efecto de tratamiento de la
población para los tratados, t |T=1, es igual al efecto de tratamiento condicional
sobre variables de pre-tratamiento y asignación al tratamiento, t |T=1,X,
promediado sobre la distribución X|Ti=1.
Entonces: t |T=1 = EX[t |T=1,X |Ti=1]
Esto asume que, condicionando sobre variables de pre-tratamiento
observables, se puede tomar la asignación al tratamiento como aleatoria, y en
particular, las variables no observables no juegan un rol en la asignación al
tratamiento; comparando un individuo tratado y un individuo no tratado con las
mismas características observables, por la preposición 1 es como compararlos
en un experimento aleatorio. Bajo este supuesto, el efecto de tratamiento
condicional, t |T=1,X, es estimado por un argumento idéntico al usado para el
41
tratamiento ignorable, simplemente condicionando sobre X y luego
promediando sobre X|T=1 para estimar el efecto de tratamiento.
2.2.3 Propensity Score
El Propensity Score corresponde a la probabilidad condicional de haber sido
asignado al tratamiento dado un set de variables de pre-tratamiento (X). Luego
el resultado de independencia condicional se extiende al uso del Propensity
Score, y por implicación inmediata al resultado del cálculo del efecto de
tratamiento condicional.
Proposición 2: la probabilidad de una unidad i de haber sido asignada al
tratamiento, se define como p(Xi)=Pr(Ti=1|Xi)=E(Ti|Xi). Luego:
(Yi1, Yi0) - Ti|Xi (Yi1, Yi0) - Ti|p(Xi)
Proposición 3: t |T=1 = Ep(X)[t |T=1,p(X) |Ti=1]
El Propensity Score permite condicionar sobre un escalar en vez de un vector
de n dimensiones. Además éste puede ser estimado usando modelos Probit o
Logit. Es importante destacar que p(X) debe pertenecer al intervalo (0,1), ya
42
que si p(X) = 0 (=1) los individuos con características X siempre pertenecerán al
grupo de control (tratamiento), lo que hará imposible encontrar pareja con esas
características en el grupo de tratamiento (control).
2.2.4 Funciones de distribución Logit y Probit
Para la estimación de la probabilidad de haber sido asignado al tratamiento
típicamente se consideran dos formas funcionales para la función de
distribución acumulada8, que además dan nombre a los tipos de modelo: Logit
si la función de distribución acumulada es una logística y Probit si la función de
distribución acumulada es una normal.
Si la función de distribución es logística, entonces la probabilidad está dada
por la siguiente expresión:
Pr(T=1|X) = )(1
)(β
βXEXP
XEXP+
8 Cualquier función de distribución acumulada asigna un valor, y sólo uno, entre 1 y 0, para cualquier valor de la variable aleatoria que se modele, que en este caso corresponde a una combinación lineal de las características de pre-tratamiento. Si se estima la probabilidad de haber sido asignado al tratamiento mediante un modelo lineal (mediante el método de Mínimos Cuadrados Ordinarios), las estimaciones pueden entregar valores fuera del rango (0,1), lo cual no tiene ninguna lógica desde el punto de vista de la teoría de probabilidad.
43
Si la función de distribución es normal, entonces la probabilidad está dada
por la siguiente expresión:
Pr(T=1|X) = π
β
2
)2/(1
2∫−
∞−
−−
X
dssEXP
Si bien ambos modelos, Logit y Pobit, difieren en sus funciones de
distribución acumulada, entregan estimaciones similares de la probabilidad. La
estimación de la probabilidad es de más fácil manejo numérico mediante la
utilización del modelo Logit, ya que su función de distribución tiene una forma
“cerrada”, es decir, en su solución no intervienen integrales como en el modelo
Probit. Además la función de distribución logística presenta colas más anchas
que la función de distribución normal.
2.2.5 Métodos de emparejamiento
Para el Matching Propensity Score existen varios métodos de estimación
para E(Yi0|Ti = 1), entre los más utilizados en la literatura se encuentran: El
estimador de vecino (s) más cercano (s), Kernel y Regresión Lineal Local.
44
El estimador de vecino más cercano utiliza como estimación de E(Yi0|Ti = 1)
el puntaje del individuo del grupo de control que posea el Propensity Score más
cercano al individuo del grupo de tratamiento.
Ahora utilizar sólo un individuo del grupo de control para la estimación puede
llevar el riesgo de imputar un individuo que presenta un producto que dista
mucho de otros individuos del grupo de control que poseen Propensity Scores
muy parecidos. Para solucionar este problema se utilizan n vecinos y la
estimación del producto se realiza a través del promedio simple observado de
las n unidades del grupo de control que posean el Porpensity Score más
cercano al del individuo del grupo de tratamiento, en donde n es el número de
vecinos escogido.
El estimador de Kernel utiliza el promedio ponderado del producto observado
de todas las unidades del grupo de control, en donde la ponderación se asigna
en función de la distancia del Propensity Score de la unidad del grupo de
tratamiento y los Propensity Score de las unidades del grupo de control.
El método de regresión lineal local implementa una regresión ponderada de
mínimos cuadrados sobre el producto observado de las unidades de control
sobre una constante y sobre las diferencias entre los Propensity Score de las
45
unidades de control y la de tratamiento. Luego la constante es la estimación de
E(Yi0|Ti = 1).
El Maching Mahalanobis utiliza como estimación de E(Yi0|Ti = 1) el puntaje
del individuo del grupo de control que se encuentre más cercano al individuo del
grupo de tratamiento. La distancia no se calcula en función del Propensity
Score, si no que calcula la distancia entre las variables de pre-tratamiento
incorporando una matriz de correlaciones. La distancia se expresa como
{ } { } { }2 1, yxyxyxd T rrrrrr−−= −ω . En donde ? corresponde a la matriz de correlación
entre los vectores x e y. Estos últimos están formados por las variables de pre-
tratamiento de un individuo del grupo de control y de un individuo del grupo de
tratamiento.
46
CAPITULO III ESTIMACIÓN
3.1 Fuente de Información 9
La prueba estandarizada IALS se aplicó a países pertenecientes a la OCDE y
a países que no pertenecían a esta organización, mediante dos rondas de
recolección de información entre 1994 y 1998. Se usaron muestras
nacionalmente representativas de población adulta entre 16 y 65 años de edad.
La población encuestada está formada por individuos que pertenecen a toda la
gama de ciclos educativos10.
IALS mide el nivel de alfabetización de la población adulta, que se define
como: la habilidad para entender y emplear información impresa en actividades
de la vida diaria, en el hogar, en el trabajo y en la comunidad, para alcanzar
metas y desarrollar conocimiento y potencial. La alfabetización es medida en
términos de tres dominios, cada uno envolviendo un set común de habilidades
relevantes para diversas tareas. La Tabla 3 describe los diferentes dominios de
alfabetización. 9 Ver Anexos A1.2. 10 Básica, Media y Universitaria: finalizadas y no finalizadas.
47
Tabla 3: Dominios de habilidades de alfabetización
Prosa
Documento
Cuantitativo
Conocimiento y habilidades necesarias para entender y usar información de textos incluyendo manuales de instrucción, folletos, crónicas y editoriales.Conocimiento y habilidades requeridas para localizar y usar información contenida en varios formatos, incluyendo formularios de empleo, formas de pago, horarios de locomoción, mapas, tablas y gráficos.Conocimiento y habilidades requeridas para aplicar operaciones aritméticas, sola o secuencialmente, a números ubicados en material impreso, por ejemplo llenar un talonario de cheques, calcular la dosis de una receta medica, completar un formulario o determinar el monto de la tasa de interés sobre un préstamo de un anuncio.
Los puntajes en cada dominio se obtienen de la Teoría de Respuesta al Item
(IRT), la cual genera 5 puntajes diferentes altamente correlacionados para cada
Para el alumno i perteneciente al país p, Aitp representa el puntaje obtenido al
finalizar la Educación Media; Ai,t-1,p representa el puntaje estimado al finalizar la
Educación Básica; Bip es el vector de influencias del backgound familiar y del
estudiante; Dip es una variable dummy de país; Hip es un vector que trata de
capturar el efecto de actividades que se realizan en el puesto de trabajo y fuera
de él que podrían influenciar la adquisición de habilidades; y εip es el término
que captura los factores no medidos del puntaje.
50
El vector Bip intenta capturar cuál sería el ambiente de aprendizaje del
individuo en el hogar, además de características propias que pueden ejercer
una influencia sobre el puntaje a través de los distintos intereses. La variable
dummy de país Dp representa cuál es el aporte de la Educación Media de cada
país al crecimiento en al puntaje de los individuos, en vez del aporte de ciertos
inputs particulares.
Al estimar este modelo debe notarse que los puntajes al finalizar la
Educación Media y al finalizar la Educación Básica no son observados en el
momento mismo de finalizados dichos ciclos educativos, si no que un tiempo
después. Esto implica que los individuos pudieron adquirir ciertas habilidades
fuera de la educación formal que se relacionan con la mayor obtención en
puntajes. Para superar en parte este problema es que se introduce el set de
variables Hip.
La mayor complicación que surge es que el puntaje obtenido al finalizar la
Educación Básica no es observado. Por esta razón se estima bajo los distintos
métodos de Matching (los que se basan en variables de pre-tratamiento y no en
variables contemporáneas al término del ciclo educativo). Dicho puntaje podría
no reflejar necesariamente los mismos hábitos, que se relacionan con la
obtención de puntajes, del individuo que finalizó solo la Educación Media. Se
puede decir a este respecto que un individuo que sólo finalizó la Educación
51
Básica generalmente se emplea en trabajos más básicos que no
necesariamente requieren de un uso diario de actividades que requieran aplicar
conocimientos de matemáticas o analizar textos de mayor complejidad, y si lo
hicieran su menor calificación les permitiría beneficiarse menos con este tipo de
actividades, ya que el aprendizaje a lo largo de la vida depende del nivel inicial
de conocimientos/habilidades con que se cuenta. Por lo tanto se podría decir
que el efecto del learning by doing para los individuos que sólo finalizaron la
Educación Básica no es importante como en el caso de individuos que tienen
mas calificación (como los que egresaron de educación Media).
3.3 Exclusiones
Se excluirán del análisis a todos aquellos individuos que tengan un nivel del
ciclo educativo incompleto. Por ejemplo, si los individuos que no completaron la
Educación Media (Educación Superior) son agrupados con los individuos que
sólo finalizaron la Educación Básica (Educación Media), se producen dos
efectos diferentes; como la cantidad de años de escolaridad puede influir en
forma positiva con el puntaje en pruebas estandarizadas, al incluir a los
individuos con Educación Media incompleta (Educación Superior incompleta) se
estará subestimando (sobreestimando) el valor agregado entregado por la
Educación Media, ya que estos obtendrían mayores puntajes que los que solo
52
tienen la Educación Básica (Educación Media) completa. El efecto total no es
claro y depende de cuál de los dos efectos por separado es más fuerte.
Se excluirán del análisis a los inmigrantes que hayan completado la
Educación Media o Básica en su país de origen y que ésta sea su nivel de
educación más alto. Si estos individuos son incluidos en el país de residencia
contaminarán el valor agregado entregado por dicho país, dado que los
puntajes obtenidos por el individuo no fueron producto de la educación en el
país de residencia. Por la misma razón se excluyen a aquellos individuos que
realizaron la mayor parte de su nivel educativo más alto en el extranjero.
Se excluirán del análisis a todos los individuos que declaran estar estudiando
y que simultáneamente declaran haber finalizado la Educación Básica o Media,
ya que pueden no haber terminado el nivel declarado o se encuentran por
encima de dicho nivel.
Se excluirán del análisis aquellos individuos que no presentan información de
ninguno de los dos padres o tutores (madre biológica, madre adoptiva,
conviviente del padre, hermana, tía, abuela, cuñada, u otro.), ya que estas
variables se utilizan en los métodos de matching y el modelo de valor agregado.
53
CAPITULO IV RESULTADOS
4.1 Método de Matching Propensity Score
4.1.1 Propensity Score
Es importante destacar que el método de Matching sólo se utilizará para
encontrar el grupo de control, es decir, los individuos que sólo han completado
la Educación Básica (T=0) y que tienen la misma distribución de características
observables de pre-tratamiento que individuos que sólo han completado la
Educación Media (T=1). En donde la variable de interés (Yi) corresponde al
puntaje obtenido por los individuos en el dominio Cuantitativo y Prosa.
En una primera etapa se calcula el Propensity Score mediante una función
Logit. Las variables11 a utilizar en el modelo Logit para el Propensity Score
varían de país a país dependiendo de la disponibilidad de información12.
11 La descripción de las variables se encuentran en Anexos A3. 12 Los resultados se muestran en Anexos A4. Además se muestra el resultado del test de balance del Propensity Score, el que asegura que individuos con Propensity Score similares poseen la misma distribución de variables de pre-tratamiento y por último también se agregan los histogramas del Propensity Score.
54
Hubiera sido deseable incluir variables relacionadas al financiamiento,
jornada o plan de estudios de la Educación Básica, pero por disponibilidad de
información (esas variables para los individuos que finalizaron la Educación
Media hacen referencia a ese nivel educativo y no la Educación Básica) no es
posible incluirlas sin caer en la aplicación de supuestos demasiado fuertes
sobre dichas variables (lo que podría afectar los resultados del modelo Logit al
incluir información ficticia). La Tabla 8 muestra las variables de pre-tratamiento
utilizadas por cada país en la estimación del modelo Logit13.
Tabla 8: Variables Utilizadas en Propensity Score
Paises Educación Madre
Educación Padre
Edad Individuo
Género Individuo
Individuo Inmigrante
Raza Individuo
Idiomanac/entrevista
Prob. Aprendizaje
Individuo
Nac Individuo
RM
Chile X X X X X XSuiza (alemana) X X X X X XSuiza (francesa) X X X X X XAlemania X X X X X X XUSA X X X X X X X XIrlanda X X X X X X XHolanda X X X X X XPolonia X X X X X XSuecia X X X X X XNueva Zelanda X X X X X X X XGran Bretaña X X X X X X X XIrlanda del Norte X X X X X X XBélgica X X X X X X X
Nota: La variable edad se utilizó como tramos (5) en países como USA e Irlanda del Norte para satisfacer la propiedad de balance del Propensity Score.
Se puede observar de los resultados de los modelos Logit (ver Anexos A4)
que la edad está asociada en forma negativa con la probabilidad de ingresar a
la Educación Media en la mayoría de los países, salvo USA, Polonia, Irlanda del
13 Estas variables también fueron utilizadas en el Matching Mahalanobis.
55
Norte y Suiza (Alemana). La significancia estadística (nivel de confianza de
5%)14 de esta variable se da en la mayoría de los países.
La variable género de los individuos muestra resultados contrapuestos para
algunos países. Para Alemania, Suecia, Suiza (Francesa y Alemana), Irlanda
del Norte, Gran Bretaña y Holanda los hombres muestran mayor probabilidad
de ingreso a la Educación Media (sólo siendo significativa para Suiza Alemana,
Irlanda del Norte y Gran Bretaña). Para el resto de los países los mujeres
muestran mayor probabilidad de ingresar a la Educación Media que los
hombres, pero esta variable sólo es significativa en Polonia e Irlanda.
Las variables de educación del padre y la madre (o tutores) en general
muestran que a mayores niveles de educación de estos la probabilidad de
ingresar a la Educación Media aumenta. La significancia estadística de estas
variables se observa en general cuando los padres poseen Educación Media o
más.
La variable de problema de aprendizaje (aplicable los países que poseen
información de ésta variable) en general muestra que individuos que tuvieron
este tipo de problema tienen una probabilidad menor de ingresar a la Educación
14 En adelante la significancia estadística estará referida al nivel de 5%.
56
Media. La significancia estadística se da en: Chile, Nueva Zelanda, Irlanda y
Gran Bretaña.
La variable de raza muestra para USA que la raza blanca, negra e hispánica
tiene mayor probabilidad de ingreso a la Educación Media que otras razas
(aunque ninguna es significativa). En Nueva Zelanda la descendencia inglesa
se asocia a una mayor probabilidad de ingreso a la Educación Media (ninguna
es significativa). En Gran Bretaña la raza blanca y negra se asocian con una
probabilidad menor de ingresar a la Educación Media (ninguna significativa).
Si el individuo es inmigrante se observa una mayor probabilidad de ingreso a
la Educación Media en países como Alemania, Suiza Alemana, Bélgica y Gran
Bretaña. Para el resto de los países la asociación es inversa. En ningún país
esta variable es significativa.
Los individuos que aprendieron como primer idioma uno distinto al de la
entrevista se les asocia con una probabilidad mayor de asistir a la Educación
Media en países como Suiza Alemana, Irlanda, Bélgica y Gran Bretaña, aunque
en ninguno de estos países se muestra una relación significativa.
Una vez que se han obtenido los modelos Logit es pertinente analizar como
se distribuyen los Propensity Score dentro de los distintos grupos (control y
57
tratamiento) para cada país, ya que, se esperaría que los individuos que forman
parte del grupo de tratamiento tengan probabilidades más cercanas a uno y
para individuos del grupo de control se esperan probabilidades mas cercanas a
cero.
Antes de analizar las distribuciones de Propensity Scores es pertinente
analizar para cada país los tamaños de las muestras de cada grupo
(tratamiento y control) utilizadas en las estimaciones, además de algunas
estadísticas del Propensity Score. La Tabla 9 muestra dicha información.
Tabla 9: Tamaños muestrales y estadísticas del Propensity Score
Prosa_básica -0,96 -0,92 -0,72 -0,62Edad 3,98 4,04 4,21 4,30Edad2 -0,06 -0,06 -0,06 -0,06Hombre -8,61 -8,76 -9,21 -9,47madre_menos_EM 8,13 7,37 7,02 6,71madre_EM_completa y mas 15,69 15,04 14,12 13,64padre_menos_EM 6,62 6,48 6,57 6,50padre_EM_completa y mas 12,61 12,36 11,36 10,77sin_tv 29,41 29,42 29,90 29,68ve_tv_menos_2hr 21,23 21,56 22,41 22,10ve_tv_entre_2hr y 5hr 20,65 21,01 21,83 21,48ve_tv_mas_5hr 6,55 7,21 7,78 7,29capacitacion 9,76 9,82 9,74 9,72lee_no_diariamente 3,76 3,58 3,70 3,80lee_diariamente 8,40 6,43 8,59 8,72Alemania 43,08 40,43 27,22 20,24USA 23,13 19,79 15,20 12,33Irlanda 39,62 37,86 27,59 22,33Holanda 52,31 49,84 36,13 29,38Polonia 16,31 16,20 13,45 11,92Nva_Zelanda 45,58 42,94 29,49 22,69Gran_Bretaña 37,71 35,60 25,00 19,6Irlanda del Norte 33,04 30,15 21,14 15,54constante 139,00 129,43 84,87 63,47significativa al 5% significativa al 10% no significativa al 10% ni al 5%
De la Tabla 15 se observa que la edad tiene un efecto sobre el crecimiento
mayor al caso de la muestra completa (ver Tabla 13).
La brecha entre mujeres y hombres se mantiene muy similar al caso de la
muestra completa (ver Tabla 13).
El tiempo dedicado a ver televisión no es significativo en ningún modelo. La
capacitación mantiene un aporte al crecimiento de los puntajes similar al de la
muestra completa. Lo mismo ocurre con la frecuencia de lecturas en el trabajo.
75
La brecha de aporte de la Educación Media en cada país comparado con
Chile nuevamente parece no haber variado en gran medida con respecto a los
resultados de la muestra completa (ver Tabla 13). Chile posee el último lugar en
el ranking de países y las magnitudes de las brechas son similares.
Una de las posibles explicaciones al bajo aporte de la Educación Media
chilena al crecimiento en los puntajes de los individuos que pasan por ésta,
aparte del contexto de cada país antes mencionado (ver Anexos A2), podría ser
el bajo nivel de input que este tipo de educación recibe. Este bajo nivel del input
podría dificultar el proceso de aprendizaje. Los demás países al contar con un
input de mayor calidad podrían aprender con mayor facilidad y verse más
beneficiados con la Educación Media. La calidad del input de la Educación
Media en los tres dominios puede verse en el Gráfico 2.
76
Gráfico 2
0
5010
015
020
025
030
035
0
Sue
cia
Ale
man
ia
Hol
anda
Bel
gica
Sui
za (a
lem
ana)
Sui
za (f
ranc
esa)
Nue
va Z
elan
da
Irlan
da d
el N
orte
Irlan
da
Gra
n B
reta
ña
US
A
Pol
onia
Chi
le
Puntajes Educación Básica
Cuantitativo Documento Prosa
Fuente: IALS 1998
77
CAPITULO V CONCLUSIONES
Los sistemas educacionales son extremadamente complejos, influyendo en el
rendimiento de estos una gama de factores como: características de los
alumnos, profesores, escuelas, políticas educacionales, etc., los que
constituyen el contexto en que se desenvuelven los sistemas educativos y los
que varían según el nivel de desarrollo económico y cultural de cada país.
Al analizar elementos del contexto en el cual se desarrollan los sistemas
educativos de cada país, se puede observar que Chile en general posee
desventajas con respecto a los demás países en cuanto a los elementos que
parecen relacionarse con la obtención de mayores puntajes promedios, como
es el caso del ingreso per cápita, gasto por estudiante y distribución del ingreso,
entre otros. Aunque estos elementos no son necesariamente causales, si están
relacionados de alguna manera.
El modelo de valor agregado planteado para comparar el aporte al
crecimiento en puntaje de cada país, relativo a Chile no permite concluir cual es
el aporte de determinados inputs específicos, pero sí puede entregar una visión
78
general de cual es la brecha de aporte del sistema educacional de Enseñanza
Media chileno al crecimiento en los puntajes relativo al contexto internacional.
Teniendo en cuenta que el valor agregado que entrega la Educación Media
de cada país no es único, es decir, depende de la materia que se evalué se
analizaron dos dominios; Cuantitativo y Prosa. Además se analizaron diferentes
modelos de valor agregado, en los cuales el puntaje al finalizar la Educación
Básica de cada individuo que finalizó solo la Educación Media se estimó por
diferentes métodos. En todos los modelos de valor agregado y tanto para el
dominio Cuantitativo como para el dominio Prosa la Educación Media de Chile
siempre mostró el aporte más bajo al crecimiento en los puntajes. Una posible
explicación, aparte de los elementos de contexto antes nombrados, podría
apuntar al bajo nivel del input de la Educación Media, es decir, los individuos
que sólo egresaron de la Educación Básica muestran un nivel de puntaje
promedio inferior a los de los países de la muestra.
Al estimar los mismos modelos para los individuos con edad menor o igual a
35 años, se encuentra que los resultados no varían en gran medida de los
obtenidos para la muestra completa.
Para finalizar, se puede decir que las estimaciones entregan evidencia de
que la frecuencia con la que se utilizan operaciones básicas de matemáticas y
79
la frecuencia con la que se usan o leen informes, artículos, revistas o diarios en
el puesto de trabajo aportan al aprendizaje. Lo mismo ocurre con la
capacitación. Además se observa que mientras menos tiempo se dedica a ver
televisión, mayor es el aprendizaje. El efecto conjunto de estas variables podría
contrarrestar en parte el bajo aporte de la Educación Media.
80
CAPITULO VI BIBLIOGRAFÍA
• ANAND, P. MIZALA, A. REPETTO, A. 2006. Using School Scholarships to Estimate the Effect of Government Subsidized Private Education on Academic Achievement in Chile. [en línea] < http://66.102.1.104/scholar?hl=es&lr=&q=cache:VwMZa8FEkxQJ:www.bcentral.cl/esp/estpub/seminarios/pdf/anand_mizala_repetto.pdf+ANAND,+P.++MIZALA,+A.++REPETTO,+A.+2006> [consulta: 29 marzo 2006]
• BARRO, R. 2001. Human Capital and Growth. [en línea] The American
Economic Review May 2001 Vol 91, N°2. [en línea] <http://links.jstor.org/sici?sici=0002-8282%28200105%2991%3A2%3C12%3AHCAG%3E2.0.CO%3B2-%23> [consulta: 3 abril 2006]
• DE GREGORIO, J. y BRAVO-ORTEGA, C. 2002. The relative Richness of
the Poor? Natural Resources, Human Capital and Economic Growth, Central Bank of Chile, Working paper Nº 139. [en línea] < http://216.239.51.104/search?q=cache:ESu2n2xRDlUJ:www.expansiva.cl/en_foco/documentos/10052005170115.pdf+%C2%B7+DE+GREGORIO,+J.+y+BRAVO-ORTEGA,+C.+2002.+The+relative+Richness+of+the+Poor%3F+Natural+Resources,+Human+Capital+and+Economic+Growth,+Central+Bank+of+Chile,+Working+paper+N%C2%BA+139.&hl=es&ct=clnk&cd=4&gl=cl> [consulta: 15 abril 2006]
• DEHEJIA, R. H. y WAHBA, S. Diciembre 1998. Propensity score matching
methods for non-experimental causal studies. [en línea] < http://ideas.repec.org/a/tpr/restat/v84y2002i1p151-161.html > [consulta: 10 febrero 2006].
• DORAN, H.C. 2003. Value-Added Analysis: A Review of Related Issues. [en
ch_SearchType_0=eric_accno&accno=ED476134> [consulta: 28 marzo 2006]
• DOSSETT, D. y MUÑOZ, M. A. 2003. Classroom Accountability: A Value-
Added Metodology. [ en línea] http://www.eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=ED478202&ERICExtSearch_SearchType_0=eric_accno&accno=ED478202 [consulta: 20 marzo 2007]
• FERNÁNDEZ, M. J. Y GONZÁLEZ, A. 1997. Desarrollo y Situación de los
Estudios de Eficacia Escolar. [en línea] < http://dialnet.unirioja.es/servlet/articulo?codigo=282802 > [consulta: 15 marzo 2006]
• HANUSHEK, E. 1979. Conceptual and empirical issues in the estimation of
educational production functions. The Journal of Human Resources, Vol 14. [en línea] < http://www19.uniovi.es/economia/aedeweb/ficheros/P4.pdf> [consulta: 3 mayo 2006]
• HANUSHEK, E. 2002. The Importance of School Quality. [en línea]
<http://edpro.stanford.edu/Hanushek/files_det.asp?FileId=94> [consulta: 13 marzo 2006]
• HANUSHEK, E. 2004. Some simple Analytics of School Quality. [en línea]
http://ideas.repec.org/p/nbr/nberwo/10229.html [consulta: 13 mayo 2006] • HANUSHEK, E. y KIM, D. 1995. Schooling, Labor Force Quality, and
Economic Growth. [en línea ] NBER WORKING PAPER SERIES Dicember 1995 <http://ideas.repec.org/p/nbr/nberwo/5399.html> [consulta: 23 febrero 2006]
• HANUSHEK, E. y LUQUE, J. 2002. Efficiency and equity in schools around
the world. [en línea] NBER WORKING PAPER SERIES May 2002 <http://www.nber.org/papers/w8949> [consulta: 10 enero 2006]
• HANUSHEK , E. y RAYMOND, M. E. Y RIVKIN, S. G. March 2004. Does it
matter how we judge school quality?. [en línea] < http://www3.interscience.wiley.com/cgi-bin/abstract/109934061/ABSTRACT> [consulta: 24 abril 2006]
• HEYNEMAN, S. P. 2004. International Education Quality, Economics of
Education Review. [en línea] <
82
http://66.102.1.104/scholar?hl=es&lr=&q=cache:oeLygi6exDYJ:202.112.92.69/resource/jee/0408/13.pdf+Heyneman,+S.+P.+2004.+International+Education+Quality> [consulta: 6 mayo 2006]
• KRUEGER, A. B. Y LINDAHL, M. 2001. Education for Growth: Why and for
Whom? [en línea] < http://links.jstor.org/sici?sici=0022-0515(200112)39%3A4%3C1101%3AEFGWAF%3E2.0.CO%3B2-%23> [consulta: 4 junio 2006]
• LADD, H. F. Y WALSH, R. P. 2001. Implementing Value-Added measures of
School Effectiveness: Getting the Incentivez Right. [en línea] < http://scholar.google.com/scholar?q=helen+ladd+randall+walsh+2001+implementing+value-added&hl=es&um=1&oi=scholart > [consulta: 15 abril 2006]
• MENG, Y. 2003. Measuring progress towards a Goal: Estimating Teacher
Productivity using a Multivariate Multilevel Model for Value-Added Analysis. [en línea] <http://www.gseis.ucla.edu/faculty/thum/papers/srm1103.pdf > [consulta: 15 mayo 2006]
• MEYER, R.H. 1997. Value-Added Indicators of School Performance: A
Primer. Economics of Education Review. [en línea] < http://eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=EJ547332&ERICExtSearch_SearchType_0=eric_accno&accno=EJ547332> [consulta: 15 mayo 2006]
• MEYER, R. H. 2002. Value added indicators; Do they make an important
difference? Evidence from the Milwaukee Public School. [en línea] < http://www.wcer.wisc.edu/archive/mps/AERA2002/Value-Added%20Indicators%20in%20Milwaukee%20Final%20%20AERA%20v3.pdf > [consulta: 23 mayo 2006]
• MIZALA, A. Y ROMAGUERA, P. 2000. Determinación de factores
explicativos de los resultados escolares en educación media en Chile, Documentos de trabajo. [en línea] < http://ideas.repec.org/p/edj/ceauch/85.html> [consulta: 25 abril 2006]
• Ministerio de Educación. 2004. Resultados de los estudiantes chilenos en el
estudio PISA 2000. Competencias para la vida. Chile. Lom Ediciones. • OECD. 2000, Literacy in the information age. Final report of the international
adult literacy survey. OECD Publishing.
83
• TOKMAN, A. 2004. Educación y Crecimiento en Chile, Working Papers Nº 289, Banco Central de Chile. [en línea] < http://cdi.mecon.gov.ar/biblio/docelec/bccl/dt/289.pdf> [consulta: 26 marzo 2006]
• Yu, l. y White, D. 2002, “Measuring Value-Added School Efects on Ohio Six-
Grade Proficiency Test Results Using Two-Level Hierarchical Linear Modeling”, [en línea] <http://eric.ed.gov/ERICWebPortal/custom/portlets/recordDetails/detailmini.jsp?_nfpb=true&_&ERICExtSearch_SearchValue_0=ED481653&ERICExtSearch_SearchType_0=eric_accno&accno=ED481653 [consulta: 21 abril 2006]
84
CAPITULO VII ANEXOS
A1.- Pruebas Internacionales
A 1.1.- Programa Internacional de Evaluación de Estudiantes (PISA) PISA se aplicó el año 2000 en 32 países, una vez iniciado el estudio, la OCDE realizó una aplicación paralela denominada PISA+, para permitir que otros países interesados participaran en el año 2001, entre ellos Chile. Los objetivos, metodología y población evaluada en este segundo estudio replicaron exactamente el primero, lo que permite la comparación entre las dos aplicaciones. PISA pretende ser un mecanismo de seguimiento del desempeño de los estudiantes en lectura, matemáticas y ciencias, por lo que cada tres años se realizan evaluaciones de los conocimientos y habilidades en estas áreas. En cada oportunidad se pone énfasis en una de ellas. El ciclo 2000-2001 evaluó con profundidad las competencias lectoras, las que fueron medidas a través de dos tercios de las preguntas de la prueba. El ciclo 2003 se enfocó en evaluar matemáticas (Chile no participó en este ciclo) y el ciclo 2006 tendrá como foco ciencias. Objetivos de PISA El objetivo general de PISA es evaluar las competencias que son esenciales para la participación plena en la sociedad. La evaluación considera elementos curriculares, pero el criterio de construcción de su marco de referencia no está restringido a ellos. Las tareas evaluadas en PISA corresponden a situaciones de la vida real, al poner a prueba la habilidad de los estudiantes para reflexionar sobre su conocimiento y experiencia, y aplicarlos a asuntos prácticos de la vida cotidiana. Dado que dentro de las habilidades para evaluar están las que se esenciales para la vida futura, el estudio PISA pone fuerte énfasis en medir las capacidades para aprender y supone la necesidad de un aprendizaje continuo a
85
lo largo de la vida, pues los estudiantes no pueden aprender en la escuela todo lo que necesitarán en la vida adulta. La orientación principal del estudio es aportar a la formulación de políticas públicas. Los gobiernos de la OCDE desean responder preguntas como: ¿Están nuestras escuelas y liceos preparando niños y jóvenes para una participación plena en sociedad?, ¿Qué estructuras y prácticas educacionales maximizan las oportunidades de los alumnos con desventajas socioeconómicas? y ¿Cuánto influye la calidad de los recursos de la escuela en los resultados de los estudiantes? ¿Qué evalúa PISA? Cuando se dice alfabetización, ya sea en lectura, matemáticas o ciencias, no se trata del dominio de un conocimiento especializado ni necesariamente profundo, sino de contar con elementos básicos que puedan ser utilizados en la vida diaria, para aprender ahora y para seguir aprendiendo. La alfabetización en lectura se define como la comprensión, el uso y la reflexión sobre textos escritos, con el fin de cumplir las propias metas, desarrollar los propios conocimientos y potencialidades, y participar en la sociedad. Dado que lectura es el área principal del este ciclo de aplicación PISA, hay un mayor número de preguntas relativas a ella, lo cual permite evaluar tres tipos de tareas lectoras: extraer información, interpretar un texto y, reflexionar y evaluar el contenido y la forma de un texto. La Tabla 1 define cada uno de los tipos de tareas.
Tabla 1: Tipos de tareas en lectura
Tipos de tareaExtaer información
Interpretar TextosReflexionar y Evaluar
Localización de uno o más trozos de información de un texto.Construcción de significado y deducción de inferencias de una o más partes de un texto.Relación de un texto con la propia experiencia, conocimientos e ideas.
Definición
La alfabetización en matemáticas se define como la capacidad de identificar, comprender y practicar las matemáticas, así como de ejercer juicios bien fundamentados acerca del papel que las matemáticas desempeñan en la vida privada actual y futura de un individuo, en su vida laboral, social y como ciudadano constructivo, comprendido y reflexivo. Este concepto se emplea para indicar la capacidad de aplicar los conocimientos y habilidades matemáticas de manera funcional en la vida cotidiana, más que su simple manejo en el contexto curricular.
86
La alfabetización en ciencias se define como la capacidad para usar los conocimientos y procesos científicos, para reconocer preguntas relacionadas con la ciencia y para integrarlas al momento de tomar decisiones que afectan a la naturaleza. Población objetivo y muestra en Chile La población objetivo de PISA se define como los alumnos de quince años matriculados entre los grados 7º y 12º. El proceso de muestreo fue bi-etápico, seleccionándose primero a los establecimientos y en segundo lugar a los estudiantes. Para seleccionar a los establecimientos, la Coordinación Nacional del estudio envió el marco muestral a la institución internacional encargada de la selección de la muestra. Ella escogió al azar ciento ochenta establecimientos de entre todos los considerados en el marco. En una segunda etapa, se seleccionaron al azar a treinta y cinco alumnos de cada establecimiento, entre el número de total de estudiantes de quince años que asistía a cada uno de ellos. El número de alumnos hombres fue de 2.294 (46%) y 2.590 (54%) para mujeres, con un total de 4.884 alumnos que representan a un total de 216.305 estudiantes de quince años del país. La mayoría de los alumnos evaluados en PISA 2000 están en 2º medio, con un 61% de la muestra, 27% para 1º medio, 10% para 8º básico y 2% para 7º básico. Países participantes PISA se aplicó el año 2000 en veintiocho países miembros de la OCDE y en cuatro países que no eran miembros. Después de iniciado el estudio la OCDE realizó un proyecto paralelo denominado PISA+ para permitir que otros países interesados participaran en la evaluación con un año de retraso. Esta medición cubrió once países, incluido Chile, y se realizó el 2001. Los objetivos, así como la metodología, la población evaluada, el diseño muestral y los procedimientos de aplicación de la prueba fueron exactamente los mismos aplicados en PISA 2000. La Tabla 2 muestra los países participantes en PISA 2000.
87
Tabla 2: Países participantes en PISA 2000
* del análisis internacional se excluyeron los datos de Holanda, por no contar con una muestra que cumpliera con los requisitos técnicos necesarios, y los de Rumania, porque sus datos no fueron enviados a tiempo al consorcio internacional para su procesamiento.** Países que aplicaron PISA 2000 en el año 2001, denominado PISA+.Fuente: Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Curriculum y EvaluaciónMinisterio de Educación.
Luxemburgo Chile**
Letonia
Macedonia** (ex Yugoslavia) Perú**
Rumania* **
Tailandia**
Hong - Kong China**Indonesia**
Israel**
LiechtensteinRepública Checa
Suecia
Países OCDE participantes en PISA 2000Albania**
Argentina**Brasil
Bulgaria**
Federación Rusa
Suiza
IslandiaItalia
Japón
MéxicoNoruega
Nueva ZelandaPoloniaPortugal
Reino UnidoGrecia
Holanda*Hungría
EspañaEstados Unidos
FinlandiaFrancia
AustriaBélgica
CoreaDinamarca
Canadá
Países OCDE participantes en PISA 2000Alemania IrlandaAustralia
Desempeño en lectura de los estudiantes en el contexto internacional La Tabla 3 muestra los puntajes promedios de lectura global de todos los países que participaron en el estudio. Se observa de ésta tabla, que el país que obtiene mayor puntaje promedio es Finlandia, con 546. También es uno de los países cuyos peores y mejores alumnos tienen menos diferencias en cuanto a puntaje. En cambio Alemania cuyos alumnos tienen la mayor distancia entre los altos y bajos puntajes de la OCDE, se ubica entre los últimos lugares. El promedio de puntajes de los países pertenecientes a la OCDE es de 500 Puntos y ninguno de los países latinoamericanos incluidos en la muestra alcanza este promedio. En particular Chile alcanza un puntaje promedio de 410 Puntos, similar al de Argentina, México y Brasil, y superior al de Perú16 y al promedio latinoamericano. La dispersión de los puntajes latinoamericanos también varía. Chile tiene una distribución de puntajes más homogénea que argentina, existiendo menos distancia entre los puntajes máximos y mínimos.
16 Ver Tabla 2.1 comparaciones múltiples de puntajes promedio en lectura global. Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Currículo y Evaluación Ministerio de Educación.
88
Tabla 3: Puntajes promedios de lectura global de los países participantes en PISA
Fuente: Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Curriculum y EvaluaciónMinisterio de Educación.
89
Niveles de desempeño PISA clasifica las capacidades lectoras en cinco niveles como lo muestra la Tabla 4.
Tabla 4: Niveles de desempeño
Nivel Puntaje 1 335 a 4072 408 a 4803 481 a 5524 553 a 6255 más de 625
Cada nivel de dificultad cubre un total de 73 Puntos en el continuo de puntajes. Cada nivel de desempeño de lectura muestra un grupo de competencias específicas y un cierto grado de dificultad común, que entrega una información cualitativa sobre qué y cuánto son capaces de realizar los estudiantes en esta área. Como cada nivel de desempeño en lectura representa una progresión de conocimientos y habilidades, los alumnos de un nivel no solo demuestran los conocimientos y habilidades asociadas con ese nivel en particular, sino también los asociados con los niveles más bajos. De esta manera, los conocimientos y habilidades requeridos en cada nivel se acumulan y consideran los requeridos para el nivel inmediatamente inferior, por lo tanto el grado de complejidad disminuye desde el nivel 5 (que reúne las preguntas que exigen mayor número y complejidad de competencias) hasta el nivel 1 (que reúne las preguntas cuyas exigencias, en términos de número de procesos para realizar y su complejidad son menores)17. La Tabla 5 muestra los resultados por niveles de desempeño para los países incluidos en la muestra. 17 Ver Tabla1.3 niveles de desempeño en lectura para descripción detallada de los niveles. Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Currículo y Evaluación Ministerio de Educación.
90
Tabla 5: % de estudiantes en niveles de desempeño lectura global
De la Tabla 5 se puede observar que para los países de la OCDE los estudiantes que no alcanzan el Nivel 1 son en promedio 6% y varían entre 0,9% y 16%. En los países latinoamericanos, éstos son en promedio 27% y varían entre 16% y 54%. El porcentaje de chilenos ubicados bajo el Nivel 1 es significativamente menor que el existente en Perú, Argentina y Brasil, aunque mayor al de México. En general, los países latinoamericanos tienen altos porcentajes de estudiantes en el Nivel 1 y bajo éste. Porcentajes cercanos al 50% no alcanzan el nivel 2 en la mayoría de esos países. En contraste, la mayor proporción de estudiantes en los países OCDE se encuentran en los niveles 3 y 4 (50% del promedio OCDE). Cerca del 23% de estudiantes chilenos alcanza el Nivel 3 o más. Este porcentaje es superior al 17% alcanzado en Brasil, pero inferior al 31% de Argentina y al 26% de México.
91
Desempeño de los estudiantes de acuerdo a las tareas de lectura Los estudiantes latinoamericanos se sitúan significativamente por debajo del puntaje promedio de los países OCDE en los tres tipos de tareas como lo muestra la Tabla 6. Al comparar los puntajes promedios de las distintas tareas de lectura, los países no-OCDE, incluyendo a los latinoamericanos, tienen mejores resultados en las tareas interpretar y reflexionar que en las de extraer. Por el contrario, los países que comparativamente tienen mejores resultados en la escala extraer que en interpretar y reflexionar son en su mayoría países OCDE. Los puntajes promedios de los estudiantes chilenos en las tareas de interpretar (419) y reflexionar (412) son similares y no se diferencian del promedio en lectura global, pero en extraer alcanzan un promedio significativamente más bajo (383). Chile no se diferencia de Argentina en ninguna de las tareas y tiene un promedio superior al de Brasil en extraer y en interpretar y superior a Perú y al promedio de Latinoamérica en todas las tareas. Desempeño en matemáticas y ciencias en el contexto internacional El promedio en matemáticas y ciencias para la OCDE es de 500 Puntos, con una desviación estándar de 100. De la Tabla 7 de observa que sólo dos países no-OCDE superan ese promedio en matemáticas; Hong-Kong China y Liechtenstein, y solo un país en ciencias; Hong-Kong China. Ningún país latinoamericano alcanzó ese promedio ni en matemáticas ni en ciencias. Los estudiantes chilenos alcanzan promedios de 384 Puntos para matemáticas, superior al de Brasil y Perú, semejante al de Argentina y México. Solo el percentil de los alumnos con puntajes más altos apenas alcanza el promedio de la OCDE en matemáticas. Ciencias es el área en que chile obtiene el mejor puntaje, con un promedio de 415 Puntos, superior al puntaje de brasil y Perú, semejante al de Argentina y México. Además se observa que hay más alumnos chilenos en el extremo superior de la distribución que efectivamente alcanzan el promedio OCDE. En ciencias el percentil de los mejores puntajes obtiene en promedio 574 Puntos, el promedio más alto de los países latinoamericanos. Las distribuciones de Chile son las más homogéneas entre los países latinoamericanos en las dos pruebas.
92
Tabla 6: Desempeño comparativo de los estudiantes en distintas tareas de lectura
(+) : Promedio de Chile estadísticamente más alto, (=) : Promedio Chile estadísticamente similar, (-) : Promedio Chile estadísticamente inferior.Fuente: Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Curriculum y Evaluación Ministerio de Educación
93
Nivel socioeconómico y cultural y el desempeño de los estudiantes Es necesario profundizar el análisis del factor socioeconómico. En particular se analizará el desempeño de la elite socioeconómica y cultural de Chile, ya que su rendimiento será un “techo” para el resto de los estudiantes de Chile. Para esto se comparará como una submuestra de los países participantes en PISA; los 5 países latinoamericanos, Finlandia (con el mejor resultado en lectura), EEUU (cuyo promedio en lectura es semejante al promedio OCDE) y Portugal (Cuyo resultado fue uno de los más bajos de la OCDE). PISA construyó un índice complejo llamado ISEC, en el que se resumen todos los índices que caracterizan a los estudiantes de acuerdo a la ocupación y nivel educacional de sus padres, así como respecto a la riqueza y bienes culturales de su familia. En relación a los países de comparación, los estudiantes chilenos tienen un índice promedio de -0,9, similar al de Argentina, superior a los de México, Perú y Brasil, e inferior a los de Portugal, Finlandia, EEUU y al promedio de los países de la OCDE. Los estudiantes de elite en Chile comprenden el 10% de los estudiantes con los puntajes más altos del índice ISEC. Estos estudiantes tienen puntajes que van desde 0,7 a 2,74 en este índice y representan a un total 21.403 alumnos de una población total de 216.305 estudiantes de 15años, para realizar las comparaciones se seleccionó a los alumnos de los mismos índices en los países de comparación18. Los resultados para la elite de Chile en cuanto a puntaje promedio, no se diferencian de la elite de Brasil, Argentina y el promedio de Latinoamérica en ninguna prueba ni en ninguna tarea de lectura. La elite de México solo supera a la elite de Chile solo en las tareas de extraer información y reflexionar y evaluar el contenido y la forma de un texto. La elite de Chile supera el desempeño de la elite de Perú en todas las pruebas, pero no se diferencia en la tarea de reflexionar. La elite de Chile se desempeña peor que EEUU, Finlandia, Portugal y el promedio OCDE en todas las pruebas (ver Tabla 9). En cuanto a los niveles de desempeño, la distribución entre la elite de los países latinoamericanos es similar a la de Chile en los niveles 4 y 5. Los estudiantes elite de Finlandia, Portugal y EEUU tienen mayores porcentajes de estudiantes en los nivele 4 y 5. Además tienen menores porcentajes de estudiantes en los niveles 2 y 3, excepto Portugal que tiene un porcentaje similar a Chile en el nivel 3 (ver Tabla 10).
18 Los porcentajes de estudiantes sobre ISEC de 0,7 son; Argentina 15%, Brasil 7%, México 10%, Perú 5%, EEUU 33%, Finlandia 26% y Portugal 17%.
94
Tabla 7: Puntaje promedio y distribución en ciencias y matemáticas
Fuente: Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Curriculum y Evaluación Ministerio de Educación
MatemáticasPercentiles Percentiles
Ciencias
95th5th 25th 75th 5th 25th 75th 95th
95
Tabla 9: Comparación de puntajes promedio en lectura, matemáticas y ciencias entre estudiantes de elite de Chile y sus similares en los países comparados
Fuente: Resultados de los estudiantes chilenos en el estudio PISA 2000, Unidad de Curriculum y Evaluación Ministerio* Se incluye México, el que ytambién se incluye en el promedio OCDE
Países comparados
(+) : Promedio del país significativamente más alto al promedio de Chile, (=) : Promedio del país similar al promedio de Chile, (-) : Promedio del país significativamente más bajo al promedio de Chile
LecturaMatemáticas Ciencias
Tabla 10: Distribución en lectura global de los estudiantes de elite chilena y sus similares en los países de comparación
Bajo Nivel 1 N ivel 1 N ivel 2 N ivel 3 N ivel 4 N ivel 5Países comparados % % % % % %Chile 2,61 10,67 29,47 38,05 16,87 2,34Argentina 3,91 9,47 21,95 36,13 21,70 6,84Brasil 3,99 11,62 26,71 36,16 17,43 4,10Méx ico 1,49 7,87 25,17 39,46 22,08 3,93Perú 9,89 17,60 32,20 29,17 9,49 1,64Promed io LA* 3,67 10,48 25,97 36,63 18,92 4,33EEUU 0,84 4,73 13,47 27,14 30,08 23,75Finlandia 0,47 1,96 8,84 23,10 36,13 29,52Portugal 0,83 4,01 13,14 33,06 36,20 12,78Promed io O C D E 1,54 4,56 13,78 29,02 32,13 18,96
* Se incluye México, el que ytam b ién se incluye en el promed io O C D E
Nota: Los valores en negrita indican diferencias signif icativas entre el porcentaje del país y el de ChileFuente: Resultados de los estudiantes chi lenos en el estudio PISA 2000, Unidad de Curriculum y Evaluación M inisterio
Conclusiones Los estudiantes de 15 años en Chile no alcanzan el nivel de alfabetización de un estudiante promedio de la OCDE ni en lectura, ni en matemáticas, ni en ciencias. El desarrollo de habilidades de los estudiantes chilenos es similar al de México y Argentina, y superior al de Perú en las tres pruebas. Chile supera a Brasil en el desarrollo de habilidades en matemáticas y en ciencias. En lectura, el mayor porcentaje de estudiantes de Chile, México y Argentina, se ubican en el Nivel 2. Chile tiene un menor porcentaje de estudiantes que no alcanzan el Nivel 1 de lectura que Argentina, Brasil y Perú. El porcentaje de estudiantes en el Nivel 3 y superiores es menor en Chile que en Argentina y México. El porcentaje de estudiantes en Chile que alcanza los niveles más
96
complejos de habilidades lectoras (Niveles 4 y 5), es mucho más bajo que en los países de la OCDE. Los estudiantes de elite en Chile en matemáticas, ciencias y lectura, tienen igual rendimiento que sus similares en Argentina, México y Brasil, y superior al de la elite de Perú, pero inferior al rendimiento de un estudiante promedio de la OCDE.
A 1.2.- International Adult Literacy Survey (IALS) IALS se aplicó a 20 países mediante dos rondas de recolección de información entre 1994 y 1998, usando muestras representativas nacionalmente de población adulta entre 16 y 65 años de edad. La población encuestada esta formada por individuos que pertenecen a toda la gama de ciclos educativos19, pero los resultados se analizarán sólo para la submuestra de los individuos que solo terminaron la Educación Media y para individuos que tienen menos que Educación Media. Objetivos de IALS Aportar al entendimiento de la naturaleza y magnitud de la distribución de alfabetización enfrentada por los países y explorar nuevos conocimientos de los factores que influencian el desarrollo de habilidades de los adultos en varias direcciones; en el hogar, en el trabajo y a través de los países. ¿Qué evalúa IALS? IALS mide el nivel de alfabetización de la población adulta, y ésta se define como; la habilidad para entender y emplear información impresa en actividades de la vida diaria, en el hogar, en el trabajo y en la comunidad, para alcanzar metas y desarrollar conocimiento y potencial. La alfabetización es medida en términos de tres dominios, cada uno envolviendo un set común de habilidades relevantes para diversas tareas. La Tabla 1 describe los diferentes dominios de alfabetización.
Tabla 1: Dominios de habilidades de alfabetización
19 Básica, media y universitaria.
97
Prosa
Documento
Cuantitativo
Conocimiento y habilidades necesarias para entender y usar información de textos incluyendo manuales de instrucción, folletos, crónicas y editoriales.Conocimiento y habilidades requeridas para localizar y usar información contenida en varios formatos, incluyendo formularios de empleo, formas de pago, horarios de locomoción, mapas, tablas y gráficos.Conocimiento y habilidades requeridas para aplicar operaciones aritméticas, sola o secuencialmente, a números ubicados en material impreso, por ejemplo llenar un talonario de cheques, calcular la dosis de una receta medica, completar un formulario o determinar el monto de la tasa de interés sobre un préstamo de un anuncio.
Medición de alfabetización Cada dominio posee una escala que va desde 0 a 500 Puntos, los cuales se dividen en cinco niveles. La Tabla 2 describe el rango de puntajes y que son capaces de hacer los individuos en cada nivel.
Tabla 2: Niveles y su descripción Niveles Rango Pts
1 0 - 225
2 226 - 275
3 276 - 325
4 y 5326 - 375 y 376 - 500
Es considerado un mínimo apropiado para competir con las demandas de la vida cotidiana y el trabajo en una sociedad avanzada y compleja. Este nivel denota el nivel habilidades requerido para la finalización exitosa de la secundaria y la entrada a la educación universitaria. Como los niveles más altos, este requiere de habilidades para integrar varias fuentes de información y resolver problemas más complejos.Describe a las personas que demuestran un dominio más alto de habilidades de procesamiento de información.
Indica a las personas con habilidades muy bajas, en donde el individuo podría, por ejemplo, ser capaz de determinar la cantidad correcta de una medicina a dar a un niño de la información impresa en el envase.
Descripción
Los individuos pueden tratar con material que es simple y claro, en la cual las tareas involucradas no son muy complejas. Este nivel denota un débil nivel de habilidades, pero mayores que el Nivel 1. Este nivel identifica a la gente que lee pobremente y podría haber desarrollado habilidades competitivas para manejar las demandas de habilidades de la vida diaria, pero su bajo nivel de rendimiento hace difícil para ellos enfrentar las demandas modernas, como el aprendizaje de las habilidades de un nuevo trabajo.
Población objetivo y muestra en Chile IALS se aplicó a individuos pertenecientes a la población adulta con edad entre 16 y 65 años. Se utilizó un diseño de la muestra de cuatro etapas, con unidades en una secuencia extendiendo de distritos, sectores de censos y domicilio a individuos. La estratificación de distritos fue realizada de acuerdo región y tipo (urbano/rural). Los distritos, al igual que los sectores de censo fueron seleccionados con probabilidad proporcional para calibrar en una manera sistemática. Los domicilios fueron seleccionados usando un método de bloques móviles y un individuo en cada domicilio fue seleccionado aleatoriamente usando una tabla Kish. El número total de encuestados en Chile fue de 3.58320 adultos. 20 Incluye todos los niveles del ciclo educativo.
98
Países participantes La recolección se datos se realizó en dos ciclos. La Tabla 3 muestra los países participantes en IALS para los dos ciclos.
Tabla 3: Países participantes en IALS Prime ciclo Segundo ciclo
Australia ChileBélgica (Flamenca) República ChecaCanadá DinamarcaAlemania FinlandiaIrlanda HungríaPaíses Bajos NoruegaNueva Zelanda EsloveniaPolonia Suiza (italiana)Suecia PortugalSuiza (francesa y alemana)Reino UnidoEEUUFuente: OECD, 2000
Desempeño de la población adulta por nivel educativo Como se dijo antes, este estudio abarca todos los ciclos educativos, es decir, desde menos que básica hasta universitaria, pero el interés del análisis se centra sobre los dos ciclos inferiores (Básica y Media). El informe OECD 2000, que reporta los resultados de IALS, divide la población por ciclos educativos en: menos que Educación Media, Educación Media completada y educación terciaria completada. Sólo se analizará menos que Educación Media y Educación Media completada. La Tabla 4 muestra los puntajes promedios alcanzados por los adultos que poseen menos que Educación Media y con Educación Media completada para los tres dominios. Como podemos observar de dicha tabla, Chile obtiene puntajes promedios menores al promedio internacional en todos los dominios y para los dos niveles de logro educativo, pero las distancias entre los promedios de los adultos con Educación Media completa y el promedio internacional, disminuyen en Cuantitativo y Prosa con respecto a dichas distancias para la población con menos que Educación Media. En particular el promedio para los adultos que poseen menos que Educación Media se ubican en el nivel 1 en todos los dominios y los promedios internacionales para ese mismo grupo se ubican en el nivel 2 en todos los dominios. El promedio para la población adulta chilena con Educación Media completa se ubica en el nivel 2 en todos los dominios, y el promedio internacional para ese mismo grupo se ubica en el nivel 3 en todos los dominios. Chile es el país que ocupa el último puesto del ranking
99
en el dominio Cuantitativo en los dos niveles de logro educacional. En el dominio Prosa, Chile supera levemente a Eslovenia para la población con menos que Educación Media, obteniendo un puntaje promedio similar a este en la población que posee Media completada. En el dominio Documento, Chile supera levemente a Eslovenia y se acerca al puntaje promedio alcanzado por EEUU para la población con menos que Educación Media, y para la población que completo Educación Media Chile ocupa el último puesto en el ranking de países.
Tabla 4: Puntajes promedios para Prosa, Documento y Cuantitativo por nivel
Fuente: OECD, 2000 La Tabla 5 detalla los puntajes promedios en todos los dominios alcanzado por diferentes tramos de edades con Media completa. Los resultados en general muestran que los países tienen una mejoría de los promedios de las cohortes más jóvenes, esto lleva a promedios internacionales más altos para dichas cohortes en todos los dominios. Chile se ubica por debajo del promedio internacional en todos los tramos de edad y en todos los dominios. Podría decirse que la cohorte más joven tiende a tener mejores promedios, salvo en
100
cuantitativo (en donde obtienen levemente mejores resultados la cohorte más antigua), pero la distancia entre los promedios de los distintos tramos de edad con respecto al promedio internacional tiende a ser consistentemente menor para la cohorte más antigua en todos los dominios.
Tabla 5: Puntajes promedio prosa, Documento y Cuantitativo para distintos
tramos de edad con Educación Media completa País 16-25 26-35 36-45 46-65 16-25 26-35 36-45 46-65 16-25 26-35 36-45 46-65
* : Se combinó la información de la población para el país completo** : Los valores para la población jóven de EEUU son derivados de US NALS (1992), por anomalías en la población de 16-25 años de IALSFuente: OECD, 2000 Las más grandes diferencias entre los países en cuanto a habilidades de alfabetización ocurre para la población con menos que Educación Media como lo muestra la Tabla 6. La cual muestra el porcentaje de la población entre 16 y 65 años que no ha completado la Educación Media pero que logran puntajes en los niveles 3, 4 o 5. La tabla muestra que Chile es lejos el país que tiene menor porcentaje en este grupo de la población (4%) seguido por Eslovenia (11,2%) y Hungría (11,6%).
101
Tabla 6: Porcentaje de la población entre 16 y 65 años que no ha completado la Educación Media pero que alcanza puntajes dentro de los niveles 3,4 o 5
Conclusiones La población adulta chilena que posee menos que Educación Media y Educación Media completa, en promedio, no alcanzan los niveles mínimos de habilidades de alfabetización para desempeñarse exitosamente en una sociedad moderna21, y se ubican en los puestos más bajos del ranking de países en todos los dominios. Chile posee lejos, el menor porcentaje de adultos con menos que Educación Media completa que logra niveles de habilidades de alfabetización que permiten desempeñarse exitosamente en una sociedad moderna (niveles 3,4 y 5).
21 Definidas por los expertos como el nivel 3.
102
A 2.- Contexto de la muestra de países participantes en IALS
El contexto de cada país en el que operan los sistemas educativos es un punto crucial de tener en cuenta al momento de comparar resultados de aprendizaje, ya que el nivel de desarrollo económico y cultural varía de país en país, lo que influye en el desarrollo educativo y por ende ayuda a entender las diferencias que se producen al momento de comparar los logros en aprendizaje. El primer elemento a tener en cuenta al comparar los desempeños entre países es el nivel de ingreso que tiene cada país, el que daría cuenta del nivel de desarrollo de estos y el de sus sistemas de educación. El Gráfico 1 muestra el puntaje promedio del Dominio Cuantitativo de los individuos que sólo finalizaron la Educación Media y el Ingreso per cápita por país (PPP22) referido a 1995.
Gráfico 1: Puntaje Promedio vs GNI per cápita
Promedio Cuantitativo vs GNI per Capita (PPP) (1995)
Belgica
HolandaAlemania
Suecia
Reino UnidoUSASuiza
New Zelanda
Irlanda
Polonia
Chile
0
50
100
150
200
250
300
350
0 5 10 15 20 25 30
GNI per Capita (PPP)
Pro
med
io C
uan
tita
tivo
Fuente: Banco Mundial Como se puede observar Chile posee el GNI per cápita más bajo de los países de la muestra, aunque muy cerca de Polonia. Países como Suecia, Bélgica, Alemania poseen alrededor de tres veces el nivel de GNI per cápita poseído por Chile, al mismo tiempo que estos países son justamente los que muestran mayores desempeños promedio en este dominio.
22 Poder de paridad de compra.
103
Otro elemento a considerar es el gasto por estudiante de Educación Media como porcentaje del GNI. El Gráfico 2 muestra el gasto por alumno de Educación Media (referido a 1995) como porcentaje del GNI y el puntaje promedio obtenido en el Dominio Cuantitativo.
Gráfico 2: Puntaje Promedio vs gasto como % del GNI
Promedio Cuantitativo vs Gasto por Estudiante en Ed. Media como % del GNI (1995)
Belgica
Holanda
Alemania
SueciaReino Unido
USASuiza
New ZelandaIrlanda
Polonia Chile
0
50
100
150
200
250
300
350
0 5 10 15 20 25 30
Gasto por Estudiante como % del GNI (1995)
Pro
med
io C
uan
tita
tivo
Fuente: Banco Mundial Se puede observar una relación negativa entre el gasto en Educación Media como porcentaje del GNI y los puntajes promedios, en donde Chile se ubica entre los menores porcentajes de gasto. Otro de los elementos importantes de señalar es el gasto por estudiante de Educación Media, indicador más preciso que indicaría el nivel de recursos dedicado a cada estudiante. El Gráfico 3 muestra el gasto por alumno de Educación Media (referido a 1995) y el puntaje promedio obtenido en el Dominio Cuantitativo.
104
Gráfico 3: Puntaje Promedio Cuantitativo vs gasto por estudiante de Educación Media
Promedio Cuantitativo vs Gasto por Estudiante en Ed. Media US$ (1995)
Belgica
HolandaAlemania
Suecia
Reino UnidoUSA Suiza
New ZelandaIrlanda
Polonia
Chile
0
50
100
150
200
250
300
350
0 2 4 6 8 10 12
Gasto por Estudiante en Ed. media US$ (1995)
Pro
med
io C
uan
tita
tivo
Fuente: Banco Mundial Como se puede observar Chile está muy por debajo del gasto por alumno de los países más desarrollados (aunque Polonia muestra un nivel de gasto más bajo), el que bordea 0,6 US$ en 1995. Países como Suiza, Suecia, USA, Holanda, Bélgica y Alemania muestran los mayores niveles de gasto por alumno, destacándose Suiza, conjuntamente estos países (exceptuando a USA) son los que obtienen los mayores puntajes promedios. La distribución del ingreso de los países puede dar luces de cual es el contexto socio-cultural de cada estudiante dentro de su país. Si el ingreso se reparte equitativamente entre los habitantes entonces las brechas socio-culturales deberían tender a disminuir entre los estudiantes. Se considera el índice de GINI como medida de desigualdad de ingreso, el que toma valores entre 0 y 1. El valor cero indica que todas las personas de ese país tienen un ingreso similar, por el contrario el valor 1 indica que un solo grupo concentra todo el ingreso. El Gráfico 4 muestra la relación entre puntajes promedios en el Dominio Cuantitativo y el índice de GINI.
105
Gráfico 4: Puntaje promedio Cuantitativo vs índice de Gini
Promedio Cuantitativo vs Indice de GINI
Chile
Polonia
Irlanda
New Zelanda
SuizaUSA
Reino Unido
Suecia
Alemania
Holanda
Belgica
0
50
100
150
200
250
300
350
0 0,1 0,2 0,3 0,4 0,5 0,6
Indice de GINI
Pro
med
io C
uan
tita
tivo
Fuente: Informe de Desarrollo Humano ONU 2005
Se puede observar del Gráfico 4 que los países que obtienen los mayores puntajes promedio (Suecia, Bélgica y Alemania) son justamente los que poseen una distribución más equitativa del ingreso. Se destaca Chile por poseer la peor distribución del ingreso entre la muestra de países, bordeando el valor 0,6 y muy por encima de los demás países. Podría pensarse que Chile es el país que genera la tendencia negativa del índice de GINI con respecto a los puntajes, pero si excluimos a Chile también se obtiene una tendencia negativa del puntaje con respecto al índice de GINI como lo muestra el Gráfico 5.
106
Gráfico 5: Puntaje promedio Cuantitativo vs índice de Gini excluyendo a Chile
Promedio Cuantitativo vs Indice de GINI
Belgica
Holanda
Alemania
Suecia
Reino Unido
SuizaNew Zelanda
Irlanda
Polonia
255260265270275280285290295300305310
0 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45
Indice de GINI
Pro
med
io C
uan
tita
tivo
USA
Fuente: Informe de Desarrollo Humano ONU 2005 La tasa de matriculación indica cual es el porcentaje de incorporación de la población al sistema formal de educación. El Gráfico 6 muestra la tasa de matriculación de la población entre 15-19 años vs los puntajes promedios de la Educación Media en el dominio Cuantitativo.
107
Gráfico 6: puntajes promedios de la Educación Media en el dominio Cuantitativo vs Tasa de Matriculación de la población entre 15-19 años
Promedio Cuantitativo vs Tasa matricula niños 15-19 años
Alemania
Nueva Zelanda
Polonia
Reino Unido
Holandausa
Suecia
Belgica
Chile
Irlanda Suiza
0
50
100
150
200
250
300
350
60 65 70 75 80 85 90 95
Tasa matricula 15-19 años (%)
Pro
med
io C
uan
tita
tivo
Fuente: OECD/UIS WEI. Se puede observar que Chile posee la tasa más baja de matriculación, muy por debajo de los países que poseen los mayores puntajes promedios (Bélgica, Alemania, Holanda y Suecia). Una mayor tasa de matriculación, en el caso de la prueba IALS sería indicativo que habría una menor selección de alumnos por motivos socio-económicos o académicos. Si bien estos indicadores pueden ser relacionados al nivel de desempeño de los distintos países no son estrictamente causales. Además existen muchos más elementos que influyen en el nivel de desempeño que son muy difíciles de medir: como actitudes hacia el estudio, relación alumno-profesor, etc. Luego estos indicadores pueden ser tomados como antecedentes a tener en cuenta y sin pretender explicar las diferencias entre los desempeños de los países.
108
A 3.- Descripción de Variables Variables
Prosa basica
Cuant basica
Edad
Hombre
madre_sin_ED
madre_menos_EM
madre_EM_completa y mas
padre_sin_ED
padre_menos_EM
padre_EM_completa y mas
nac_RM
prob_aprendizaje
inmigrante
idioma_nac
blanco
negro
ingles
maorí
usa_mat_no_diariamente
usa_mat_diariamente
lee_no_diariamente
lee_diariamente
Chile
USA
Polonia
Alemania
Irlanda
Holanda
Nueva Zelanda
Gran Bretaña
Irlanda del Norte
Dummy: toma el valor 1 si el individuo reside en Holanda, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Nueva Zelanda, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Gran Bretaña, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Irlanda del Norte, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en EEUU, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Polonia, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Alemania, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Irlanda, 0 en caso contrario
Dummy: toma el valor 1 si el individuo usa operaciones básicas de matemática para calcular precios, costos o presupuestos en el trabajo diariamente, 0 en caso contrarioDummy: toma el valor 1 si el individuo lee o usa informes, articulos, revistas o diarios en el trabajo no todos nos días, 0 en caso contrarioDummy: toma el valor 1 si el individuo lee o usa informes, articulos, revistas o diarios en el trabajo diariamente, 0 en caso contrario
Dummy: toma el valor 1 si el individuo reside en Chile, 0 en caso contrario
Dummy: toma el valor 1 si el individuo es de raza negra, 0 en caso contrario
Dummy: toma el valor 1 si el individuo es ingles, 0 en caso contrario
Dummy: toma el valor 1 si el individuo es maorí, 0 en caso contrario
Dummy: toma el valor 1 si el individuo usa operaciones básicas de matemática para calcular precios, costos o presupuestos en el trabajo no todos los días, 0 en caso contrario
Dummy: toma el valor 1 si el individuo tiene problemas de aprendizaje, 0 en caso contrario
Dummy: toma el valor 1 si el individuo nació en otro país, 0 en caso contrario
Dummy: toma el valor 1 si el prime idioma que aprendió el individuo era el de la entrevista, 0 en caso contrario
Dummy: toma el valor 1 si el individuo es de raza blanca, 0 en caso contrario
Dummy: toma el valor 1 si el tutor del individuo no tiene educación, 0 en caso contrario
Dummy: toma el valor 1 si el tutor del individuo tiene menos que educación media completa, 0 en caso contrarioDummy: toma el valor 1 si el tutor del individuo tiene educación media completa o más, 0 en caso contrario
Dummy: toma el valor 1 si el individuo nació en la región metropolitana, 0 en caso contrario
Dummy: toma el valor 1 si el individuo es hombre, 0 si es mujer
Dummy: toma el valor 1 si la tutora del individuo no tiene educación, 0 en caso contrario
Dummy: toma el valor 1 si la tutora del individuo tiene menos que educación media completa, 0 en caso contrarioDummy: toma el valor 1 si la tutora del individuo tiene educación media completa o más, 0 en caso contrario
25% .5726261 .142883 Sum of Wgt. 953 50% .6709632 Mean .6642183 Largest Std. Dev. .1822058 75% .7948675 .956353 90% .9050589 .956353 Variance .033199 95% .9327393 .9567424 Skewness -.4861685 99% .9535323 .9567424 Kurtosis 2.841536 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 7 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 3 4 | 7 .2 | 60 25 | 85 .4 | 98 86 | 184 .6 | 62 87 | 149 .65 | 35 110 | 145 .7 | 35 121 | 156 .8 | 27 200 | 227 -----------+----------------------+---------- Total | 320 633 | 953 ******************************************* End of the algorithm to estimate the pscore *******************************************
111
020
4060
80
0 .5 1 0 .5 1
0 1N
° In
divi
duos
Estimated propensity scoreGraphs by tratamiento
Tratamiento
POLONIA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==9,pscore(PS) logit **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 892 58.65 58.65 1 | 629 41.35 100.00 ------------+----------------------------------- Total | 1,521 100.00 Estimation of the propensity score note: prob_aprendizaje dropped due to collinearity note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -1031.4242 Iteration 1: log likelihood = -941.82681
112
Iteration 2: log likelihood = -940.85437 Iteration 3: log likelihood = -940.85279 Iteration 4: log likelihood = -940.85279 Logistic regression Number of obs = 1521 LR chi2(10) = 181.14 Prob > chi2 = 0.0000 Log likelihood = -940.85279 Pseudo R2 = 0.0878 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | .0292076 .0050736 5.76 0.000 .0192636 .0391516 Hombre | -.8931855 .1121965 -7.96 0.000 -1.113087 -.6732844 madre_sin_ED | .8161474 .6841034 1.19 0.233 -.5246706 2.156965 madre_meno~M | 1.07007 .4783044 2.24 0.025 .1326105 2.007529 madre_EM_c~s | 2.20027 .5071357 4.34 0.000 1.206302 3.194238 padre_sin_ED | .0270441 .653657 0.04 0.967 -1.2541 1.308188 padre_meno~M | .2896147 .3311031 0.87 0.382 -.3593355 .9385648 padre_EM_c~s | 1.22238 .3655766 3.34 0.001 .5058626 1.938897 inmigrante | -.2443195 .5063771 -0.48 0.629 -1.2368 .7481613 idioma_nac | -.0562101 .5608177 -0.10 0.920 -1.155393 1.042972 _cons | -2.551287 .8046163 -3.17 0.002 -4.128306 -.9742685 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .1658594 .0751541 5% .1826596 .0772096 10% .2102888 .0791556 Obs 1521 25% .2801965 .0793164 Sum of Wgt. 1521 50% .4040682 Mean .4135437 Largest Std. Dev. .1665329 75% .5028669 .9116498 90% .6375009 .916243 Variance .0277332 95% .7352614 .916243 Skewness .6333826 99% .862643 .9227267 Kurtosis 3.031455 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 7 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied
113
This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 98 22 | 120 .2 | 258 79 | 337 .3 | 189 98 | 287 .4 | 204 172 | 376 .5 | 76 106 | 182 .6 | 59 115 | 174 .8 | 8 37 | 45 -----------+----------------------+---------- Total | 892 629 | 1,521 ******************************************* End of the algorithm to estimate the pscore *******************************************
------------------------------------------------------------- Percentiles Smallest 1% .4815372 .3226914 5% .6011285 .3864941 10% .6658616 .3881533 Obs 1075 25% .7460613 .4315088 Sum of Wgt. 1075 50% .8419406 Mean .8111628 Largest Std. Dev. .1128515 75% .9027984 .9600423 90% .9295484 .9600423 Variance .0127355 95% .9463328 .9600423 Skewness -1.047365 99% .95154 .9600423 Kurtosis 3.842237 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 9 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .2222222 | 0 1 | 1 .3333333 | 1 4 | 5 .4444444 | 14 19 | 33 .5555556 | 26 44 | 70 .6666667 | 83 184 | 267 .7777778 | 59 309 | 368 .8888889 | 20 311 | 331 -----------+----------------------+---------- Total | 203 872 | 1,075 ******************************************* End of the algorithm to estimate the pscore *******************************************
116
050
100
150
0 .5 1 0 .5 1
0 1N
° In
divi
duos
Estimated propensity scoreGraphs by tratamiento
Tratamiento
SUECIA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==11,pscore(PS) logit **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 238 19.82 19.82 1 | 963 80.18 100.00 ------------+----------------------------------- Total | 1,201 100.00 Estimation of the propensity score note: prob_aprendizaje dropped due to collinearity note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -597.92084 Iteration 1: log likelihood = -578.96089 Iteration 2: log likelihood = -578.1347 Iteration 3: log likelihood = -578.12107
117
Iteration 4: log likelihood = -578.12106 Logistic regression Number of obs = 1201 LR chi2(10) = 39.60 Prob > chi2 = 0.0000 Log likelihood = -578.12106 Pseudo R2 = 0.0331 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.0165236 .0062261 -2.65 0.008 -.0287266 -.0043207 Hombre | .0591917 .1477381 0.40 0.689 -.2303697 .3487531 madre_sin_ED | -3.600327 1.612804 -2.23 0.026 -6.761364 -.4392892 madre_meno~M | -.963803 1.052487 -0.92 0.360 -3.026639 1.099034 madre_EM_c~s | -1.051988 1.065728 -0.99 0.324 -3.140776 1.0368 padre_sin_ED | 1.038131 1.504401 0.69 0.490 -1.910441 3.986703 padre_meno~M | -.0703168 .4594699 -0.15 0.878 -.9708612 .8302277 padre_EM_c~s | .6685046 .4722555 1.42 0.157 -.2570991 1.594108 inmigrante | -.4778057 .4761821 -1.00 0.316 -1.411105 .455494 idioma_nac | -.7459037 .4788739 -1.56 0.119 -1.684479 .1926718 _cons | 3.615226 1.244988 2.90 0.004 1.175095 6.055357 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .6637225 .2931322 5% .7027249 .3099651 10% .721627 .3143372 Obs 1201 25% .7535772 .4703426 Sum of Wgt. 1201 50% .7951115 Mean .8018318 Largest Std. Dev. .0721245 75% .8699604 .959589 90% .896686 .9614681 Variance .0052019 95% .9026505 .9620756 Skewness -.8501084 99% .9390433 .9674798 Kurtosis 7.984957 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 5 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated
118
and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .2 | 3 0 | 3 .4 | 1 4 | 5 .6 | 157 474 | 631 .8 | 77 485 | 562 -----------+----------------------+---------- Total | 238 963 | 1,201 ******************************************* End of the algorithm to estimate the pscore *******************************************
5% .1440011 .0296956 10% .1821935 .0301043 Obs 1626 25% .2504843 .0337641 Sum of Wgt. 1626 50% .3651417 Mean .3862239 Largest Std. Dev. .1738507 75% .5004649 .8384029 90% .6445946 .8731413 Variance .030224 95% .7136795 .8926592 Skewness .4934013 99% .7920404 .9130301 Kurtosis 2.597171 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 9 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 29 3 | 32 .1111111 | 235 50 | 285 .2222222 | 285 104 | 389 .3333333 | 239 141 | 380 .4444444 | 124 132 | 256 .5555556 | 46 107 | 153 .6666667 | 29 72 | 101 .7777778 | 10 18 | 28 .8888889 | 1 1 | 2 -----------+----------------------+---------- Total | 998 628 | 1,626 ******************************************* End of the algorithm to estimate the pscore *******************************************
121
050
100
0 .5 1 0 .5 1
0 1N
° In
divi
duos
Estimated propensity scoreGraphs by tratamiento
Tratamiento
ALEMANIA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==5,pscore(PS) logit **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 892 72.70 72.70 1 | 335 27.30 100.00 ------------+----------------------------------- Total | 1,227 100.00 Estimation of the propensity score note: madre_sin_ED dropped due to collinearity note: padre_sin_ED dropped due to collinearity note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity
122
note: maori dropped due to collinearity Iteration 0: log likelihood = -719.32026 Iteration 1: log likelihood = -636.64279 Iteration 2: log likelihood = -635.59049 Iteration 3: log likelihood = -635.58713 Logistic regression Number of obs = 1227 LR chi2(9) = 167.47 Prob > chi2 = 0.0000 Log likelihood = -635.58713 Pseudo R2 = 0.1164 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.0035992 .0051062 -0.70 0.481 -.0136072 .0064088 Hombre | .1603934 .1417482 1.13 0.258 -.117428 .4382149 madre_meno~M | -.0673689 .4421928 -0.15 0.879 -.9340508 .7993131 madre_EM_c~s | 1.168394 .5227555 2.24 0.025 .1438119 2.192976 padre_meno~M | -.4947267 .4418202 -1.12 0.263 -1.360678 .3712249 padre_EM_c~s | 1.161493 .4730262 2.46 0.014 .2343792 2.088608 prob_apren~e | -.1033845 .6453865 -0.16 0.873 -1.368319 1.16155 inmigrante | .6038854 .6448318 0.94 0.349 -.6599618 1.867733 idioma_nac | -.1138584 .6327373 -0.18 0.857 -1.354001 1.126284 _cons | -.6272819 .8586653 -0.73 0.465 -2.310235 1.055671 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .1774695 .1719051 5% .1790512 .1769448 10% .1817118 .1769448 Obs 1227 25% .1915443 .1769448 Sum of Wgt. 1227 50% .2038513 Mean .2730236 Largest Std. Dev. .1738442 75% .2244322 .8439548 90% .5653745 .8439548 Variance .0302218 95% .810855 .877168 Skewness 2.2855 99% .8396411 .9036196 Kurtosis 6.907143 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 5 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied
123
This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 431 102 | 533 .2 | 403 113 | 516 .4 | 37 49 | 86 .6 | 9 14 | 23 .8 | 12 57 | 69 -----------+----------------------+---------- Total | 892 335 | 1,227 ******************************************* End of the algorithm to estimate the pscore *******************************************
idioma_nac | .0124032 .4623988 0.03 0.979 -.8938818 .9186882 _cons | 19.45194 1.203253 16.17 0.000 17.09361 21.81027 ------------------------------------------------------------------------------ Note: 0 failures and 11 successes completely determined. Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .7016419 .5235776 5% .7045015 .6871166 10% .7051557 .7012933 Obs 786 25% .8272818 .7013708 Sum of Wgt. 786 50% .9420867 Mean .9033079 Largest Std. Dev. .0946384 75% .9704823 1 90% .9849829 1 Variance .0089564 95% .9850375 1 Skewness -1.170304 99% 1 1 Kurtosis 3.217771 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 7 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .4 | 1 0 | 1 .6 | 33 74 | 107 .8 | 27 196 | 223 .9 | 15 440 | 455 -----------+----------------------+---------- Total | 76 710 | 786 ******************************************* End of the algorithm to estimate the pscore *******************************************
126
050
100
150
200
0 .5 1 0 .5 1
0 1
N°
Indi
vidu
os
Estimated propensity scoreGraphs by tratamiento
Tratamiento
SUIZA FRANCESA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==4,pscore(PS) logit **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 92 13.65 13.65 1 | 582 86.35 100.00 ------------+----------------------------------- Total | 674 100.00 Estimation of the propensity score note: prob_aprendizaje dropped due to collinearity note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity
127
Iteration 0: log likelihood = -268.62675 Iteration 1: log likelihood = -236.47796 Iteration 2: log likelihood = -232.76685 Iteration 3: log likelihood = -231.34609 Iteration 4: log likelihood = -231.18863 Iteration 5: log likelihood = -231.18241 Iteration 6: log likelihood = -231.18241 Logistic regression Number of obs = 674 LR chi2(10) = 74.89 Prob > chi2 = 0.0000 Log likelihood = -231.18241 Pseudo R2 = 0.1394 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.044594 .0104448 -4.27 0.000 -.0650655 -.0241225 Hombre | .4700707 .2465564 1.91 0.057 -.013171 .9533124 madre_sin_ED | .3908779 1.330837 0.29 0.769 -2.217515 2.999271 madre_meno~M | .2550877 .7922812 0.32 0.747 -1.297755 1.80793 madre_EM_c~s | 1.210749 .8539207 1.42 0.156 -.4629045 2.884403 padre_sin_ED | -1.206094 1.630551 -0.74 0.459 -4.401915 1.989727 padre_meno~M | 1.03304 .5310064 1.95 0.052 -.0077135 2.073793 padre_EM_c~s | 1.888179 .5412503 3.49 0.000 .8273478 2.94901 inmigrante | -.1725309 .4977021 -0.35 0.729 -1.148009 .8029472 idioma_nac | -.5165624 .4158383 -1.24 0.214 -1.331591 .2984657 _cons | 2.198421 1.145196 1.92 0.055 -.0461219 4.442963 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .4714366 .2137562 5% .6442328 .3634628 10% .6931433 .3634739 Obs 674 25% .8036391 .422781 Sum of Wgt. 674 50% .8954611 Mean .8635015 Largest Std. Dev. .1185805 75% .9598981 .9879143 90% .9761197 .9892153 Variance .0140613 95% .9828223 .9894116 Skewness -1.410869 99% .9874663 .9894116 Kurtosis 5.453811 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 7 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output **********************************************************
128
The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .2 | 3 0 | 3 .4 | 11 12 | 23 .6 | 21 26 | 47 .7 | 17 75 | 92 .8 | 22 157 | 179 .9 | 18 312 | 330 -----------+----------------------+---------- Total | 92 582 | 674 ******************************************* End of the algorithm to estimate the pscore *******************************************
050
100
150
0 .5 1 0 .5 1
0 1
N°
Indi
vidu
os
Estimated propensity scoreGraphs by tratamiento
Tratamiento
129
IRLANDA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==7,pscore(PS) logit numblo(13) **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 561 51.66 51.66 1 | 525 48.34 100.00 ------------+----------------------------------- Total | 1,086 100.00 Estimation of the propensity score note: madre_sin_ED != 0 predicts failure perfectly madre_sin_ED dropped and 1 obs not used note: padre_sin_ED != 0 predicts failure perfectly padre_sin_ED dropped and 4 obs not used note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -748.84755 Iteration 1: log likelihood = -695.79576 Iteration 2: log likelihood = -695.10482 Iteration 3: log likelihood = -695.10318 Logistic regression Number of obs = 1081 LR chi2(9) = 107.49 Prob > chi2 = 0.0000 Log likelihood = -695.10318 Pseudo R2 = 0.0718 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.0294792 .005353 -5.51 0.000 -.039971 -.0189875 Hombre | -.4660488 .130276 -3.58 0.000 -.721385 -.2107125 madre_meno~M | .5269124 .3593773 1.47 0.143 -.1774541 1.231279 madre_EM_c~s | 1.646524 .4129177 3.99 0.000 .8372201 2.455828 padre_meno~M | .874327 .3495249 2.50 0.012 .1892708 1.559383 padre_EM_c~s | 1.505521 .4032328 3.73 0.000 .7151997 2.295843 prob_apren~e | -1.350066 .6455695 -2.09 0.037 -2.615359 -.0847735 inmigrante | -.1632026 .3325278 -0.49 0.624 -.8149452 .48854 idioma_nac | .9212733 .6145922 1.50 0.134 -.2833052 2.125852 _cons | -1.174955 .8142403 -1.44 0.149 -2.770837 .4209265 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score -------------------------------------------------------------
130
Percentiles Smallest 1% .1541265 .078947 5% .2466192 .0848383 10% .3012481 .0993182 Obs 1081 25% .3780905 .1027009 Sum of Wgt. 1081 50% .4773727 Mean .4856614 Largest Std. Dev. .1534271 75% .5726471 .8939655 90% .6849161 .8939655 Variance .0235399 95% .8022697 .904635 Skewness .3899108 99% .8626066 .9143338 Kurtosis 3.073284 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 12 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 5 0 | 5 .0769231 | 9 1 | 10 .1538462 | 16 9 | 25 .2307692 | 56 21 | 77 .3076923 | 116 56 | 172 .3846154 | 133 81 | 214 .4615385 | 112 122 | 234 .5384616 | 65 88 | 153 .6153846 | 22 68 | 90 .6923077 | 14 24 | 38 .7692308 | 10 36 | 46 .8461539 | 3 19 | 22 -----------+----------------------+---------- Total | 561 525 | 1,086 ******************************************* End of the algorithm to estimate the pscore *******************************************
131
020
4060
0 .5 1 0 .5 1
0 1N
° In
divi
duos
Estimated propensity scoreGraphs by tratamiento
Tratamiento
IRLANDA DEL NORTE pscore tratamiento tramo_1 tramo_2 tramo_3 tramo_4 Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==15,pscore(PS) logit numblo(9) **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 1,257 74.91 74.91 1 | 421 25.09 100.00 ------------+----------------------------------- Total | 1,678 100.00 Estimation of the propensity score note: madre_sin_ED != 0 predicts failure perfectly madre_sin_ED dropped and 2 obs not used note: padre_sin_ED != 0 predicts failure perfectly padre_sin_ED dropped and 6 obs not used note: blanco != 1 predicts failure perfectly
132
blanco dropped and 1 obs not used note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -942.63473 Iteration 1: log likelihood = -880.08368 Iteration 2: log likelihood = -878.34823 Iteration 3: log likelihood = -878.34514 Iteration 4: log likelihood = -878.34514 Logistic regression Number of obs = 1669 LR chi2(12) = 128.58 Prob > chi2 = 0.0000 Log likelihood = -878.34514 Pseudo R2 = 0.0682 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- tramo_1 | 1.07861 .2549105 4.23 0.000 .5789944 1.578225 tramo_2 | .8579321 .2393059 3.59 0.000 .3889011 1.326963 tramo_3 | .3600156 .2504006 1.44 0.151 -.1307607 .8507918 tramo_4 | -.0994982 .2734137 -0.36 0.716 -.6353793 .4363829 Hombre | .7723478 .1185268 6.52 0.000 .5400396 1.004656 madre_meno~M | -.1949075 .339256 -0.57 0.566 -.8598371 .470022 madre_EM_c~s | .0344192 .3893755 0.09 0.930 -.7287427 .7975811 padre_meno~M | .154576 .2549971 0.61 0.544 -.3452092 .6543612 padre_EM_c~s | .9862997 .305711 3.23 0.001 .3871171 1.585482 prob_apren~e | -.3843407 .2975494 -1.29 0.196 -.9675267 .1988453 inmigrante | -.1030665 .4686857 -0.22 0.826 -1.021674 .8155405 idioma_nac | -.4903305 .7324861 -0.67 0.503 -1.925977 .9453158 _cons | -1.58811 .8652242 -1.84 0.066 -3.283918 .1076984 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .0913159 .0689706 5% .0981218 .0756403 10% .0981218 .0852669 Obs 1669 25% .1469462 .0852669 Sum of Wgt. 1669 50% .2208294 Mean .2522469 Largest Std. Dev. .1217447 75% .3323211 .6885258 90% .4334437 .6885258 Variance .0148218 95% .4480783 .6885258 Skewness .9545404 99% .6393533 .6885258 Kurtosis 3.86459 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 8 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks
133
********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 229 16 | 245 .1111111 | 532 128 | 660 .2222222 | 257 106 | 363 .3333333 | 203 120 | 323 .4444444 | 22 24 | 46 .5555556 | 6 3 | 9 .6111112 | 4 19 | 23 .6666667 | 4 5 | 9 -----------+----------------------+---------- Total | 1,257 421 | 1,678 ******************************************* End of the algorithm to estimate the pscore *******************************************
25% .5266683 .2383287 Sum of Wgt. 684 50% .6318635 Mean .6418129 Largest Std. Dev. .1581326 75% .7730458 .9370506 90% .8630462 .9370506 Variance .0250059 95% .8994513 .938773 Skewness -.0539383 99% .9302901 .9420863 Kurtosis 2.367755 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 5 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .2 | 24 14 | 38 .4 | 127 119 | 246 .6 | 73 182 | 255 .8 | 21 124 | 145 -----------+----------------------+---------- Total | 245 439 | 684 ******************************************* End of the algorithm to estimate the pscore *******************************************
136
010
2030
40
0 .5 1 0 .5 1
0 1N
° In
divi
duos
Estimated propensity scoreGraphs by tratamiento
Tratamiento
GRAN BRETAÑA pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas prob_aprendizaje inmigrante blanco negro ingles maori idioma_nac if pais==14,pscore(PS) logit numblo(15) **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 1,570 71.95 71.95 1 | 612 28.05 100.00 ------------+----------------------------------- Total | 2,182 100.00 Estimation of the propensity score note: madre_sin_ED != 0 predicts failure perfectly madre_sin_ED dropped and 5 obs not used note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -1293.1571 Iteration 1: log likelihood = -1211.0002
137
Iteration 2: log likelihood = -1209.5983 Iteration 3: log likelihood = -1209.597 Logistic regression Number of obs = 2177 LR chi2(12) = 167.12 Prob > chi2 = 0.0000 Log likelihood = -1209.597 Pseudo R2 = 0.0646 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.0285649 .0039311 -7.27 0.000 -.0362696 -.0208602 Hombre | .8286514 .1002264 8.27 0.000 .6322114 1.025091 madre_meno~M | -.0048544 .2678334 -0.02 0.986 -.5297983 .5200895 madre_EM_c~s | .4877349 .3090776 1.58 0.115 -.1180461 1.093516 padre_sin_ED | .1080222 1.187451 0.09 0.928 -2.219338 2.435383 padre_meno~M | .2527782 .1991357 1.27 0.204 -.1375206 .6430769 padre_EM_c~s | .7293243 .2514152 2.90 0.004 .2365595 1.222089 prob_apren~e | -.6857136 .2602175 -2.64 0.008 -1.19573 -.1756968 inmigrante | .3503614 .3539552 0.99 0.322 -.3433781 1.044101 blanco | -.22068 .4851616 -0.45 0.649 -1.171579 .7302193 negro | -1.258641 .9110886 -1.38 0.167 -3.044342 .5270593 idioma_nac | .3124013 .2824889 1.11 0.269 -.2412667 .8660694 _cons | -.5993218 .5778509 -1.04 0.300 -1.731889 .5332452 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .0970176 .0636942 5% .119431 .0636942 10% .1347834 .0771568 Obs 2177 25% .1871769 .0808566 Sum of Wgt. 2177 50% .2574062 Mean .2811208 Largest Std. Dev. .1252153 75% .3538438 .741256 90% .4561001 .7466968 Variance .0156789 95% .5114354 .7466968 Skewness .8826325 99% .6462925 .7980745 Kurtosis 3.656892 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 12 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied
138
This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- 0 | 6 1 | 7 .0666667 | 185 21 | 206 .1333333 | 351 65 | 416 .2 | 410 128 | 538 .2666667 | 267 109 | 376 .3333333 | 150 98 | 248 .4 | 107 98 | 205 .4666667 | 59 47 | 106 .5333334 | 16 23 | 39 .6 | 8 14 | 22 .6666667 | 4 7 | 11 .7333333 | 7 1 | 8 -----------+----------------------+---------- Total | 1,570 612 | 2,182 ******************************************* End of the algorithm to estimate the pscore *******************************************
050
100
150
200
0 .5 1 0 .5 1
0 1
N°
Indi
vidu
os
Estimated propensity scoreGraphs by tratamiento
Tratamiento
HOLANDA
139
pscore tratamiento edad Hombre madre_sin_ED madre_menos_EM madre_EM_completa_mas padre_sin_ED padre_menos_EM padre_EM_completa_mas inmigrante blanco negro ingles maori idioma_nac if pais==8,pscore(PS) logit **************************************************** Algorithm to estimate the propensity score **************************************************** The treatment is tratamiento tratamiento | Freq. Percent Cum. ------------+----------------------------------- 0 | 798 49.60 49.60 1 | 811 50.40 100.00 ------------+----------------------------------- Total | 1,609 100.00 Estimation of the propensity score note: madre_sin_ED dropped due to collinearity note: padre_sin_ED dropped due to collinearity note: blanco dropped due to collinearity note: negro dropped due to collinearity note: ingles dropped due to collinearity note: maori dropped due to collinearity Iteration 0: log likelihood = -1115.2213 Iteration 1: log likelihood = -1044.273 Iteration 2: log likelihood = -1043.6469 Iteration 3: log likelihood = -1043.646 Logistic regression Number of obs = 1609 LR chi2(8) = 143.15 Prob > chi2 = 0.0000 Log likelihood = -1043.646 Pseudo R2 = 0.0642 ------------------------------------------------------------------------------ tratamiento | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- edad | -.0288801 .0045297 -6.38 0.000 -.0377582 -.020002 Hombre | .1941556 .1053684 1.84 0.065 -.0123627 .4006739 madre_meno~M | .3772662 .2883448 1.31 0.191 -.1878791 .9424116 madre_EM_c~s | 1.143265 .3410455 3.35 0.001 .4748275 1.811701 padre_meno~M | -.541133 .2575365 -2.10 0.036 -1.045895 -.0363708 padre_EM_c~s | .2007041 .2732592 0.73 0.463 -.3348741 .7362824 inmigrante | -.0625961 .3439823 -0.18 0.856 -.7367891 .6115969 idioma_nac | -.4028793 .2629323 -1.53 0.125 -.9182172 .1124585 _cons | 1.363005 .5003288 2.72 0.006 .3823786 2.343632 ------------------------------------------------------------------------------ Description of the estimated propensity score Estimated propensity score ------------------------------------------------------------- Percentiles Smallest 1% .2700624 .2202763 5% .2977761 .2216543 10% .3242331 .2317792 Obs 1609 25% .3973056 .2407565 Sum of Wgt. 1609
140
50% .4804728 Mean .5040398 Largest Std. Dev. .1459235 75% .601862 .8785114 90% .7146039 .8785114 Variance .0212937 95% .7895428 .8845426 Skewness .5539336 99% .8622385 .8983594 Kurtosis 2.631275 ****************************************************** Step 1: Identification of the optimal number of blocks Use option detail if you want more detailed output ****************************************************** The final number of blocks is 6 This number of blocks ensures that the mean propensity score is not different for treated and controls in each blocks ********************************************************** Step 2: Test of balancing property of the propensity score Use option detail if you want more detailed output ********************************************************** The balancing property is satisfied This table shows the inferior bound, the number of treated and the number of controls for each block Inferior | of block | tratamiento of pscore | 0 1 | Total -----------+----------------------+---------- .2 | 294 127 | 421 .4 | 252 224 | 476 .5 | 131 172 | 303 .6 | 107 234 | 341 .8 | 14 54 | 68 -----------+----------------------+---------- Total | 798 811 | 1,609 ******************************************* End of the algorithm to estimate the pscore *******************************************
141
020
4060
0 .5 1 0 .5 1
0 1
N°
Indi
vidu
os
Estimated propensity scoreGraphs by tratamiento
Tratamiento
142
A 5.- Test de Bondad de Ajuste Hosmer-Lemeshow El estadístico de Hosmer-Lemeshow evalúa la bondad de ajuste creando 10 grupos ordenados de casos y luego compara el número verdadero en cada grupo (observado) con el grupo predicho por el modelo de regresión logístico. El test estadístico es un estadístico Chi-cuadrado con un producto deseado de no-signicancia, indicando que la predicción del modelo no difiere significativamente del observado. Los 10 grupos ordenados son creados en base su probabilidad estimada, aquellos con probabilidad estimada bajo 0,1 forman un grupo, y así sucesivamente hasta aquellos con probabilidad de 0,9 hasta 1,0. Cada una de esas categorías es dividida en dos grupos basados en su variable de producto observado (éxito, fallo). Las frecuencias esperadas para cada una de las celdas son obtenidas del modelo logístico. Si el modelo es bueno, la mayoría de los casos de éxito son clasificados en los deciles de riesgo más altos y aquellos casos de fallo en los deciles de riesgo más bajo. Luego valores elevados de X2
HL (p-values pequeños) indican un bajo ajuste del modelo.
