19
Writing and College Success in Chile María Verónica Santelices February, 2017
Writing and College Success in Chile María Verónica Santelices February, 2017
!
!
""!
!
!"#$%&'()!"#$%&'(!)#*+,!#-!./0*+'/!1+$.&./+'2+3!45+!)#*+,!6..0)+.!/56/!/5+!$+,6/&#'.5&1.!*+1&2/+*!&'!/5+!7+6$!8!45$#0(5!
9#)1,+/&#'!.+2/&#'!:&,,!;+!$+1+6/+*!&'!7+6$.!<!/#!($6*06/&#'3!45+!'0);+$.!#'!/5+!6$$#:.!2#$$+.1#'*!/#!/5+!'0);+$+*!,&./!#-!
$+,6/&#'.5&1.!1$#=&*+*!&'!/5&.!.+2/&#'3!
!
"#$%&'(#!)*&+$*$,(-.
"#$%&'(#!/-,(0$,(-.!1!2,3%4!25(667
2-#($6!23++-*,
2&689/$.$:&'&.,
!"##$%$&&'$()"(*+,-$
;3,9-89<6$77!2,*&77-*7
'$(./.0$,-$ '$(./.0$,-$
=&$*!> =&$*!?!@A*-3:A!<-'+6&,(-.
;3,9-89<6$77!2,*&77-*7
1'2!"##$%&'()"')%'*+,-.
/001$%&'()"')%'*+,-.
!"23$%&'()"')44'*+,-.
!
"
#
$
%
&
'(
)
&
!!
!*
!"
2&689/$.$:&'&.,
2-#($6!23++-*,
"#$%&'(#!/-,(0$,(-.!1!2,3%4!25(667
Persistence and Academic Success Model(Burus et al. 2013). Putting and Keeping Students on Track: Toward a Comprehensive Model of College Persistence and Goal Attainment. ETS Research Report, RR-13-14.
• Studies show that the ability to produce an argumentative text is the factor that, by itself, best predicts academic success during the first year of college (Kobrin, Patterson, Shaw, Mattern & Barbuti, 2008; Geiser & Studley, 2002; Cornwell, Mustard & Parys, 2008).
• In Chile Preiss et al. (2013a, b) explored the ability of an argumentative writing test to predict college grades through the fourth year. They also studied gender differences in performance and performance differences between students coming from different type of schools (proxy for income). Preiss et al. only considered students from one particular selective university so results are not generalizable.
Dimension Instrument Response type
Critical Thinking
Critical Thinking Essay (1 theme from option of 2)
Content: Argument analysis, Argument, Counterargument, Thesis.
Formal Aspects: Spelling, Vocabulary, Using Sentences, Using Paragraphs.
Constructed –response,
10 dimensions,
4-point scale.
Para evaluar sus habilidades de pensamiento crítico usted deberá escribir dos ensayos pequeños. En cada
ensayo deberá analizar cada una de las dos opiniones presentadas y argumentar su propia posición o punto
de vista sobre el tema. Considere que cada uno de los siguientes elementos será evaluado:
1· Calidad del análisis que usted realiza de los argumentos dados en el texto.
2· Presentación de una tesis o posición propia acerca del tema enunciado.
3· Variedad y calidad de los argumentos que utiliza para fundamentar su tesis.
4· Presentación de al menos un punto de vista distinto al suyo o contraargumento.
5· Desarrollo de una conclusión clara y coherente con los argumentos planteados.
6· Presencia de una reflexión acerca del contexto en que surge su propio discurso y los límites de su propia
argumentación.
7· Organización formal de su ensayo de manera que se puede seguir una línea argumental clara y coherente.
8· Aspectos formales del discurso escrito como la ortografía literal, acentual y puntual y el uso de vocabulario.
A continuación se presentan dos temas. Para cada uno de ellos evalúe los argumentos dados y plantee su
punto de vista, considerando los 8 puntos de evaluación descritos.
Tema 1: Avances tecnológicos y comunicación entre las personas
Hay quienes plantean que los avances tecnológicos en las formas de comunicación (como el "chat" y el correo
electrónico) generan un estilo muy nocivo de relacionarse con otros, ya que promueven relaciones interpersonales
superficiales, poco auténticas y muy ocasionales.
Otras personas sostienen que estos avances tecnológicos ("chat" y correo electrónico) mejoran la calidad de
las relaciones interpersonales, ya que promueven el encuentro entre las personas y facilitan el acceso a mundos
más variados que los que tradicionalmente permitiría el contacto "cara a cara", enriqueciendo así la comunicación.
¿Qué opina usted de los dos puntos de vista presentados respecto de la influencia de los avances tecnológicos
en la comunicación entre las personas y cuál es su propia visión al respecto?
Tema 2: Calidad de vida en Urbes y Pueblos:
Hay quienes plantean que las personas tienen una mejor calidad de vida cuando habitan en grandes ciudades
ya que el acceso a la cultura, comunicación con diversidad de personas y los servicios es mucho mayor que
en los pueblos pequeños.
Otras personas sostienen que las personas tienen una mejor calidad de vida cuando habitan en ciudades
pequeñas ya que viven con más tranquilidad y menos presión y pueden, aunque en menor cantidad, acceder
a los bienes y servicios fundamentales disponibles en las grandes ciudades.
¿Qué opina usted de los dos puntos de vista presentados respecto de la calidad de vida en grandes ciudades
y pueblos y cuál es su propia visión al respecto?
Para cada ensayo dispone de un máximo de una página.
Ensayo forma A
Nombres y Apellidos RUT
01
Nombres y Apellidos RUT
Tema 1: Avances tecnológicos y comunicación entre las personas
Para evaluar sus habilidades de pensamiento crítico usted deberá escribir dos ensayos pequeños. En cada
ensayo deberá analizar cada una de las dos opiniones presentadas y argumentar su propia posición o punto
de vista sobre el tema. Considere que cada uno de los siguientes elementos será evaluado:
1· Calidad del análisis que usted realiza de los argumentos dados en el texto.
2· Presentación de una tesis o posición propia acerca del tema enunciado.
3· Variedad y calidad de los argumentos que utiliza para fundamentar su tesis.
4· Presentación de al menos un punto de vista distinto al suyo o contraargumento.
5· Desarrollo de una conclusión clara y coherente con los argumentos planteados.
6· Presencia de una reflexión acerca del contexto en que surge su propio discurso y los límites de su propia
argumentación.
7· Organización formal de su ensayo de manera que se puede seguir una línea argumental clara y coherente.
8· Aspectos formales del discurso escrito como la ortografía literal, acentual y puntual y el uso de vocabulario.
A continuación se presentan dos temas. Para cada uno de ellos evalúe los argumentos dados y plantee su
punto de vista, considerando los 8 puntos de evaluación descritos.
Tema 1: Avances tecnológicos y comunicación entre las personas
Hay quienes plantean que los avances tecnológicos en las formas de comunicación (como el "chat" y el correo
electrónico) generan un estilo muy nocivo de relacionarse con otros, ya que promueven relaciones interpersonales
superficiales, poco auténticas y muy ocasionales.
Otras personas sostienen que estos avances tecnológicos ("chat" y correo electrónico) mejoran la calidad de
las relaciones interpersonales, ya que promueven el encuentro entre las personas y facilitan el acceso a mundos
más variados que los que tradicionalmente permitiría el contacto "cara a cara", enriqueciendo así la comunicación.
¿Qué opina usted de los dos puntos de vista presentados respecto de la influencia de los avances tecnológicos
en la comunicación entre las personas y cuál es su propia visión al respecto?
Tema 2: Calidad de vida en Urbes y Pueblos:
Hay quienes plantean que las personas tienen una mejor calidad de vida cuando habitan en grandes ciudades
ya que el acceso a la cultura, comunicación con diversidad de personas y los servicios es mucho mayor que
en los pueblos pequeños.
Otras personas sostienen que las personas tienen una mejor calidad de vida cuando habitan en ciudades
pequeñas ya que viven con más tranquilidad y menos presión y pueden, aunque en menor cantidad, acceder
a los bienes y servicios fundamentales disponibles en las grandes ciudades.
¿Qué opina usted de los dos puntos de vista presentados respecto de la calidad de vida en grandes ciudades
y pueblos y cuál es su propia visión al respecto?
Para cada ensayo dispone de un máximo de una página.
Ensayo forma A
Nombres y Apellidos RUT
New Instrum
ents(%)
NEM (High School Grades)
+PSU (Admissions Test Score)
(%) DARA 30 70 Engineering 33 67
Nursing 65 35 Agriculture 18 83 Arquitecture 70 30 Education 50 50 Medicine 50 50 Liberal Arts 14 86
Instrument N Min. Max. Average
Critical Thinking Essay 15 2 25 12
Reflexión Personal 15 0 30 11
Formulario Ampliado de Postulación 15 5 20 10
Cuestionarios estandarizados 15 0 25 10
NEM (High School Grades) 15 5 36 20
PSU (Admissions Test Score) 15 10 70 37
43,2%
Exercise with UC professors and professionals "Please tell us what weight you would give to each of the following instruments. Use a scale from 0% to 100% "
56,8%
Effect 1st Yr GPA 2nd Yr GPA 3rd Yr GPA No SES w NSE No SES w NSE No SES w NSE
n 926 926 810 810 789 789 Intercept 4.98 4.98 4.95 4.95 5.02 5.02 Parents Educ 0.01 0.02 0.00 Family Income 0.07* 0.04* 0.05* Adm Math Scr 0.19* 0.17* 0.14* 0.12* 0.15* 0.13* Adm Lang Scr 0.09* 0.08* 0.07* 0.06* 0.07* 0.06* HS Grades 0.09* 0.07 MEAN_Lang Scr MEAN_Math Scr -0.62* -0.62* -0.49* -0.49* -0.49* -0.48* MEAN_HS Grades HS RANKING 0.07* 0.10* 0.09* 0.11* BioData Quest. 0.05* 0.05* Essay-CONTENT 0.06* 0.05* 0.04* 0.04* Essay- FA -0.04* -0.04*
Social Abilities -0.05* -0.06* -0.03 -0.03 -0.02 -0.02 Metacog Strategies 0.06* 0.06* 0.06* 0.07* 0.03 0.03
Predictive Validity: Cumulative GRADE POINT Average (w HS Ranking)
• Coefficients with asterisks are significant at 5% confidence level
• Unlike reviewed literature, Critical Thinking Essay Score did NOT predict FIRST year or second year PERSISTENCE (in the same major).
• Logistic models, controlling by SES and HS ranking, in addition to admission test score and HS grades.
• Admission test scores and HS grades predict persistence.
Predictive Validity: Persistence
N
private N
public
Private School Mean
Public School Mean
Mean Difference (private-public) t value
Effect Size (r)
Critical Thinking Essay-Content 875 1543 0,28 -0,13 0,41 9,94** 0,20 Critical Thinking –Formal Aspects 875 1543 0,15 -0,01 0,16 3,79** 0,08 Math Scr-Admissions Test 1014 2197 0,74 -0,32 1,06 34,13** 0,52 Lang. Scr-Admissions Test 1014 2205 0,62 -0,27 0,89 27,91** 0,44 HS Grades 1014 2202 0,49 -0,33 0,82 24,53** 0,40 ** p<.01 *p<.05 (bilateral)
Public vs. Private Schools
LESS IMPACT: Standardized Differences in Total Score
Instruments Major Fidelity Satisfaction
with Academic Experience
Nº Activities 1 year later
Critical Thinking ESSAY (content) 0.12***
High School Grades 0.10*** 0.12***
Language Score Admission Test
Math Score Admission Test 0.14***
Sample Students n = approx. 1,000 (data collection 2008)
SATISFACTION STUDENTS TRANSITIONING TO HIGHER EDUCATION
Current Research • Characterize how
information and knowledge intervenes in the relationship between academic preparation (including Writing), performance in college, persistence and graduation.
RESEARCH QUESTIONS 1. Examine sources of information used by students in their
application and admission process. 2. Examine role of key informants related to application,
enrollment, choice of program and persistence of students in higher education (family, colleagues, friends, teachers and school counselor).
3. Explore at what the moment students look for information regarding admission processes, costs and financing available, study programs and labor market.
4. To explore the knowledge secondary students have about the policies of access to higher education recently implemented at the state level and at institutional level.
5. Analyze the differences by socioeconomic level.
Higher Ed Enrolment Elite, Public/
Private Universities,
Technical Institutions
Persistence
Academic Preparation (Math, WRITING, Adm Test Scores, HS Grades) + Non Cognitive
Characteristics
PERCEIVED COSTS: College cost + Lost Income PERCEIVED BENEFITS: Future Income +Non Monetary Benefits
School Context
Higher Education System
Social and Economic Policy
Individual Student Level
Adapted from Perna`s (2000, 2003) College Choice Model.
• Demographic Characteristics • Cultural Capital
Value College Attainment • Social Capital
Information About College Assistance with College Processes
Higher Ed Enrolment Elite, Public/
Private Universities,
Technical Institutions
Persistence
Academic Preparation (Math, WRITING, Adm Test Scores, HS Grades) + Non Cognitive
Characteristics
PERCEIVED COSTS: College cost + Lost Income PERCEIVED BENEFITS: Future Income +Non Monetary Benefits
School Context
Higher Education System
Social and Economic Policy
Individual Student Level
Adapted from Perna`s (2000, 2003) College Choice Model.
• Demographic Characteristics • Cultural Capital
Value College Attainment • Social Capital
Information About College Assistance with College Processes
YEAR 2 HS Juniors •Information Questionnaire HS Seniors •Information Questionnaire • Essay • Quantitative Abilities Test • Noncognitive Traits
• Focus Group Teachers and Students • Interview School Counselor
YEAR 3 HS Seniors • Information Questionnaire • Essay • Quantitative Abilities Test • Noncognitive Traits
Enrolment Data • Students Focus
Group
YEAR 4 Enrolment Data
Enrolment Data
YEAR 1
INSTRUMENT DEVELOPMENT
AND VALIDATION
• Information Questionnaire • Essay • Quantitative Abilities Test • Noncognitive Traits • Focus Group Teachers and Students • Interview School Counselor
QUANTITATIVE APPROACH
QUALITATIVE APPROACH
Perceived Cost
Perceived Benefits
Enrolment
Persistence (1st Year)
Academic Preparation
Institution Level
School Level Characteristics
Quantitative Analysis: Structural Equation Model
SES
Academic Motivation
+Grit Social Capital
Cultural Capital
Thank you!
• Santelices M.V., Catalán, X, Kruger, D. & Horn, C. Determinants of Persistence and the Role of Financial Aid: Lessons from Chile. Higher Education. doi: 10.1007/s10734-015-9906-6.
• Horn, C., Santelices M.V., Catalán, X. (2014). Modeling the Impacts of National and Institutional Financial Aid Opportunities on Persistence at an Elite Chilean University. Higher Education, 68, 471-488.
• Santelices, M.V.; Ugarte, J. J. U; Flotts, P.; Radovic, D.; Catalán, X. and Kyllonen P. (2011) Measurement of New Attributes for Chile’s Admissions System to Higher Education. ETS Research Report 11-18.
• Santelices, Catalán & Galleguillos (2015). El acceso y la transición a la universidad en Chile. En A. Bernasconi. (Ed.). La Educación Superior en Chile. Transformación, Desarrollo y Crisis. Ediciones Universidad Católica: Santiago, Chile.
• Catalán, X. y Santelices, M. V. (2014). Rendimiento Académico de Estudiantes de Distinto Nivel Socioeconómico en Universidades: el Caso de la Pontificia Universidad Católica de Chile, Calidad en la Educación, 40, 21-52.
• Contact Information: [email protected]
• Catalán, X. y Santelices, M. V. (2014). Becas y Rendimiento Académico en la Universidad: El caso de la Pontificia Universidad Católica de Chile, Revista Iberoamericana de Evaluación Educativa, 2015, 8(1), 63-80.
• Santelices, M. V, Ugarte, J. J & Salmi, J. (eds) (2013) Clasificación de Instituciones de Educación Superior. Santiago: Ministerio de Educación de Chile.
• Santelices, M. V, Ugarte, J. J & Kyllonen (eds) (2012) Admisión a la Educación Superior: Mediciones Complementarias. Santiago: Ministerio de Educación de Chile.
• Santelices, Catalán, Horn y Kruger (2013). Determinantes de Deserción en la Educación Superior Chilena, con Énfasis en Efecto de Becas y Créditos. Evidencias para Políticas Públicas en Educación, selección de investigaciones Sexto Concurso FONIDE, MINEDUC: Santiago, Chile.
• Santelices, M. V., Catalán, X. & Radovic, D. (2012) Diseño de Nuevos Instrumentos para la Admisión a la Educación Superior en Chile. Admisión a la Educación Superior: Mediciones Complementarias. (eds) Santelices, M. V, Ugarte, J. J & Kyllonen. Santiago: Ministerio de Educación de Chile.
• Santelices, M. V.; Ugarte, J. J. U; Flotts, P.; Radovic, D.; Catalán, X. and Kyllonen P. (2010) Medición de Nuevos Atributos para el Sistema de Admisión a la Educación Superior en Chile. Revista Iberoamericana de Evaluación Educativa, Vol 3, No 2., 49-75.
N Model Total Variance
Reduc2on Variance Model 0
Reduc2on Variance Model 1
Reduc2on Variance
Model 2 y 3 First Year GPA n= 926
0 Uncondi2onal 0.46 1 Condi2onal SES 0.46 -0.3% 2 Condi2onal Adm Test Scores 0.36 23.2% 23.4% 3 Condi2onal SES+Adm Test Scrs 0.35 23.4% 23.7%
4 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on 0.35 24.9% 25.1% 2.2%
5 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on+SES 0.35 25.1% 25.3% 2.1% 2nd Year GPA (Cumula5ve) n= 810
0 Uncondi2onal 0.32 1 Condi2onal SES 0.32 1.0% 2 Condi2onal Adm Test Scores 0.25 23.7% 23% 3 Condi2onal SES+Adm Test Scrs 0.25 23.9% 23%
4 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on 0.24 26.4% 26% 3.5%
5 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on+SES 0.24 26.5% 26% 3.4% 3er Year GPA (Cumula5ve) n= 789
0 Uncondi2onal 0.29 1 Condi2onal SES 0.29 1.0% 2 Condi2onal Adm Test Scores 0.23 21.2% 20% 3 Condi2onal SES+Adm Test Scrs 0.23 21.1% 20%
4 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on 0.23 22.6% 22% 1.7%
5 Condi2onal Adm Test Scrs+ESSAY+Metacogni2on+SES 0.23 22.5% 22% 1.8%
Predictive Validity: Cumulative GRADE POINT Average (w HS Ranking)
