Impacto del uso de rúbricas de autoevaluación y coevaluación sobre el desempeño escritural de docentes en formación
Impact of Using Self-assessment and Co-assessment Rubrics on the Writing Performance of Trainee Teachers
Impacto do uso de rubricas de autoavaliação e coavaliação no desempenho da escrita de professores em formação
Este artículo presenta los resultados de un estudio cuyo objetivo fue analizar el impacto del uso de rúbricas de autoevaluación y coevaluación, sobre el desempeño escritural y la percepción acerca de esta estrategia evaluativa en estudiantes universitarios que se forman como docentes. La metodología de la investigación fue analítica con un diseño cuasiexperimental de tipo mixto, de la cual un total de 54 estudiantes participaron en el estudio, divididos en tres grupos: dos experimentales y uno de control. Para el análisis estadístico se empleó el ANOVA de una vía para examinar tanto las condiciones iniciales, como después de la intervención de los tres grupos. Para establecer las diferencias intragrupo y el índice de mejora, se empleó la prueba T de Student para muestras relacionadas. Los resultados, tanto cualitativos como cuantitativos, muestran que el uso de rúbricas de autoevaluación impacta positivamente el desempeño escritural. El análisis de las percepciones sobre las rúbricas de auto y coevaluación indica que estas permiten comprometer a los estudiantes con su propia formación como escritores y adquirir conciencia de la dimensión evaluativa como parte constitutiva del proceso escritural.
rúbricas de coevaluación, rúbricas de autoevaluación, desempeño escritural, escritura académica, educación universitaria (es)
rubricas de coavaliação, rubricas de autoavaliação, desempenho da escrita, escrita acadêmica, educação universitária (pt)
Andrade, H. G. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 13-19.
Andrade, H. G. (2010). Students as the definitive source of formative assessment. En H. Andrade y G. J. Cizek. Handbook of formative assessment (pp. 90-105). Routledge.
Andrade, H. G. y Boulay, B. (2003). Role of rubric-referenced self-assessment in learning to write. The Journal of Educational Research, 97(1), 21-30.
Andrade, H. G. y Du, Y. (2005). Student perspectives on rubric-referenced assessment. Educational & Counseling Psychology Faculty Scholarship, 2. https://scholarsarchive.library.albany.edu/edpsych_fac_scholar/2
Andrade, H. y Warner, Z. (2012). Beyond “I give myself an A”: Meaningful, rubric-referenced student self-assessment. Educator’s Voice, 5(42), 42-51.
August, D. y Shanahan, T. (Eds.). (2007). Developing reading and writing in second-language learners: Lessons from the report of the National Literacy Panel on Language-Minority Children and Youth. Routledge.
Azevedo, R., Moos, D. C., Greene, J. A., Winters, F. I. y Cromley, J. G. (2008). Why is externally-facilitated regulated learning more effective than self-regulated learning with hypermedia? Educational Technology Research and Development, 56(1), 45-72.
Badger, R. y White, G. (2000). A process genre approach to teaching writing. ELT Journal, 54(2), 153-160.
Barton, D. y Hamilton, M. (2004). La literacidad entendida como práctica social. En V. Zavala, M. Niño-Murcia y P. Ames. (Eds.), Escritura y sociedad: Nuevas perspectivas teóricas y etnográficas (pp. 109- 139). Red para el Desarrollo de las Ciencias Sociales en el Perú.
Berggren, J. (2013). Learning from giving feedback: Insights from EFL writing classrooms in a Swedish lower secondary school [tesis de doctorado]. Stockholm University.
Birjandi, P. y Siyyari, M. (2011). Self-assessment and peer-assessment: A comparative study of their effect on writing performance and rating accuracy. Iranian Journal of Applied Linguistics, 13(1). 23-45.
Blanco, A. B. (2008). Las rúbricas: Un instrumento útil para la evaluación de competencias. En La enseñanza universitaria centrada en el aprendizaje: Estrategias útiles para el profesorado (pp. 171-188). Octaedro.
Boud, D., Cohen, R. y Sampson, J. (2014). Peer learning in higher education: Learning from and with each other. Routledge.
Butler, D. L. y Winne, P. H. (1995). Feedback and self-regulated learning: A theoretical synthesis. Review of Educational Research, 65, 245-28.
Camps, A. (2007). Comunicar en contextos científicos y académicos. En M. Castelló (Ed.), Escribir y comunicarse en contextos científicos y académicos: Conocimientos y estrategias, vol. 15 (pp. 9-13). Graó.
Carlino, P. (2008). Leer y escribir en la universidad, una nueva cultura: ¿Por qué es necesaria la alfabetización académica? En S. Cadena y E. Narváez (Eds.), Los desafíos de la lectura y la escritura en la educación superior: Caminos posibles (pp. 155-190). Universidad Autónoma de Occidente.
Cho, K. y MacArthur, C. (2011). Learning by reviewing. Journal of Educational Psychology, 103(1), 73-84. https://doi.org/10.1037/a0021950
Cho, K. y Schunn, C. D. (2007). Scaffolded writing and rewriting in the discipline: A web-based reciprocal peer review system. Computers & Education, 48(3), 409–426. https://doi-org.ezproxy.javeriana.edu.co/10.1016/j.compedu.2005.02.004
Cho, K., Schunn, C. D., y Wilson, R. W. (2006). Validity and reliability of scaffolded peer assessment of writing from instructor and student perspectives. Journal of Educational Psychology, 98(4), 891.
De la Paz, S. y Felton, M. (2010). Reading and writing from multiple source documents in history: Effects of strategy instruction with low to average high school writers. Contemporary Educational Psychology, 35, 174-192. http://dx.doi.org/10.1016/j.cedpsych.2010.03.001
De la Peña Portero, A., y Núñez Cortés, J. A. (2018). Aproximación al uso de rúbricas para la evaluación de textos argumentativos escritos en la Universidad. Revista Boletín Redipe, 7(12), 115-132. https://revista.redipe.org/index.php/1/article/view/651
Falchikov, N. y Boud, D. (1989). Student self-assessment in higher education: A meta-analysis. Review of Educational Research, 59(4), 395-430.
Felcis, W. y Kupnik, S. (2020). Polonia. En R. Stockmann, W. Meyer y L. Taube (Eds.), The Institutionalisation of Evaluation in Europe: A Synthesis. https://doi.org/10.1007/978-3-030-32284-7
García, V. A., Villaverde, V. A., Benito, V. D. y Muñoz, R. C. (2020). Aprendizaje basado en proyectos y estrategias de evaluación formativas: Percepción de los estudiantes universitarios. Revista Iberoamericana
de Evaluación Educativa, 13(1), 93-110.
Gielen, S., Peeters, E., Dochy, F., Onghena, P. y Struyven, K. (2010). Improving the effectiveness of peer feedback for learning. Learning and Instruction, 20(4), 304-315. https://doiorg.ezproxy.javeriana.edu.co/10.1016/j.learninstruc.2009.08.007
Glaser, C. y Brunstein, J. C. (2007). Improving fourth-grade students’ composition skills: Effects of strategy instruction and self-regulation procedures. Journal of Educational Psychology, 99(2), 297-310. http://dx.doi.org/10.1037/0022- 0663.99.2.297
Goldberg, G. L., Roswell, B. S. y Michaels, H. (1995). Can assessment mirror instruction? A look at peer response and revision in a large-scale writing test. Educational Assessment, 3(4), 287. https://doi-org.ezproxy.javeriana.edu.co/10.1207/s15326977ea0304_1
Graham, C. R. (2006). Blended learning systems. En C. J. Bonk y C. R. Graham, The handbook of blended learning: Global perspectives, local designs (pp. 3-21). Wiley.
Greene, J. A., y Azevedo, R. (2007). Adolescents’ use of self-regulatory processes and their relation to qualitative mental model shifts while using hypermedia. Journal of Educational Computing Research, 36(2), 125-148.
Grise-Owens, E. y Crum, K. (2012). Teaching writing as a professional practice skill: A curricular case example. Journal of Social Work Education, 48(3), 517-536.
Hacker, J. D., Keener, M. C. y Kircher, J. C. (2009). Writing is applied metacognition. Routledge.
Hafner, J. C. y Hafner, P. M. (2003). Quantitative analysis of the rubric as an assessment tool: Empirical study of student peer-group rating. International Journal of Science Education, 25(12), 1509-1528.
Halliday, M. A. K. y Martin, J. R. (1993). Writing science: Literacy and discursive power. University of Pittsburgh Press.
Hansen, J. G. y Liu, J. (2005). Guiding principles for effective peer response. ELT Journal, 59(1), 31-38.
Harris, K. y Graham, S. (1992). Helping young writers master the craft: Strategy instruction and self-regulation in the writing process. Brookline Books.
Harris, K. R., Graham, S. y Mason, L. H. (2003). Selfregulated strategy development in the classroom: Part of a balanced approach to writing instruction for students with disabilities. Focus on Exceptional Children, 35(7), 1-16. https://doi-org.ezproxy.javeriana.edu.co/10.17161/foec.v35i7.6799
Harris, K. R., Lane, K. L., Graham, S., Little, M. A., Sandmel, K. y Brindle, M. (2010). Story writing: The effects of self-regulated strategy development for second-grade students with writing and behavioral difficulties. Journal of Special Education, 44(2), 107-128.
Hartberg, Y., Gunersel, A. B., Simspon, N. J. y Balester, V. (2008). Development of student writing in Biochemistry using calibrated peer review. Journal of the Scholarship of Teaching and Learning, 2(1), 29-44.
Hayes, J. (1996). Un nuevo marco para la comprensión de lo cognitivo y lo emocional en la escritura. En The science of writing (pp. 1-72). Lawrence Erlbaum Associates.
Hovardas, T., Tsivitanidou, O. E. y Zacharia, Z. C. (2014). Peer versus expert feedback: An investigation of the quality of peer feedback among secondary school students. Computers & Education, 71, 133-152. https://doi-org.ezproxy.javeriana.edu.co/10.1016/j.compedu.2013.09.019
Ismail, J. (2001). The design of an e-learning system: Beyond the hype. The Internet and Higher Education, 4(3), 329-336. https://doi-org.ezproxy.javeriana.edu.co/10.1016/S1096-7516(01)00069-0
Javaherbakhsh, M. R. (2010). The impact of self-assessment on Iranian EFL learners’ writing skill. English Language Teaching, 3(2), 213-218.
Jonsson, A. (2014). Rubrics as a way of providing transparency in assessment. Assessment & Evaluation in Higher Education, 39(7), 840-852.
Joseph, S., Rickett, C., Northcote, M. y Christian, B. J. (2020). “Who are you to judge my writing?”: Student collaboration in the co-construction of assessment rubrics. New Writing, 17(1), 31-49. https://doi-org.ezproxy.javeriana.edu.co/10.1080/14790726.2019.1566368
Kellogg, R. T. (2004). Componentes de la memoria de trabajo en la generación de frases escritas. Revista Estadounidense de Psicología, 117, 341-361.
Kellogg, R. T. (2008). Training writing skills: A cognitive developmental perspective. Journal of Writing Research, 1(1).
Khodadady, E. y Khodabakhshzade, H. (2012). The effect of portfolio and self-assessment on writing ability and autonomy. Journal of Language Teaching and Research, 3(3). https://doi.org/10.4304/JLTR.3.3.518-524
Kiuhara, S., O’Neil, R., Hawken, L. y Graham, S. (2012). The effectiveness of teaching 10th grade students STOP, AIMS, and DARE for planning and drafting persuasive text. Exceptional Children, 78(3), 335-355. https://doi.org/10.1177/001440291207800305
Kostons, D., Van Gog, T. y Paas, F. (2012). Training self-assessment and task-selection skills: A cognitive approach to improving self-regulated learning. Learning and Instruction, 22(2), 121-132.
Lerner, D. (2001). Leer y escribir en la escuela: Lo real, lo posible y lo necesario. Fondo de Cultura Económica.
Lin-Siegler, X., Shaenfield, D. y Elder, A. D. (2015). Contrasting case instruction can improve self-assessment of writing. Educational Technology Research and Development, 63(4), 517-537.
Lladó, A. P., Pujolras, G. A., Soley, L. F., Sansbelló, R. M. F., Moreno, L. M., Planella, J. P. y Hernández, L. M. Z. (2012). Experiencia interdisciplinar de coevaluación: la percepción de los estudiantes en la Universidad de Girona, Percepciones sobre la coevaluación. Revista del Congrés Internacional de Docència Universitària i Innovació (CIDUI), 1(1).
López, J. V. S., Del Campo, D. G. D. y López, P. V. S. (2019). Efecto de un programa de autoevaluación mediante rúbricas para la mejora de las competencias implicadas en la comprensión y escritura de textos científicos. Ensayos: Revista de la Facultad de Educación de Albacete, 34(2), 167-180.
Lundstrom, K. y Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer’s own writing. Journal of Second Language Writing, 18(1), 30-43.
Martínez-Figueira, E., Tellado-González, F. y Raposo Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373-390.
McCarthy, J. E., T. Grabill, J., Hart-Davidson, W. y McLeod, M. (2011). Content management in the workplace: Community, context, and a new way to organize writing. Journal of Business and Technical Communication, 25(4), 367-395.
McDonald, R., Boud, D., Francis, J. y Gonczi, A. (2000). Nuevas perspectivas sobre la evaluación. Boletín Cinterfor: Boletín Técnico Interamericano de Formación Profesional.
Min, H. (2005). Training students to become successful peer reviewers. System, 33(2), 293-308. https://doi.org/10.1016/j.system.2004.11.003
Mínguez, M. L. M., Prados, L. M., Boza, C. N. y Ortiz, D. C. (2019). Percepciones de estudiantes y docentes: Evaluación formativa en proyectos de aprendizaje tutorados. Revista Iberoamericana de Evaluación Educativa, 12(1), 59-84.
Mirick, R.G. (2020). Teaching Note–Online Peer Review: Students’ Experiences in a Writing-Intensive BSW Course. Journal of Social Work Education, 56, 394-400.
Muncie, J. (2000). Using written teacher feedback in EFL composition classes. ELT Journal, 54(1), 47-53. https://doi.org/10.1093/elt/54.1.47
Muñoz, R. M. (2020). Estrategias para promover coevaluación y trabajo colaborativo mediado por TIC en estudiantes de Negocios Internacionales. Documentos de trabajo Areandina, (2).
Nedzinskaitė, I., Švenčionienė, D. y Zavistanavičienė, D. (2006). Achievements in language learning through students’ self-assessment. Kalbų Studijos, 8, 84-87.
Nicol, D. J. y Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218.
Noche, B. G., Serra, V. Q., Ruiz, M. G. e Ibáñez, J. C. (2017). La evaluación y retroalimentación electrónica entre iguales para la autorregulación y el aprendizaje estratégico en la universidad: La percepción del alumnado. REDU. Revista de Docencia Universitaria, 15(1), 127-146.
Ortiz, E. M. (2011). La escritura académica universitaria: Estado del arte. Ìkala, Revista de Lenguaje y Cultura, 16(28), 17-41.
Panadero, E. (2011). Ayudas instruccionales a la autoevaluación y la autorregulación: Evaluación de la eficacia de los guiones de autoevaluación frente a la de las rúbricas [tesis de doctorado]. Universidad Autónoma de Madrid.
Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129-144. https://doi.org/10.1016/j. edurev.2013.01.002
Patchan, M., Schunn, C. y Clark, R. (2018). Accountability in peer assessment: Examining the effects of reviewing grades on peer ratings and peer feedback. Studies in Higher Education, 43, 2263-2278.
Pengitore, F. C. (2005). Effective strategy for providing prompt feedback on writing assignments when teaching courses online. Online Classroom, 5. https://www.magnapubs.com/newsletter/online-classroom/index.html
Powell, T. A. (2001) Improving assessment and evaluation methods in film and television production courses [tesis de doctorado]. Capella University.
Pressley, M. y Harris, K. R. (2006). Cognitive strategies instruction: From basic research to classroom instruction. En P. A. Alexander y P. H. Winne (Eds.), Handbook of educational psychology (pp. 265-286). Lawrence Erlbaum Associates.
Ratminingsih, N. M., Marhaeni, A. A. I. N. y Vigayanti, L. P. D. (2018). Self-assessment: The effect on students’ independence and writing competence. International Journal of Instruction, 11(3), 277-290.
Reddy, Y. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35, 435-448. Doi:10.1080/02602930902862859
Reitmeier, C. A., Svendsen, L. K., y Vrchota, D. A. (2004). Improving oral communication skills of students in Food Science courses. Journal of Food Science Education, 3(2), 15-20.
VanDeWeghe, R. (2004). “Awesome, dude!”. Responding Helpfully to Peer Writing. English Journal, 94(1), 95-99. https://doi-org.ezproxy.javeriana.edu.co/10.2307/4128855
Rincón, L. J. y Martínez, C. H. (2021). Effects of a self-regulating writing course on academic text production in a PhD and Master sample. Tesis psicológica: Revista de la Facultad de Psicología, 16(1), 1.
Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT Journal, 59(1), 23-30.
Ruiz, M. Á. G., y Serra, V. Q. (2017). Coevaluación o evaluación compartida en el contexto universitario: La percepción del alumnado de primer curso. Revista Iberoamericana de Evaluación Educativa, 10(2), 9-30.
Sadler, D. R. (1998). Formative assessment: Revisiting the territory. International Journal of Phytoremediation, 5(1), 77-84. https://doi-org.ezproxy.javeriana.edu.co/10.1080/0969595980050104
Sala-Bubaré, A. y Castelló, M. (2018). Writing regulation processes in higher education: a review of two decades of empirical research. Reading and Writing, 31(4), 757-777.
Schleppegrell, M. J. y Colombi, M. C. (Eds.) (2002). Developing advanced literacy in first and second languages: Meaning with power. Lawrence Erlbaum.
Schneider, F. J. (2006). Rubrics for teacher education in community college. The Community College Enterprise, 12(1), 39-55.
Sundeen, Todd H. (2014). Instructional rubrics: Effects of presentation options on writing quality. Assessing Writing, 21, 74-88. https://doi.org/10.1016/j.asw.2014.03.003
Tavakoli, E., Amirian, M. R., Burner, T., Davoudi, M. y Ghaniabadi, S. (2019). Formative assessment of writing (FAoW): A confirmatory factor structure study. International Journal of Assessment Tools in Education, 6(3), 344-361.
Thomas, J. L., Schuster, E. O. y Fuller, A. R. (2016). Giving our students professional voice: Development and implementation of a BSW course on writing for agency practice. Journal of Social Work Education, 52(2), 234-241. https://doi.org/10.1080/10437797.2016.1151277
Topping, K. J. (2005). Trends in peer learning. Educational Psychology, 25(6), 631-645.
Topping, K. J. (2009). Peer assessment. Theory into Practice, 48(1), 20-27. 10.1080/00405840802577569
Tsivitanidou, O. E., Zacharia, Z. C. y Hovardas, T. (2011). Investigating secondary school students’ unmediated peer assessment skills. Learning and Instruction, 21(4), 506-519. https://doi-org.ezproxy.javeriana.edu.co/10.1016/j.learninstruc.2010.08.002
Uddin, M. (2014). Impact of the use of rubrics on the performance of students [tesis de maestría], BRAC University.
Wiggins, G. (1998). Educative assessment: Designing assessments to inform and improve student performance. Jossey-Bass.
Yalçin, A.,y Karadeniz, A. (2016). Relationship between the writing quality and self-regulation skills of secondary education students. Turkish Online Journal of Educational Technology, 345-354.
Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher Education, 45(4), 477-501. https://doi.org/10.1023/A:1023967026413
Zimmerman, B. J. y Risemberg, R. (1997). Becoming a self-regulated writer: A social cognitive perspective. Contemporary Educational Psychology, 22(1), 73-101. https://doi.org/10.1006/ceps.1997.0919
Zimmerman, B. J. y Schunk, D. H. (2011). Self-regulated learning and performance: An introduction and an overview. Handbook of self-regulation of learning and performance, 15-26.
APA
ACM
ACS
ABNT
Chicago
Harvard
IEEE
MLA
Turabian
Vancouver
Descargar cita
Citaciones
Métricas PlumX
Visitas
Descargas
Recibido: 9 de febrero de 2021; Aceptado: 2 de julio de 2021
Resumen
Este artículo presenta los resultados de un estudio cuyo objetivo fue analizar el impacto del uso de rúbricas de autoevaluación y coevaluación, sobre el desempeño escritural y la percepción acerca de esta estrategia evaluativa en estudiantes universitarios que se forman como docentes. La metodología de la investigación fue analítica con un diseño cuasiexperimental de tipo mixto, de la cual un total de 54 estudiantes participaron en el estudio, divididos en tres grupos: dos experimentales y uno de control. Para el análisis estadístico se empleó el ANOVA de una vía para examinar tanto las condiciones iniciales, como después de la intervención de los tres grupos. Para establecerlas diferencias intragrupo y el indicedemejora.se empleóla prueba T de Student para muestras relacionadas. Los resultados, tanto cualitativos como cuantitativos, muestran que el uso de rúbricas de autoevaluación impacta positivamente el desempeño escritural. El análisis de las percepciones sobre las rúbricas de auto y coevaluación indica que estas permiten comprometer a los estudiantes con su propia formación como escritores y adquirir conciencia de la dimensión evaluativa como parte constitutiva del proceso escritural.
Palabras clave:
rúbricas de coevaluación, rúbricas de autoevaluación, desempeño escritural, escritura académica, educación universitaria.Abstract
This article presents the results of a study whose objective was to analyze the impact of self-evaluation and co-evaluation rubrics on writing performance and the perception of this evaluative strategy in university students who are training as teachers. The research methodology was analytical with a mixed quasi-experimental design. A total of 54 students participated in the study, divided into three groups: two experimental and one control group. For the statistical analysis, a one-way ANOVA was used to examine both the initial and post-intervention conditions of the three groups. To establish intragroup differences and the rate of improvement, Student's t-test for related samples was used. The results, both qualitative and quantitative, show that the use of self-assessment rubrics positively impacts writing performance. The analysis of the perceptions of the self-and co-assessment rubrics indicates that they allow students to engage in their training as writers and to acquire an awareness of the evaluative dimension as a constitutive part of the writing process.
Keywords:
co-evaluation rubrics, self-evaluation rubrics, writing performance, academic writing, university education.Resumo
Este artigo apresenta os resultados de um estudo cujo objetivo foi analisar o impacto do uso de rubricas de autoavaliaçào e coavaliação no desempenho da escrita e a perceção sobre esta estratégia avaliativa em estudantes universitários com formação docente. A metodologia da pesquisa foi analítica com um desenho quase-experimental de tipo misto, da qual participaram um total de 54 alunos no estudo, divididos em três grupos: dois experimentais e um de controle. Para a análise estatística, usou-se a ANOVA de uma via para examinarianto as condições iniciais, quanto depois da intervenção dos três grupos. Para estabelecer as diferenças intragrupo e o índice de melhora, o teste T de Student foi usado para amostras relacionadas. Os resultados, tanto qualitativos quanto quantitativos, mostram que o uso de rubricas de autoavaliaçào impacta positivamente o desempenho da escrita. A análise das percepções sobre as rubricas de auto e coavaliação indica que estas permitem que os alunos se comprometam com sua própria formação como escritúrese adquiram consciência da dimensão avaliativa como parte constitutiva do processo de escrita.
Palavras chave:
rubricas de coavaliação, rubricas de autoavaliaçào, desempen ho da escrita, escrita acadêmica, educação universitária.Introducción
Las investigaciones en torno al impacto que tienen las rúbricas de autoevaluación y coevaluación en el desempeño escritural de los estudiantes reportan grandes avances en el ámbito de la educación básica (Lerner, 2001; Ortiz, 2011). Sin embargo, debido a factores tales como la importancia que tienen estas en la construcción de conocimiento; las particularidades de las prácticas de la escritura académica en el nivel universitario, relacionadas con las especificidades de las distintas disciplinas y profesiones (Carlino, 2008), y los bajos niveles de desempeño escritural que se evidencian en los estudiantes universitarios (August y Shanahan, 2007; Halliday y Martin, 1993; Schleppegrell y Colombi, 2002), se ha hecho cada vez más evidente la necesidad de generar estrategias pedagógicas que contribuyan a mejorar el desempeño escritural en el marco de la educación superior.
Sabemos ahora con seguridad que el desarrollo de las habilidades escritúrales de los estudiantes universitarios no es algo que se pueda dar por sentado, sino que es una práctica que también debe ser asumida por la universidad, pues, como lo anota Carlino,
[...] las prácticas de lectura y escritura académicas, los géneros discursivos que emplean las distintas disciplinas y profesiones {los tipos de texto que se producen, las convenciones usuales en ellos, las formas de leerlos y producirlos) no son saberes pertinentes para enseñar en la educación secundaria sino en la universitaria, porque son propios de ésta. (2008, p. 182)
En este mismo sentido, resulta relevante indagar por los procesos de escritura en docentes de lenguas en formación, ya que son pocos los estudios adelantados en este ámbito y para estos futuros licenciados resulta crucial no solo cualificar sus procesos de escritura, sino apropiarse de estrategias para el desarrollo permanente de esta y otras habilidades comunicativas, pues estas impactarán en su desarrollo profesional, así como en la conformación de estrategias pedagógicas que les permitirán orientar estos procesos con sus estudiantes.
De acuerdo con lo anterior, el presente artículo reporta un estudio realizado para analizar el impacto del uso de las rúbricas de autoevaluación y coevaluación sobre el desempeño escritural y la percepción sobre esta estrategia evaluativa de estudiantes que se forman como profesores de lenguas. Para ello se atiende tanto a la calidad de los sucesivos textos construidos por los estudiantes como a lo que tienen que decir sobre su experiencia con las rúbricas de evaluación de sus propios textos.
El impacto de la evaluación en el desempeño escritural
La escritura definida como un saber situado o, en palabras de Camps (2007), como una habilidad social compleja, involucra diferentes recursos y estrategias cognitivas con el fin de construir un discurso que, al tiempo que logra niveles de cohesión y coherencia internas, atiende a las normas y convenciones propias de la comunidad y del contexto discursivo en el que se produce. Esta característica se ve reflejada en los modelos teóricos que intentan describir el proceso escritor con la incorporación de un componente que tiene que ver con la revisión de lo ya escrito (Hayes, 1996; Kellogg, 2004).
Entre las muchas acciones pedagógicas que buscan incorporar este componente de revisión consciente al hecho escritural, se destaca la evaluación formativa. En la escritura universitaria, esta ha pasado de estar enmarcada en la heteroevaluación que realiza el profesor a asumir una forma participativa, en la que se "brindan oportunidades de práctica que, enriquecidas con la retroalimentación del tutor y de los compañeros, crean un espacio dialógico para el crecimiento, la comprensión y el logro" (Felcis y Kupnik 2020, p. 3). Se da pie, entonces, a estrategias de evaluación formativa, orientadas hacia la autoevaluación, la coevaluación y la evaluación compartida (Sala-Bubaré y Castelló, 2018).
Siguiendo a Sadler (1998), a la hora de analizar el impacto de estrategias de evaluación formativa resulta importante no solo tener en cuenta su efecto sobre la calidad de los productos del aprendizaje, sino también las percepciones que tienen los estudiantes frente a la implementación y los efectos de dichas estrategias, ya que desempeñan un papel protagónico en su uso.
En el caso específico de la autoevaluación y la coevaluación, varios estudios reportan el uso de datos relacionados con las percepciones de los estudiantes para analizar la incidencia que tiene la implementación de estas estrategias en los procesos de aprendizaje, y la forma como ellos las asumen (García et al, 2020; Lladó et al., 2020; Minguez et al, 2019 y Muñoz, 2020). Dichos estudios han mostrado que los estudiantes expresan percepciones positivas frente a la utilidad de estas estrategias para el mejoramiento de los procesos (Boud et al, 2014; Rollinson, 2005; Mirick, 2020). Más específicamente, y como veremos en los siguientes apartados, son diversos los estudios que reportan cómo la implementación de la autoevaluación y la coevaluación contribuye a mejorar los desempeños escritúrales (McDonald et al., 2000; Nicol y MacfarlaneSDick, 2006; Ruiz y Serra, 2017; Sadler, 1998; Tavakoli et al., 2019; Yorke, 2003).
El impacto de la autoevaluación en los procesos de escritura
La autoevaluación de lo escrito posibilita que los estudiantes monitoreen directamente sus propios procesos, reflexionen sobre su trabajo y establezcan estrategias que les permitan alcanzar sus objetivos. Esta no es un elemento externo que contribuye al aprendizaje, sino que, como lo definen Andrade y Warner, "es un proceso de aprendizaje durante el cual los estudiantes evalúan la calidad de su escrito comparándolo con criterios explícitamente establecidos y haciendo las revisiones necesarias" (2012, p. 42).
En consonancia con lo anterior, diversos estudios reportan que la autoevaluación impacta de manera positiva el desempeño escritural de los estudiantes ((avaherbakhsh, 2010; Khodadady y Khodabakhshzade, 2012; NedzinskaitéefaJ.,2006). En términos generales, este impacto se puede explicar porque la autoevaluación implica la realización de dos actividades principales: ( 1 ) el monitoreo y la valoración de la calidad del pensamiento durante la escritura, y (2) la identificación de estrategias que mejoren el proceso mismo de escribir (McMillan y Hearn, 2008, citados por Ratminingsih et al, 2018).
La autoevaluación permite igualmente que tanto estudiantes como profesores identifiquen las fortalezas y dificultades que se presentan durante la realización de la tarea, e implementen estrategias que contribuyan no solo a la construcción de un escrito de calidad (Birjandi y Siyyari, 2011; Hacker et al, 2009), sino al mejoramiento general del desempeño escritural actual y futuro (Harris y Graham, 1992; Pressley y Harris, 2006; Zimmerman y Risemberg, 1997).
Otro de los beneficios de la autoevaluación es que desarrolla la capacidad para diferenciar las características de un texto bien escrito de otro deficiente. En este sentido, la autoevaluación, siempre y cuando esté orientada desde unos criterios claros, le permite al estudiante tener información acerca de las particularidades de la tarea (Andrade, 2010; Andrade y Warner, 2012), y aprender a identificar los elementos que contribuyen a la elaboración de textos más efectivos. Al respecto, Lin-Siegler et al. (2015) afirman que la autoevaluación de la propia escritura implica integrarla con información de fuentes externas, como parámetros de valoración y casos ilustrativos de factores que hacen que la escritura sea buena o mala.
Es importante anotar que la autoevaluación de los textos escritos no es una tarea fácil, en especial para los estudiantes que tienen bajos niveles de desempeño escritural (Andrade y Boulay, 2003; Glaser y Brunstein, 2007; Graham, 2006; Harris et al, 2003; Harris et al, 2010). De ahí la importancia de que esté acompañada de un conjunto de estrategias que le permitan al estudiante tener información clara sobre la tarea y las acciones que puede emprender para evaluarla. Algunas de ellas son: las rúbricas de evaluación, los guiones y la instrucción basada en casos de contrastes. El presente estudio trabaja la primera de estas estrategias.
El impacto de la coevaluación en los procesos de escritura
Por otro lado, tenemos la coevaluación, definida como el proceso en el que los estudiantes revisan y evalúan los textos de sus compañeros, con miras a proporcionar una retroalimentación que pueda ser utilizada para la revisión de lo escrito. Los estudios indican que esta estrategia contribuye a mejorar las habilidades escritúrales, puesto que permite analizar la escritura desde dos frentes: la revisión y la realización misma del texto.
En cuanto a la revisión, esta posibilita a los estudiantes establecer comparaciones y reflexiones entre los escritos de sus compañeros y el suyo propio (Boud et al, 2014; Mirick, 2020; Rollinson, 2005). En cuanto a la realización misma del texto, si bien existe en los estudiantes un bajo nivel de confianza frente a la capacidad que tienen sus pares para evaluar textos escritos, los comentarios de sus pares contribuyen de forma significativa al mejoramiento de la escritura. De acuerdo con Patchan et al. (2018), existe creciente evidencia de que las retroalimenta-ciones de los compañeros pueden ser tan útiles y, en ocasiones, más útiles que las de los profesores (Cho y MacArthur, 2011; Cho y Schunn, 2007; Gielen et al, 2010; Hartberg et al, 2008; Hovardas et al, 2014; Topping, 2005).
Cabe anotar que el impacto de la coevaluación está mediado por factores tales como la calidad de los comentarios (Goldberg et al, 1995, VanDeWeghe, 2004; Tsivitanidou et al., 2011); el seguimiento de los profesores (McCarthy et al, 2011); la utilidad de los comentarios y la claridad que tengan los evaluadores frente a los propósitos de la revisión (Badger y White, 2000; Min, 2005; Pengitore, 2005; Thomas et al, 2016; Topping, 2009). En este contexto, se ha demostrado que el uso de las rúbricas de coevaluación contribuye significativamente a minimizar el impacto negativo tan frecuente en las retroalimentaciones (Cho et al, 2006; Grise-Owens y Crum, 2012; Panadero y Jonsson, 2013).
Las rúbricas de evaluación
Entendemos por rúbrica un conjunto de parámetros que permiten valorar el proceso o el producto final de una tarea determinada. Cada uno de estos parámetros se describe de acuerdo con niveles de calidad en el desempeño. De esta forma, una evaluación realizada mediante rúbricas no solo identifica un nivel de logro, sino que explica las razones por las cuales la tarea en cuestión alcanzó ese nivel.
Gran parte de los estudios que se han adelantado sobre el uso de rúbricas en la elaboración y evaluación de procesos escritúrales han estado relacionados con tres factores: primero, con el uso de estas como estrategia para desarrollar habilidades de autoevaluación en los estudiantes (Andrade y Du, 2005; Martínez-Figueira, Tellado-González y Rivas, 2013; Panadero, 2011 ; Powell, 2001 ; Reitmeier et al, 2004; Schneider, 2006;); segundo, con el análisis del diseño y la habilidad de los criterios de evaluación (Panadero y Jonsson, 2013; Reddy y Andrade, 2010; Uddin, 2014); y tercero, con el impacto que tiene el uso de rúbricas en los procesos escritúrales (Andrade y Du, 2005; De la Peña Portero y Núñez Cortés, 2018; Hafner y Hafner, 2003).
Los estudios frente al uso de rúbricas como herramienta de evaluación, autoevaluación e impacto en los procesos escritúrales han mostrado que los estudiantes expresan percepciones positivas frente a esta (Andrade y Du, 2005; Powell, 2001; Reitmeier et al, 2004; Schneider, 2006). Ellos consideran que los criterios y escalas de evaluación descritos en la rúbrica les brindan claridad frente a la tarea, lo que contribuye a disminuir los niveles de ansiedad y a aumentar las percepciones positivas de autoeficacia (Andrade y Du, 2005). Se ha evidenciado además que consideran que la rúbrica les permite comparar los avances de su trabajo con los objetivos esperados, lo que indicaría que esta contribuye a favorecer los procesos de autorreflexión frente a la tarea de escritura (Blanco, 2008; Reddy y Andrade, 2010).
Las rúbricas para evaluar la escritura han sido objeto de investigación. Algunas de las problemáticas que se han planteado en este campo son: la necesidad de la participación de los estudiantes en la elaboración de las rúbricas (Joseph et al, 2020), la relación entre rúbricas y desempeño escritural (De La Paz y Felton, 2010; Glaser y Brunstein, 2007; Kiuhara et al, 2012) y el desarrollo de estrategias que contribuyan a que los criterios y niveles que se indican en las rúbricas favorezcan tanto los procesos de planificación como de ejecución de la tarea y no solo su evaluación final (Sundeen, 2014).
En lo que respecta específicamente al impacto que tienen las rúbricas en los procesos de escritura, es importante anotar que estas no solo se usan con miras a propiciar procesos de evaluación y seguimiento durante la realización del escrito, sino que también se implementan como guías en las tareas relacionadas con la construcción de textos, en la medida en que brindan al estudiante información clara y detallada frente a la tarea que tiene entre manos (Andrade y Du, 2005; De la Peña Portero y Núñez Cortés, 2018; Hafner y Hafner, 2003). Los estudios orientados en este último sentido arrojan resultados favorables, en la medida en que se evidencia que las denominadas rúbricas de instrucción contribuyen a mejorar los procesos de planificación de la escritura (De la Peña Portero y Núñez Cortés, 2018), son fáciles de utilizar y explicar; permiten afinar las expectativas frente al desempeño en la tarea (Andrade, 2000; Butler y Winne, 1995), apoyan el aprendizaje y brindan a los estudiantes comentarios informativos sobre sus fortalezas y debilidades (Andrade, 2000).
En general, es posible evidenciar las ventajas del uso de rúbricas para favorecer los procesos de evaluación y revisión, por un lado, y de mejoramiento de la calidad escritural, por otro. Sin embargo, existe también evidencia de que el uso de la rúbrica por sí solo noes suficiente (Jonsson,2014; Wiggins, 1998). Se requiere indagar sobre acciones pedagógicas que favorezcan un proceso de monitoreo constante de la escritura durante la construcción del texto, hasta lograr el documento final. En este mismo sentido, resulta pertinente indagar por estrategias que favorezcan el desempeño escritural en los estudiantes universitarios que se forman como docentes, pues gran parte de los estudios revisados se centran en el marco de la educación básica y media, y son escasos los que trabajan de manera especifica con maestros en formación.
En esta perspectiva, cobran relevancia tres posibles preguntas cuyas respuestas están aún en construcción: ¿Cuál es el efecto del uso de rúbricas de autoevaluación y coevaluación sobre la calidad escritural? ¿Tienen las rúbricas de autoevaluación y coevaluación un efecto diferencial sobre el desempeño en escritura? ¿Cómo son percibidas estas estrategias entre los estudiantes? Intentaremos aportar respuestas a estas preguntas en lo que sigue.
Metodologia
Diseño
La investigación tiene un diseño cuasiexperimental de tipo mixto, en el que se acude a los procedimientos cuantitativos para verificar las diferencias inter- e intra-grupos y cualitativos para identificar las percepciones de los estudiantes frente a las estrategias de autoevaluación y coevaluación mediante rúbricas.
El estudio se realizó con tres grupos, cada uno de los cuales fue asignado aleatoriamente según las condiciones establecidas para el desarrollo de la investigación, de la siguiente manera: (1) grupo experimental 1, con implementación de autoevaluación y heteroevaluación orientada por rúbricas; (2) grupo experimental 2, con implementación de autoevaluación, heteroevaluación y coevaluación orientadas por rúbricas; (3) grupo de control con heteroevaluación, sin rúbrica. De acuerdo con esta distribución, el tipo de estrategias de evaluación formativa utilizada actúa como variable independiente y el desempeño escritural actúa como variable dependiente. Las percepciones de los estudiantes son información que se contrasta en el marco del análisis de datos, con miras a tener una visión más amplia de la estrategia aplicada desde una perspectiva pedagógica.
Muestra
El estudio se llevó a cabo con 75 estudiantes universitarios, inscritos en una asignatura de psicolin-güística, del currículo de formación de profesores de lenguas de una universidad pública de Bogotá, Colombia. Los participantes se distribuyeron en tres grupos (dos experimentales y uno de control). Un total de 54 estudiantes completaron todo el proceso. A todos los participantes se les explicó la naturaleza y el objetivo del estudio y se firmaron los consentimientos informados.
Instrumentos
Pretest de escritura. La consigna de la tarea fue: observar una videoconferencia TED, leer un texto expositivo, ambos sobre el tema de la adquisición del lenguaje, y elaborar en máximo 60 minutos un texto de reflexión sobre el tema en cuestión, con una extensión mínima de 500 palabras.
Para la evaluación de la prueba se diseñó una rúbrica con cuatro categorías de análisis: Profundidad y amplitud de los conocimientos, Calidad de pensamiento en la evidencia, Calidad de comunicación y Referencias y formato. Dos jueces expertos en escritura académica emplearon la misma rúbrica para evaluar la tarea de forma independiente. Para establecer el nivel de acuerdo entre los jueces evaluadores, se utilizó el coeficiente de correlación intraclase (CCI), que permite cuantificar la habilidad de las mediciones, asociadas a la variable cuantitativa de desempeño en escritura. El cci fue de 0,813 (p < 0,01), con límites de confianza entre 0,709 y 0,880, que indica una concordancia casi perfecta, con un intervalo de confianza moderado, que permite establecer que la concordancia es confiable.
Postest de escritura. La prueba final de escritura consistió en un artículo de revisión sobre el tema "Adquisición del lenguaje". Cada estudiante debía entregar una versión definitiva del artículo que había desarrollado a lo largo del curso, a partir de las herramientas de apoyo, la orientación del profesor, las autoevaluaciones y las coevaluaciones (según el caso). Para la evaluación de los artículos, se adaptó la rúbrica diseñada para el pretest de escritura; los ajustes se hicieron en función del tipo de texto, que en este caso era de carácter expositivo. Se mantuvieron las cinco categorías de la primera rúbrica.
Rúbricas de autoevaluación y coevaluación. Se diseñaron rúbricas de autoevaluación, coevaluación y heteroevaluación para cada una de las cuatro entregas (véase el procedimiento más adelante). Los criterios y niveles seleccionados para cada una de estas rúbricas fueron los mismos que para el pretest.
En lo que respecta a las rúbricas de coevaluación, se entregó a los estudiantes un formato con los criterios, niveles de evaluación y un espacio para las observaciones, asi como el trabajo correspondiente a uno de sus compañeros, de tal forma que este lo revisaba y diligenciaba la coevaluación.
Entrevista a estudiantes del grupo experimental 1. Se seleccionaron al azar seis participantes del grupo experimental 1, quienes tomaron parte en una entrevista semiestructurada para analizar su experiencia con el desarrollo de la tarea de escritura del artículo de revisión y el uso de las rúbricas de autoevaluación durante el proceso. Las preguntas que orientaron cada entrevista fueron:
¿Qué opina de escribir? ¿Le gusta o no?
¿Qué representó la tarea de escribir el artículo de revisión?
¿Qué opina de las rúbricas de autoevaluación?
¿Pensó en los criterios de evaluación durante la escritura?
¿Cómo podría mejorar la rúbrica de evaluación?
¿Esta herramienta le permite mejorar su escrito? ¿En qué aspectos?
Registro de sesiones de coevaluación. Se reunieron el autor del texto y el par evaluador para conversar sobre el proceso previo de coevaluación, allí los estudiantes tenían la oportunidad de recibir la retroalimentación de su compañero frente a la revisión del trabajo. Este ejercicio se realizó para las tres primeras fases del proceso de escritura del artículo de revisión. Se obtuvo el registro sonoro de estas interlocuciones.
Procedimiento de la intervención
El curso en el cual se realizó la intervención tuvo una duración de dieciséis semanas de clase, organizadas en sesiones de tres horas semanales y se desarrolló mediante encuentros sincrónicos en modalidad virtual. Durante el primer encuentro se llevaron a cabo la presentación del proyecto de investigación, una sesión de preguntas y respuestas con los participantes, la firma de los consentimientos informados y la aplicación del pretest.
La actividad de intervención fue un ejercicio de escritura consistente en la elaboración, paso a paso, de un artículo de revisión sobre un tema relevante al curso. Cada estudiante debía realizar cuatro entregas de este ejercicio, cada una con objetivos diferentes: (1) formulación de las ideas y revisión bibliográfica, (2) esquematización, (3) textualización y (4) revisión.
Los profesores de los tres grupos realizaron las revisiones y retroalimentaciones correspondientes para cada una de las entregas, mediante comentarios escritos y encuentros tutoriales con los estudiantes. El grupo experimental 1 respondió rúbricas de autoevaluación de cada uno de los documentos entregados y el grupo experimental 2 respondió rúbricas de autoevaluación y coevaluación. Cada una de las rúbricas se presentó y discutió con los estudiantes antes de la entrega de la tarea específica.
Para la coevaluación en el grupo experimental 2, se armaron parejas que intercambiaron sus trabajos. Cada estudiante realizó la evaluación del escrito de su compañero haciendo uso de las rúbricas. Como se mencionó, se llevaron a cabo sesiones de interacción entre los coevaluadores.
Como se indica también en el acápite de instrumentos, seis estudiantes del grupo experimental 1 respondieron una corta entrevista semiestructurada que indagaba sobre sus percepciones de la experiencia.
Resultados
Nivel escritural inicial
Se analiza aquí si existen diferencias estadísticamente significativas en las puntuaciones medias de la prueba inicial de escritura en función de los grupos establecidos: control, grupo experimental 1 y grupo experimental 2.1
Los resultados del ANOVA de una vía entre grupos señalan que existe una diferencia estadísticamente significativa entre los grupos, a favor del grupo control, con un tamaño del efecto pequeño F (2,72) = 2,50, p = 0,089). Las puntuaciones medias de la prueba inicial de escritura en función de los tres grupos se pueden observar en la tabla 1.
Fuente: elaboración propia.
Tabla 1: Resultados del pretest de escritura
Grupo
Mínimo
Máximo
Media
Desviación típica
N
Control
27,0
43,5
33,86
5,332
19
Experimental 1
24,0
41,0
30,50
4,868
18
Experimental 2
27,0
44,5
33,36
3,984
18
Total
26,0
43,0
32,57
4,728
55
Nivel de escritura final
Para examinar las diferencias entre los grupos se realizaron pruebas ANOVA2 de una vía. Los resultados del postest se presentan en la tabla 2. Como se observa, los niveles de desempeño en escritura aumentaron en comparación con los niveles de escritura inicial, presentados en el apartado anterior; hay mejora en todos los grupos (m = 38,89; d. t. = 5,929), sin diferencias significativas entre los tres grupos observados (F [0,393] = 0,30, p = 0,741).
Fuente: elaboración propia.
Tabla 2: Descriptivos de pruebas postest
Variable
Grupo
Mínimo
Máximo
edi
Desviación típica
Total muestra
Control
24,60
47,20
38,0368
6,49206
19
Escritura
Experimental 1
26,60
47,20
39,4667
5,43907
18
Experimental 2
26,70
45,80
39,1889
5,85771
18
Total
25,97
46,73
38,8975
5,92962
55
Análisis comparativo intragrupo (Pruebas T de Student para muestras relacionadas)
Para poder establecer el efecto de la intervención en de cada uno de los grupos, se analizaron las diferencias de los resultados de los pretest y los postest intragrupo, mediante una prueba T de Student para muestras relacionadas. La gráfica 1 presenta las diferencias de medias entre pre- y postest de la variable de desempeño en escritura, según el grupo. En general, se observan mejoras en los tres grupos, con diferencias significativas en los tres casos.
Gráfica 1: Diferencia de inedias entre pre est y postest comparado entre los grupos. El asterisco (*) refleja las diferencias que resultaron estadísticamente significativas.
Fuente: elaboración propia.
Tabla 3: Prueba T de Student para muestras relacionadas
índice de mejora en escritura
Para examinar el progreso real que cada grupo tuvo en el desempeño en escritura se estableció el índice de mejora, que consistió en obtener el valor de la inedia de la diferencia entre los puntajes del postest y el pretest. Se empleó la T de Student para muestras independientes, que permitió establecer comparaciones entre los grupos. Se presentan los datos de la comparación entre el grupo control y el grupo experimental 1, donde se encuentran diferencias significativas (véase la tabla 4).
Fuente: elaboración propia.
Tabla 4: Diferencia en el índice de mejora entre grupo control y experimental 1
De acuerdo con la prueba T de Student, se observa una diferencia estadísticamente significativa en el índice de mejora, a favor del grupo experimental 1 (p = 0,058). En contraste, el índice de mejora no presenta diferencias entre el grupo control y el experimental 2 (p = 0,463) y entre ambos grupos experimentales (= 0,188).
Análisis de las percepciones de los estudiantes frente al proceso
El análisis de las entrevistas en el grupo experimental 1 y de los intercambios de coevaluación en el grupo experimental 2 se organizó en tres fases: reducción de datos, disposición y transformación de datos y obtención y verificación de conclusiones.
Para la reducción de datos se tomaron las transcripciones correspondientes a las entrevistas y los registros de las sesiones de coevaluación y se dividieron atendiendo al criterio conversacional, el cual consiste en segmentar el texto teniendo como referente cada uno de los turnos de habla de los participantes. Posteriormente, para la disposición y transformación de los datos, se elaboraron dos matrices categoriales, una para las entrevistas semiestructuradas del grupo experimental 1 y otra para el análisis de interacciones que se dieron entre los participantes como parte de la estrategia de coevaluación en el grupo experimental 2.
Por último, para la obtención y verificación de las conclusiones, se revisaron en detalle los datos, con miras a consolidar una descripción e interpretación que permitiera identificar las percepciones manifestadas por los estudiantes frente a los procesos de autoevaluación y coevaluación mediados por rúbricas y el aporte de estos al desempeño escritural.
Entrevistas a 6 estudiantes del grupo experimental 1
El análisis de las entrevistas realizadas a algunos participantes del grupo experimental 1, arrojó tres categorías relevantes. La primera está relacionada con la percepción acerca de la tarea escritural, la segunda con la forma como las rúbricas de autoevaluación impactan en la realización del escrito y la tercera con el momento del proceso en el que los estudiantes acuden a las rúbricas.
En cuanto a la primera, los estudiantes entrevistados afirman tener gusto por la escritura y contar con diversas experiencias en este campo: "Bueno, desde pequeña me ha gustado escribir" (S63), "realmente me gusta escribir, lo hago desde muy pequeña porque se me da muy bien la escritura" (SI). Sin embargo, en lo que respecta a la tarea específica - escritura de un artículo de revisión- las percepciones están relacionadas con la dificultad que implica su elaboración; de hecho, tiende a nominarse como un desafío: "Entonces para mí ese fue el desafío más grande, encontrar información[...]" (SI) y las descripciones enfatizan en las fuertes implicaciones que trae consigo construir el escrito:
Entonces, cuando me tuve que enfrentar al artículo pues dije "no, me toca organizado" y tuve que volver a releer y editarlo muchas veces... me cuesta muchísimo, digamos la construcción de párrafos y de textos y más en el artículo donde tengo que relacionar elementos de diferentes autores, colocarlos en discusión. (S3)
Respecto de la segunda categoría, los estudiantes expresaron una percepción positiva de las rúbricas. Consideran que les permiten reflexionar acerca de su proceso escritural y tener claridad sobre las características del trabajo por realizar: "Sí, siento que fue más saber como el propósito que debería tener mi artículo y digamos qué cosas eran esenciales que se incluyeran" (S3).
Por último, los entrevistados manifiestan que las rúbricas se hacen relevantes en dos momentos: al inicio de la tarea, porque les permiten tener claridad sobre las características del escrito que deben realizar; y al final, para evaluar los alcances de su trabajo:
la miré en el principio para saber sobre qué se iba a evaluar. (S3)
Bueno, yo realmente tengo la costumbre de revisarlas cuando ya termine, como para ver si hacen match con mi artículo. (S4)
Percepción de los estudiantes participantes en ef proceso de co evaluación grupo experimental 2
Los datos recolectados en el proceso de coevaluación configuran dos categorías: 1) las percepciones con respecto a la realización del ejercicio de coevaluación, y 2) las percepciones acerca de cómo la coevaluación incide en el proceso escritural.
En cuanto a las percepciones que se tienen del proceso de coevaluación, se observa una reticencia inicial a evaluar al compañero, la cual va desapareciendo a medida que se avanza en el ejercicio de coevaluación. Es así como el primer ejercicio de coevaluación se caracterizó por la baja calidad y cantidad de los comentarios correspondientes a la retroalimentación. Los estudiantes se limitaron a ubicar los escritos de sus compañeros en un nivel específico de la rúbrica, pero hacían pocos comentarios acerca de las razones de dicha evaluación, "le puse bueno porque como mencioné anteriormente son pertinentes para un artículo de revisión" (S2, G7), "yo puse aceptable porque los objetivos pueden ser un poco confusos" (S2, Gl). En este mismo sentido, fueron escasas las estrategias sugeridas para mejorar el proceso escritural; solo hay ocho enunciados orientados en este sentido.
Sin embargo, a medida que se avanzó en el ejercicio de coevaluación se evidenció un mejoramiento tanto en la calidad como en la cantidad de los comentarios de retroalimentación, como se puede observar en el siguiente fragmento de la tercera ronda de coevaluaciones
Yo le puse excelente a mi compañera porque la pregunta de ella: cuáles son las fases que se presentan en el proceso de adquisición del lenguaje escrito en los niños y pues la información que ella buscó y colocó en la matriz de los 15 documentos, ella tenía la información correcta para responder esa pregunta habla de varios niveles alfabético silábico y otras cosas, pues por eso creo que sí se merece esa nota. (SI, G8)
Además de la argumentación, se empiezan a encontrar comentarios en los que los estudiantes hacen comparaciones de sus acciones y desempeños con los de sus compañeros frente al ejercicio escritural: "Releer la información antes de enviarla, es decir, que cuando se termine [de] escribir se vuelva a revisar lo que se escribió es una sugerencia para ella, pero para mí también aplica" (S2, G1).
En este mismo sentido, en las rondas 2 y 3 fueron aumentando considerablemente las retroalimentaciones orientadas a proponer estrategias para mejorar el desempeño escritural:
yo sentí que tal vez que ella también podría haber puesto, en alguna forma más explícita que si hay alguna similitud entre las teorías de unos con otros, pero solamente en la parte de análisis de resultados, es decir, poner a dialogar los autores, pero en términos de similitudes. (S2, G3)
Pues lo que yo generalmente hago en los párrafos [...] poner la tesis, después, los argumentos y la conclusión que tenga que ver con ese párrafo y la relación que tienen y en cuanto al resumen, creo que una buena forma de hacerlo es ver y leer los otros artículos de revisión, tomarlos como ejemplos. (S1,G2).
Se pasó de 8 enunciados en el primer ejercicio, a 46 en el segundo y 49 en el tercero.
Asimismo, pudo observarse que los estudiantes no solo comparten estrategias, sino que comentan las dificultades que han experimentado en los diferentes momentos del proceso escritural. Esto lo hacen para justificar los bajos desempeños en los que ubican los trabajos de sus compañeros, con relación a los criterios de la rúbrica, o para solidarizarse con ellos:
Por otro lado, a mí también me llevó mucho tiempo porque pues yo la había buscado así algo social y era el trabajo se debe hacer en el campo psicolingüístico y pues me tocó cambiar de artículos (S2,G1)
le hace falta ese ítem porque yo también la embarré desarrollando los otros. (Si, G2)
Con respecto a esta primera categoría, también se observó que los estudiantes consideran que el uso de la rúbrica facilita la coevaluación, en la medida en que brinda criterios claros acerca de las características del ejercicio de escritura, lo que contribuye a identificar tanto las fortalezas como las falencias de los trabajos evaluados:
Yo creo que el formato de la coevaluación permitió que fuera mucho más fácil y menos tedioso. (S2, G6)
rúbrica es una base para poder calificar el trabajo porque en general uno puede leer el trabajo, pero si no estuvieran esos criterios uno pasaría muchas cosas por alto. (S2, G2)
Cabe anotar, sin embargo, que esta percepción se fue construyendo gradualmente a lo largo de las tres rondas de coevaluaciones. Así, durante la primera, los estudiantes reportaron tener dificultades para seleccionar el nivel en el que se encontraba el trabajo de su compañero, en relación con cada uno de los factores: "Tuve un poco [de] conflictos al evaluar porque no sabía en qué criterio ubicar a mi compañero" (S2, G5). Esta situación cambió durante la segunda y tercera rondas, en las que manifestaron sentirse más seguros evaluando, puesto que ya contaban con la experiencia del ejercicio inicial:
Sí, pues más fácil calificar con esta rúbrica porque ya estaba la experiencia dela vez anterior y ya uno tiene la idea. (SI, G3)
Calificar siempre va a ser difícil, pero esta vez fue un poco más fácil porque uno ya tenía un bagaje (S2, G3)
En cuanto a la categoría de percepciones acerca de cómo la coevaluación incide en el proceso escritural, los estudiantes son claros en afirmar que la retroalimentación realizada por sus compañeros aporta de forma significativa en su proceso de escritura, como se puede observar en los siguientes comentarios:
A mí me pareció un ejercicio muy efectivo porque si bien la profesora nos hace correcciones no es lo mismo que recibir comentarios de alguien más porque el compañero está haciendo el mismo proceso y puede tener comentarios que a uno le pueden ayudar y me parece muy útil este ejercicio. (S1.G1)
Discusión
La información obtenida en este estudio resulta relevante debido a la importancia que tiene, en el marco de la pedagogía del lenguaje, propiciar estrategias que permitan a los estudiantes mejorar sus procesos escritúrales. Ello impacta en su proceso formativo y, por supuesto, en sus futuras prácticas como docentes.
A continuación, discutiremos los principales hallazgos del estudio tanto desde el punto de vista de lo encontrado en estudios previos, como de sus implicaciones para la formación de escritores en el nivel de educación superior.
En general, en este estudio se encontraron diferencias estadísticamente significativas en el desempeño escritural de los tres grupos analizados entre el pretest y el postest. Este hallazgo se puede explicar desde dos perspectivas. Por un lado, la práctica es el factor más influyente en el desarrollo de habilidades escritúrales. Por otro lado, la retroalimentación ejerce un impacto positivo en el desempeño escritural de los estudiantes.
Los estudiantes participantes realizaron una práctica continua e intensiva de actividades de escritura académica. Además del texto que sirvió como pretest, realizaron cuatro entregas de productos escritúrales en el contexto del curso que estaban tomando. Esta experiencia por sí misma sirvió como insumo para avanzar en el desarrollo de habilidades de escritura. En este sentido, Kellogg afirma que "la habilidad de escritura mejora continuamente, en función de la práctica, como es típico de las habilidades perceptivo-motoras y cognitivas en general" (2008, p. 4). El mejoramiento en el desempeño escritural es progresivo e implica el desarrollo diferentes procesos de planificación, representación lingüistica y revisión, los cuales se van perfeccionando mediante el ejercicio mismo de tareas escritúrales.
Por otra parte, la mejora en el desempeño de los tres grupos puede explicarse por el proceso de retroalimentación vivido en la experiencia, ya que todos los grupos contaron con retroalimentación, por parte del profesor en los tres casos y también de sus compañeros en lo referente al grupo experimental 2. En este sentido, este estudio concuerda con resultados previos, en los que la retroalimentación se constituye en un factor que impacta en el mejoramiento del desempeño escritural, retroalimentación ya sea de los profesores (Ferris, 1997; Ismail, 2001; Muncie, 2000), como de los pares (Berggren, 2013; Hansen y Liu, 2005; Lundstrom y Baker, 2009) o de ellos mismos.
Entendemos que dicha retroalimentación lleva a que el estudiante reciba información acerca de sus niveles de desempeño en relación con el logro esperado y, también, sobre estrategias de escritura que se puedan utilizar para favorecer el desarrollo de su proceso. Ello le permite monitorear y regular sus comportamientos durante el desarrollo de la tarea e implementar acciones de mejora que se evidencian en la cualificación de sus escritos. En el caso específico del estudio se evidenció una mejora significativa a medida que los estudiantes avanzaban en su escrito. Esta mejora se hizo evidente tanto en los desempeños logrados como en sus percepciones frente al desarrollo de su proceso, las cuales, como se observa en el análisis cualitativo de las entrevistas, van mejorando a medida que avanzan en la intervención.
Ahora bien, tal vez el resultado más contundente de este estudio es el que indica el análisis de las diferencias intergrupos respecto de los índices de mejora en la calidad escritural. Este análisis señala que la estrategia que contribuyó a mejorar el desempeño escritural en los estudiantes fue el uso de rúbricas de autoevaluación. Este resultado se puede explicar por dos razones. En primer lugar, al autoevaluarse, los estudiantes adquieren conciencia del proceso que deben realizar. La autoevaluación les permite valorar la calidad de su trabajo en relación con los criterios de desempeño frente a la tarea, por lo que atienden o desarrollan estrategias para mejorar aquello que consideran problemático (Andrade y Warner, 2012). En esta misma perspectiva, diferentes estudios afirman que la autoevaluación, cuando está orientada desde unos criterios claros, contribuye a que los estudiantes aprendan a identificar de manera gradual los elementos que contribuyen a la realización de textos efectivos y en contraste a identificar las diferencias entre un texto bien escrito y otro deficiente (Andrade, 2010; Andrade y Warner, 2012).
En segundo lugar, recordemos la relación intrínseca que se establece, en términos teóricos, entre la escritura y la autoevaluación, sustentada en el hecho de que las acciones de autoevaluación interactúan con las componentes de planificación, ejecución y revisión de un texto escrito (Azevedo et al, 2008; Falchikov y Boud, 1989; Greene y Azevedo, 2007; Kostons et al, 2012; Zimmerman y Schunk, 2011). En este sentido, los resultados del estudio contribuyen a reafirmar el impacto que tiene la autoevaluación en los procesos que subyacen a la escritura y en la necesidad de hacer énfasis en el proceso y no solo en el resultado, ya que esto permite a los estudiantes identificar las características de su desempeño escritural y hacer ajustes estratégicos que impacten en la realización de la tarea, pero también en el mejoramiento de su habilidad como escritores.
Cabe anotar que lo que las rúbricas de autoevaluación están haciendo es poner de relieve un proceso que ya debe estar presente. Es decir, las rúbricas contribuyen a que los estudiantes aborden los diferentes momentos del proceso escritural de manera reflexiva. Se trata de una acción que, como se ha evidenciado en diversos estudios, impacta directamente en el mejoramiento de la escritura (López et al, 2019; Sundeen, 2014; Yalçin y Karadeniz, 2016).
Con respecto a los resultados arrojados por el estudio en relación con el ejercicio de coevaluación, si bien no se logran observar en el análisis estadístico, sí lo hacen en el análisis cualitativo de las percepciones, en donde se evidencian dos procesos interesantes. El primero, asociado con la lectura profunda de la rúbrica y el segundo, con la socialización de estrategias encaminadas a apoyar el proceso de escritura. Frente al primero, los estudiantes tuvieron mayor claridad frente al ejercicio asignado al hacer una revisión rigurosa de la rúbrica; por ende, mostraron mayor seguridad a la hora de enfrentarse a la realización de la tarea. En cuanto al segundo, la retroalimentación dialógica permitió no solo establecer reflexiones frente al propio trabajo y contrastarlo con el de los demás, sino compartir estrategias que tenían como finalidad coadyuvar en la realización de la tarea.
En lo que respecta a la comprensión de los criterios de evaluación, los estudiantes manifestaron que la revisión de la rúbrica les permitió, además de evaluar a sus compañeros, comprender las características de la tarea e implementarlas en el desarrollo de su ejercicio. En cuanto a la construcción de estrategias que devienen de la interacción entre pares que propicia la coevaluación, los estudiantes afirmaron que los comentarios que les hacen los pares resultan bastante efectivos y que, al provenir de una experiencia compartida, son más fáciles de implementar y responden a los interrogantes y dificultades reales que surgen durante la tarea. Además, coincidieron en que la coevaluación no solo aportaba al proceso de los otros, sino que también les permitió construir reflexiones encaminadas a mejorar su propio proceso de escritura.
Estas perspectivas frente a la coevaluación coinciden con los resultados de otras investigaciones, como la adelantada por Monereo (2007), quien afirma que
la evaluación entre iguales permite integrar las metas socioemocionales y las académicas. La evaluación entre iguales favorece que los estudiantes se sientan mejor valorados al considerar que su juicio y perspectiva son tenidos en cuenta para mejorar el trabajo de otro. (Citado por Noche et al., 2017, p. 132)
Cabe mencionar, finalmente, el hecho de que el grupo experimental 2, que también contaba con rúbricas de autoevaluación, no mostró mejoras significativas en su desempeño escritural. Recordemos que este grupo fue el que también realizó procesos de coevaluación. Pareciera que la presencia de esta última estrategia interfirió de alguna forma que aún no entendemos, sobre el avance en la calidad escritural de los estudiantes. Este tipo de interferencia ha sido documentado en estudios previos (Rincón-Camacho y Hederich-Martínez, 2021). En cualquier caso, la comprensión profunda que explique este hallazgo escapa a las posibilidades de este estudio.
Conclusiones
Los datos arrojados por este estudio ponen en evidencia que la autoevaluación mediada por rúbricas es la estrategia que tiene un mayor impacto en el mejoramiento del desempeño escritural. Esta estrategia brinda información clara y precisa a los estudiantes acerca del ejercicio por realizar y de los niveles de logro esperados, situación que sin duda impacta en los procesos de planeación, elaboración y revisión que subyacen a la construcción del texto.
Este estudio también muestra que el uso de rúbricas de coevaluación incide de manera positiva en las percepciones sobre el ejercicio de evaluación de la escritura. Este les permite a los estudiantes tener claridad acerca del estado tanto de sus escritos como de los de sus compañeros, e identificar los niveles de desempeño en relación con los objetivos esperados.
Los hallazgos ponen de relieve la importancia de implementar acciones pedagógicas que contribuyan a realizar un monitoreo continuo al proceso de escritura durante la construcción del texto, hasta lograr el documento final. La evidencia encontrada apunta a proponer estrategias que, como en el caso de las rúbricas de autoevaluación, comprometan al estudiante con su propio desarrollo como escritor sobre la base de una comprensión profunda de la actividad escritural y un conocimiento de aquellos criterios que hacen de un manuscrito un texto de calidad. Igualmente, los resultados de esta investigación aconsejan la implementación de estrategias colaborativas de evaluación de textos, que, como en el caso de las rúbricas de coevaluación, permitan aprender del otro y con el otro y hagan del proceso escritural una actividad socialmente compartida.
Limitaciones del estudio
Una de las principales limitaciones del estudio es el tamaño de la muestra, que resulta relativamente pequeño para un examen más exhaustivo de los datos cuantitativos, si se quiere un estudio cuyas pretensiones sean de generalización. La misma naturaleza mixta del estudio y su inclusión de la mirada cualitativa no posibilita que los resultados acá descritos representen el común denominador de estudiantes universitarios en formación como escritores hábiles. Finalmente, se considera que la modalidad virtual de implementación del curso representa una limitación que restringe los resultados a este tipo de entornos. Por esta razón, es necesario formular investigaciones que a futuro validen esta propuesta, en entornos de aprendizaje presenciales y con muestras mayores a las de este estudio.
Licencia
Derechos de autor 2021 Folios
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Todo el trabajo debe ser original e inédito. La presentación de un artículo para publicación implica que el autor ha dado su consentimiento para que el artículo se reproduzca en cualquier momento y en cualquier forma que la revista Folios considere apropiada. Los artículos son responsabilidad exclusiva de los autores y no necesariamente representan la opinión de la revista, ni de su editor. La recepción de un artículo no implicará ningún compromiso de la revista Folios para su publicación. Sin embargo, de ser aceptado los autores cederán sus derechos patrimoniales a la Universidad Pedagógica Nacional para los fines pertinentes de reproducción, edición, distribución, exhibición y comunicación en Colombia y fuera de este país por medios impresos, electrónicos, CD ROM, Internet o cualquier otro medio conocido o por conocer. Los asuntos legales que puedan surgir luego de la publicación de los materiales en la revista son responsabilidad total de los autores. Cualquier artículo de esta revista se puede usar y citar siempre que se haga referencia a él correctamente.
