Colaborador Invitado

¿Por qué los Investigadores que Realizan Evaluación de Programas y Acciones Educativas Eligen no usar Experimentos Aleatorizados?

Argumentos filosóficos aducidos para rechazar la asignación aleatoria
Muchos partidarios de la experimentación reconocen como legítimas sólo una porción muy pequeña de objeciones señaladas para la asignación aleatoria; es decir, aquellas que en efecto provienen del proceso en sí. Esto es porque, en un examen cercano, casi todas las objeciones se hallan referidas al contexto económico, intelectual, político y social en el cual está implicada la asignación aleatoria.

Por ejemplo, algunas de las objeciones filosóficas están dirigidas a toda cuantificación y no sólo a la experimentación como un tipo de cuantificación en ciencias sociales; y las preguntas sobre el agotamiento del tratamiento se aplican tanto a los cuasi-experimentos longitudinales como a los experimentos. Ya que nuestro punto de origen son las objeciones a la asignación aleatoria usada por un grupo particular de eruditos, preferimos lanzar una red más amplia que la lanzada por los partidarios de la visión de que la experimentación es legítima.

Así, las objeciones que consideramos no son sólo aquellas dirigidas a la experimentación; sino también las que una comunidad de investigadores ha lanzado hacia el uso de asignación aleatoria en la investigación llevada a cabo en las escuelas.

La asignación aleatoria está epistemológicamente desacreditada
Para los filósofos de la ciencia, el positivismo connota un rechazo del realismo, la formulación de teorías en forma matemática, la primacía de la predicción sobre la explicación y la creencia de que las entidades no existen independientemente de su medida. Aunque esta epistemología ha sido largamente desacreditada, muchos investigadores educativos aún usan el término “positivismo” pero connotan algo históricamente un poco menos preciso: cuantificación y prueba de hipótesis, ambos, factores centrales en la experimentación. El trabajo de Kuhn (1970) está a la vanguardia de las razones dadas para rechazar la ciencia positivista.

Él argumenta que las teorías son “inconmensurables” —esto es, que sus postulados no pueden ser formulados tan específicamente como teorías de verificación o falsación— y, por lo tanto, están siempre sujetas a la reinterpretación. También arguye que las observaciones están “cargadas de teoría” esto es, están impregnadas con las teorías, esperanzas, expectativas y deseos del investigador, impidiendo así su neutralidad para discriminar afirmaciones verdaderas. Refutando la posibilidad de teorías totalmente explícitas y observaciones totalmente neutrales, el trabajo de Kuhn parece socavar la ciencia en general y la experimentación en particular. En la misma dirección están las visiones de otros filósofos que los evaluadores educativos gustan de citar, como Lakatos, Harre y Feyerabend. También es relevante revisar las descripciones que mues-tran qué tan seguido el comportamiento de los científicos en el laboratorio se desvía de las normas científicas que según ellos los deberían guiar (Latour & Woolgar, 1979). Tales citas están hechas para ilustrar que la ciencia es un emperador desnudo.

Sin embargo, la crítica es muy simple. Aunque las observaciones nunca son teóricamente neutrales, muchas de ellas parten con frecuencia desde las preferencias del investigador.

Mientras unas teorías reemplazan a otras, la mayoría de los argumentos de la teoría anterior son incorporados a la nueva, sobreviviendo al cambio de superestructura teórica. Así, aun si no hay “hechos” que podemos saber que son ciertos, sin embargo hay muchas proposiciones con tan alto grado de factibilidad que pueden ser cómodamente tratados como si fueran verdades (Cook 1985). Para los experimentadores practicantes, el truco es construir teorías múltiples acerca de cómo se recogen los datos, especialmente desde las perspectivas teóricas de los opositores. Las réplicas independientes son particularmente importantes con tal que no compartan al sesgo en la misma dirección (Cook, 1985). El trabajo de Kuhn complica el significado de “hecho”, pero no niega que algunos argumentos con estatus de hecho son muy fuertes.

Kuhn también está en lo cierto al señalar que afirmaciones teóricas nunca pueden ser definitivamente probadas (Quine, 1951; 1969). Pero esto no significa que los experimentos individuales fallen en probar las teorías e hipótesis causales que generan. Cuando un experimento produce resultados negativos sus promotores no tienden a aceptarlo. En su lugar, invocan factores metodológicos y contingencias sustantivas que pudiesen haber cambiando el resultado. Quizá si otro método de medición hubiera sido usado u otra población medida, en estudios subsecuentes se puede probar entonces la contingencia de estas formulaciones.

Si los resultados son negativos de nuevo, esto puede llevar a la necesidad de tener que diseñar una hipótesis aún más complicada para explicar la última desconfirmación. La prueba de esta nueva hipótesis puede llevar a otra y a otra y así sucesivamente. Después de un tiempo este proceso sale de cauce, debido a las contingencias tan específicas que deben ser examinadas. El consenso que parece emerger es “El programa no pudo mostrar su efectividad bajo las diferentes condiciones ya examinadas, otras condiciones pueden aún ser probadas, pero están tan circunscritas que la reforma no valdría la pena aún si fuese efectiva bajo esas condiciones”.

Kuhn afirma correctamente que este proceso es social y no exclusivamente lógico, y es correcta también su afirmación de que el predicamento surge porque el programa-teoría no es lo suficientemente explícito para ser definitivamente confirmado o rechazado. Pero la realidad de teorías elásticas no significa que las decisiones sobre hipótesis causales son únicamente sociales o que son ajenas a todo contenido empírico o lógico.

Los experimentos están enmarcados en una teoría de causalidad demasiado simple
Los experimentos aleatorios miden el impacto sólo de un pequeño subgrupo de causas potenciales dentro del mundo. En su modo más elegante, pueden medir responsablemente sólo un número modesto de interacciones entre tratamientos. Así que los experimentos aleatorios son mejores cuando la relación causal es simple, bien enfocada y fácilmente justificada. La teoría de acusación más relevante es llamada teoría de manipulación, de la actividad o teoría de receta (Collingwood, 1940; Gasking, 1955; Whitbeck, 1977). Intenta describir las consecuencias de un sistema cuyas actividades pueden ser enumeradas como si fueran los ingredientes de una receta y que se pueden manipular activamente en su totalidad para comprobar qué efectos tienen. El blanco es describir los efectos de una causa, no identificar porqué la causa es efectiva o cuáles son todas las causas de un efecto en particular.

Sin embargo, las teorías más estimadas de causa-efecto, buscan explicar relaciones más que únicamente describir conexiones de tipo “si-entonces”. Una teoría explicativa hace énfasis en identificar “procesos generativos” (Bhaskar, 1975; Harre, 1981). Estas son fuerzas que traen a colación efectos en una amplia variedad de circunstancias, tales como gravedad que afecta a la caída o un defecto genético específico que induce la fenilcetonuria, o tiempo aplicado en la mejora del rendimiento escolar. Sin embargo, con lo simples que se ven estos ejemplos, en realidad están repletos de contingencias causales escondidas. De este modo, el defecto genético no produce fenilcetonuria si a edad temprana es adoptada una dieta apropiada; el tiempo destinado al estudio no induce el aprendizaje si el estudiante está desinteresado o el currículo no tiene sentido. Así, un segundo entendimiento de casualidad requiere especificar todas las contingencias (co-causas) que impactan en un efecto, incluyendo estas que siguen de una manipulación causal, pero que son anteriores al efecto.

Los experimentos no fueron diseñados para este último propósito, fueron diseñados para describir los efectos de un grupo multidimensional de actividades deliberadamente manipuladas como paquete. Los experimentos son sólo explicativos si las manipulaciones son elegidas para ayudar a discriminar entre teorías que compiten entre sí; o si el proceso que media entre una causa y un efecto está especificado y medido; o si el efecto varia de campos de modo sistemático en diferentes resultados. De otro modo, describen el impacto marginal de una variable deliberadamente manipulada en un resultado medido. Cronbach y sus colegas (1980) sostienen que las teorías explicativas de causa son más relevantes para las escuelas que la teoría acerca de la actividad misma.

Nótese cuántas conclusiones útiles sobre prácticas educativas efectivas están hoy siendo recomendadas sin validación, es decir, sin haber sido probadas experimentalmente. Por ejemplo: los grupos pequeños son mejores que los grandes; el tiempo de estudio aumenta el rendimiento; la disgregación escolar raramente afecta el rendimiento, pero asignar y calificar la tarea lo eleva. La mayoría de los investigadores educativos comprometidos con un contingente alto de teoría de causa-efecto aceptan algunas afirmaciones causales como las arriba descritas. Los críticos de la experimentación también parecen aceptar algunas afirmaciones mínimamente contingentes. Por ejemplo: reducir el tamaño del grupo incrementa el rendimiento, a condición de que la cantidad de cambio sea “medible” y a un nivel debajo de veinte; las escuelas secundarias católicas de la provincia tienen porcentajes de graduación mayores que las escuelas públicas. El compromiso con una teoría explicativa de causa-efecto no ha impedido a los investigadores actuar como si un cierto cambio educativo procurara resultados confiables.

Los políticos están a menudo constreñidos a lo que pueden hacer y no pueden asignar diferentes tratamientos a poblaciones diferentes. Sin embargo, a menudo están dispuestos a apoyar cambios amplios con efectos diferenciales cuando estos cambios son raramente negativos. Cuando los asuntos políticos son de gran importancia es posible ignorar muchas variables que genuinamente contribuyen a una explicación más amplia.

Apreciamos los argumentos de aquellos oponentes a la experimentación que creen que respuestas con tendencia a preguntas explicativas grandes son más importantes que respuestas sin tendencia a preguntas más pequeñas de naturaleza causal-descriptiva. También estamos de acuerdo con ellos en que la asignación aleatoria depende de una teoría de causa menos comprensiva y menos estimada. Pero ser concientes de estas limitantes no colapsa la justificación para los experimentos. Aún necesitamos conocer sobre el efecto de ciertos agentes causales. Esto no es una necesidad de conocimiento trivial, y ser concientes de las limitaciones de la actividad de la teoría causal debe hacernos más fuertes para diseñar futuros experimentos con un campo explicativo más grande que en el pasado. Como mínimo, esto significa una sensibilidad mayor hacia identificar moderadores y procesos mediadores y, por lo tanto, a construir los experimentos que la prueba y las particularidades de la medición requieren. No más experimentos de caja negra.

Razones prácticas para no hacer experimentos aleatorios
Los experimentos aleatorios no pueden ser fácilmente utilizados en las aulas
Muchos investigadores educativos estaban a la vanguardia de la locura de la experimentación al final de los sesentas y principios de los setentas. La evaluación de Head Start (Cicirelli & Associates, 1969), Follow Through (Stebbins, St. Pierre, Proper, Anderson & Cerva, 1978), y Title 1 (Wargo, Tallmadge, Michaels, Lipe & Morris 1972) encontraron pocos, si es que algún, efecto positivo.

Estos resultados decepcionantes engendraron una disputa considerable acerca de tales métodos y muchos evaluadores educativos concluyeron que la evaluación cuantitativa había sido probada y falló, de modo que cambiaron a otro método. Otros eruditos respondieron con la necesidad de estudiar administración de escuelas y programas de implementación, creyendo que esas eran las razones por las cuales los resultados habían sido tan decepcionantes. (Berman & McLaughlin, 1977; Elmore & McLaughlin,1983; Cohen & Garet,1975).

Sin embargo, las investigaciones educativas más criticadas durante este periodo no implicaron asignación aleatoria.

En efecto, sé únicamente de tres experimentos aleatorios en temas educativos de relevancia política que tuvieron ocasión entonces: los estudios de Plaza Sésamo (Bogatz & Ball,1971), el Perry Preschool Project (Schweinhart, Barnes & Weikart,1993) y el de doce jóvenes aleatoriamente asignados a una escuela desagregada (Zdep 1971). Ya que sólo el estudio de Zdep se llevó a cabo en escuelas, no es exacto señalar que los experimentos con asignación aleatoria han sido implementados en la investigación en las escuelas y han fallado. En efecto, para criticar experimentos aleatorios Cronbach et al (1980), debieron re-analizar estudios que no tuvieron nada que ver con escuelas.

A muchos oficiales de distrito no les gustan las concentradas inequidades en recursos escolares que genera la asignación aleatoria. Temiendo reacciones negativas de los padres y del profesorado, prefieren escoger los cambios que harán para escuelas específicas o aquéllos que se harán a nivel de distritos escolares. Directores y otros miembros del profesorado tienen preferencias similares y preocupaciones adicionales sobre interrumpir rutinas en los cursos. Usualmente también se mencionan problemas éticos cuando se trata de tratamientos potencialmente benéficos. Algunos programas están diseñados para ser universales bajo la ley, evitando así el uso de grupos de control sin tratamiento. ¿Son los experimentos tan impopulares e imprácticos que no pueden ser usados para estudiar los efectos de los intentos de mejora escolar? Es manifiestamente falso que los experimentos no pueden ser hechos dentro de las escuelas. No debemos considerar aquí los pequeños y altamente controlados experimentos realizados por científicos cognitivos ya que estos tienden a ser de poca relevancia política. En otros temas hay algunos experimentos pero no muchos.

Si vamos a las áreas de política educativa especificadas en el primer párrafo de la primera parte de este trabajo, no podría encontrar ningún experimento que busque en fijar estándares. La literatura que aborda el tema de la eficacia en las escuelas no revela ningún experimento que varíe sistemáticamente las prácticas de la escuela a través de lo que suelen sugerir estudios correlacionales. Los estudios recientes basados en la administración de las escuelas revelan solamente dos experimentos seleccionados al azar, ambos en el Programa de desarrollo de la escuela Comer (Cook, Habib, Phillips, Settersten, Shagle y Degirmencioglu, 1999; Cook, Hunt y Murphy, 2000), pero no en otras clases de reforma entera de la escuela. No parece haber experimentos en escuelas católicas o de aprendizaje acelerado o en escuelas con programas de administración de calidad total. En entrenamiento de profesores no sé de ningún experimento relevante, aunque para secundarias y preparatorias existen experimentos en la prevención del abandono. La conclusión obvia aquí es que el conocimiento actual de la efectividad de la educación depende mucho de métodos menos estimados y sistemáticos que la asignación aleatoria.

Es particularmente sorprendente que sólo dos de las políticas experimentales mencionadas arriba fueran conducidas por investigadores entrenados en escuelas de educación o afiliadas. El experimento más conocido del tamaño de clase fue hecho por educadores, pero popularizado por estadísticos y re-analizado por economis-tas. El de Milwaukee fue hecho por científicos políticos y re-analizado como experimento aleatorio por in-vestigadores de ciencias políticas y economistas. Los estudios Comer fueron conducidos por sociólogos. La investigación en academias con preparatorias fue hecho por un investigador entrenado en la educación trabajando en la corporación de Manpower. En aquellas escuelas con evaluación educativa que hacen experimentos es raro encontrar individuos que se hagan llamar especialistas en investigación educativa y que operen desde escuelas de educación.

Para ilustrar más ampliamente la poca cantidad de experimentos en evaluación educativa Nave, Meich and Mostellar (1999) reportan que ni siquiera el 1% de las disertaciones en educación o de los estudios consignados en ERIC usaron la asignación aleatoria. Una lectura casual de las mayores publicaciones en mejora educativa (American Educational Research Journal and Educational Evaluation and Policy Analysis) cuentan una historia parecida.

Así, mientras los experimentos pueden ser llevados a cabo para estudiar muchos temas pedagógicos, la realidad es que son relativamente raros.

Aún así la asignación aleatoria es muy común en las escuelas cuando el tema no es pedagógico. Por ejemplo, son diseñados estudios de prevención para mejorar la salud de los estudiantes, para prevenir la violencia escolar o para reducir el uso de tabaco, alcohol y drogas entre los adoles-centes (Cook, Anson & Wachli,1993; Peters & McMahon,1996; Durlak & Wells,1997a, b y 1998). Dos revisiones de Durlak a estudios de prevención anteriores a 1991 incluyendo cerca de 190 experimentos aleatorios y otros 210 estudios. El número de experimentos ciertamente se ha incrementado desde entonces. Dado el rápido crecimiento de estudios de prevención los experimentos con base escolar son comunes cuando el tema concierne a la prevención de comportamientos negativos. Los experimentos también son comunes en educación pre-escolar. Esto provoca que nos preguntemos varias cosas: ¿por qué los experimentos basados en la escuela en temas con relevancia política educativa son tan raros? ¿por qué la mayoría de los experimentos en reformas educativas han sido hechos por investigadores de contacto o por académicos que no son parte de las escuelas de pedagogía cuando hay una profesión de evaluador educativo que con frecuencia ofrecen? ¿por qué existe esta diferencia disciplinaria a la hora de conducir experimentos?.

Una posible respuesta a lo anterior está dada por las particularidades de esta clase de investigación experimental en las escuelas. Los experimentos de prevención tienden a durar menos de un año, no involucran mayores cambios en las rutinas de las escuelas, no amenazan el rendimiento y su implementación es usualmente hecha por investigadores más que por maestros. En contraste, las intervenciones pedagógicas son más proclives a durar muchos años, a los maestros usualmente se les pide que usen tratamientos que requieren cambiar sus rutinas establecidas y si las aptitudes de los estudiantes no mejoran como resultado de la intervención, esto compromete el alcance de las metas educativas que son su responsabilidad. Así, la discusión implica revisar argumentos de dos tipos distintos.
En primer término está el reporte personal de Durlak en el cual se aprecia que varios de los 190 experimentos de prevención revisados por él implicaron intervenciones de muchos años, cambios en la totalidad de la escuela y de los maestros como parte del tratamiento. Aunque ninguno habla de competencias exclusivamente en áreas académicas, no está claro cuántos estudios combinan las características de cambio en las políticas educativas con tratamientos de prevención. Aún más, algunas reformas pedagógicas no requieren esfuerzos de muchos años ni alterar la rutina en la totalidad de la escuela. Aún bajo estas circunstancias de investigación, la baja tasa de experimentos pedagógicos sugiere que aún son raros.

La segunda explicación para la diferencia en la frecuencia de experimentos invoca una voluntad política y cultura disciplinarias. Los reportes de la oficina de Investigación educativa y mejora (Office of Educational Research and Improvement. OERI) deben identificar prácticas escolares efectivas. Pero ni los trabajos de Vinovskis (1998) ni mi propia lectura de los reportes de la OERI sugieren ningún privilegio acordado para la asignación aleatoria. Aún más, un reporte reciente que leí en educación bilingüe repetía viejos dichos sobre la imposibilidad de aleatoreizar y afirmaba que otras alternativas eran igualmente buenas, en este caso algunos cuasi-experimentos pobremente diseñados. Y en una reunión de una fundación de Enseñanza y Aprendizaje el representante de un gobernador reformista habló sobre una lista de las mejores prácticas diseminadas en todas las escuelas de su Estado. A él no le importaba y me parece que a ningún gobernador le importaría conocer acerca de la calidad técnica de las investigaciones realizadas. Su mayor preocupación era que hubiese consenso entre los investigadores de la educación acerca de cada práctica. Cuando se le preguntó cuántas de las prácticas recomendadas procedían de haber probado su efectividad a través de la realización de experimentos aleatorios, él adivinó que ninguna.

La ignorancia acerca de la asignación aleatoria no es la principal causa probable de la baja frecuencia de experimentos pedagógicos, aunque los directores usualmente prefieran otras alternativas. Fuera de los contextos de investigación, cuando en las escuelas son anunciados programas nuevos, la demanda de lugares a veces excede la oferta. En esta situación los directores a menudo usan la asignación aleatoria para determinar quién obtiene un lugar, temiendo la reacción del profesorado o de los padres si pusieran lugares por mérito, necesidad, lugar en la fila o recomendación de los maestros. Como otros políticos, los directores entienden los beneficios de la asignación aleatoria cuando los recursos son limitados, aunque rara vez examinan los efectos de lo que asignan en este modo. Pocos directores de escuela o responsables distritales o regionales son ignorantes acerca de la importancia de la aleación aleatoria; sin embargo son menos aún quienes la valoran.

¿Qué se necesita para hacer de los experimentos aleatorios algo más común en la escuela?
No hay camino simple, en Cook et al (1999) la asignación aleatoria fue patrocinada por la escuela de distrito y todas las secundarias tuvieron que participar. Los directores no tuvieron más alternativa que participar. El distritito tomó esta decisión aconsejado por una red de eruditos —ninguno formado en el área de la educación— creada por filantropía, insistió en una asignación aleatoria al nivel de producción para fundar el programa y su evaluación. En Cook, Hunt y Murhphy (2000) el principal investigador insistió en usar asignación aleatoria como condición para colaborar con los implementadores del programa y firmó por adelantado aceptar los resultados. Ningún director tuvo dificultad para apreciar el método y la mayoría vivieron con las consecuencias por más de seis años.

Y ¿cómo podemos esperar que un desarrollador de programas en educación sepa acerca de implementar la asignación aleatoria si, como en este caso, nunca ha hecho tal estudio con tal distribución? La asignación aleatoria debería estar en manos independientes y llevada a cabo por equipo con historia reciente de aleatorización en campos complejos.

¿Qué condiciones son mejores para conducir la asignación aleatoria?
Cuando los principios generales en Shadish, Cook & Campbell (2002) se aplican a las escuelas, sugieren que tal asignación es más realizable cuando: los tratamientos son cortos, requieren poco o ningún entrenamiento por parte de los maestros, los patrones de coordinación entre el profesorado no se modifica, la demanda de un cambio educativo vence a lo que se tiene, diferentes tratamientos con metas similares son comparados en oposición a una situación tratamiento/no tratamiento; las unidades que reciben diferentes tratamientos no se pueden comunicar entre sí y cuando los estudiantes son la unidad de asignación aleatoria antes que los salones o escuelas completas.

Así, debe ser más fácil estudiar diferentes currícula al azar, introducir nuevas tecnologías al azar; dar a los estudiantes rebajas en la colegiatura o becas al azar, asignar variantes de tareas al azar, asignar maestros entrenados en diferentes maneras al azar. Aunque estos estudios no serán fáciles, pero no deben ser muy difíciles tampoco, ya que los investigadores tengan la voluntad de hacer asignaciones aleatorias y tengan la experiencia práctica para hacer que funcione en escenarios escolares reales.

Conclusiones

• La asignación aleatoria no puede ser considerada como la “regla de oro” para justificar inferencias causales en la investigación educativa. Crea una equivalencia probabilística entre los grupos a contrastar, y luego sólo una predicción. También, en la práctica los tratamientos no son siempre tan independientes entre sí como lo están en teoría y muchas de las maneras para incrementar la validez interna pueden también reducir la validez externa del estudio.
• Aun así, la asignación aleatoria es EL MEJOR mecanismo para justificar conclusiones causales. Aún después de considerar todas las limitaciones arriba mencionadas provee la causa más lógicamente válida; es casi seguro que ofrece una evidencia más eficiente y los resultados que genera son más creíbles en virtualmente todos los círculos académicos.
• A pesar del amplio reconocimiento de la superioridad de la asignación aleatoria, aún es muy raro que se le utilice en investigación acerca de la efectividad de las estrategias para incrementar el rendimiento estudiantil.
• Aún más sorpresivo es que los eruditos de escuelas de pedagogía que se llaman a sí mismos evaluadores educativos casi nunca hacen experimentos y usualmente están en contra de usarlos. Sus colegas profesionales que están interesados en investigación sustantiva hacen la mayor parte de las indagaciones al respecto, aunque los experimentos constituyan sólo una mínima fracción de todos los estudios que se realizan. Ha habido recientes experimentos con obvia relevancia política, pero estos han sido hechos por investigadores en economía o política pública, a menudo trabajando para firmas de investigación.
• A diferencia de las investigaciones pedagógicas relacionadas con el proceso enseñanza-aprendizaje, la asignación aleatoria no es nada rara en educación pre-escolar o en investigación para prevenir comportamientos o actitudes negativas en las escuelas.
• La cultura intelectual es una explicación posible para esta diferencia. Investigadores abocados al estudio de la prevención tienden a ser entrenados en salud pública y psicología, áreas de estudio en las cuales la asignación aleatoria sí es estimada y donde los fundadores y editores de publicaciones científicas prefieren la técnica. Algo muy similar ocurre en la investigación acerca del nivel pre-escolar. Sin embargo la situación es algo diferente en las escuelas que forman profesionales de la educación.
• La capacidad puede ser otra explicación para la diferencia. La mayoría de los experimentos escolares de prevención son más cortos, los investigadores hacen la implementación antes que los profesores aparezcan y los temas de este campo de investigación probablemente involucran menos a los educadores que temas de estrategias de estudio, contexto escolar o práctica docente.
• Casi todos los evaluadores educativos creen que los experimentos son de poco valor. Creen que la teoría de base es inocente, que los experimentos son difíciles de implementar, que requieren cambios inaceptables, que llevan un tipo de información que es raramente usada para cambiar la política y que la información acerca de la problemática que es proveída por los experimentos, puede mejorar usando métodos mas simples y flexibles.
• Algunas de estas creencias están más justificadas que otras. Las creencias sobre la viabilidad de alternativas para la experimentación como método son pobres, ya que no hay alternativa actual que provea argumentos tan convincentes.
• Los evaluadores educativos no serán persuadidos de hacer experimentos simplemente marcando sus ventajas y describiendo métodos nuevos para implementar la aleatorizacion. La mayoría de los evaluadores educativos comparten algunas de las creencias anti-experimentales citadas arriba. Para empezar a dialogar, los partidarios de la experimentación necesitarán ser explícitos sobre los límites del método. También deberán hacer notar la utilidad de incorporar la práctica experimental a las preocupaciones de los críticos. Sin embargo, las mejores críticas sugieren adiciones útiles a experimentos realizados en las escuelas, como la descripción de la teoría detrás del programa, la calidad de la puesta en práctica del experimento, la implementación del proceso que permita relacionar la medición de los cambios y de la evidencia de que los procesos teóricamente especificados han ocurrido y luego relacionar el grado de intervención de estos procesos con los resultados de los estudiantes.
• Aun así, por las razones citadas arriba, será difícil encontrar a los actuales evaluadores educativos de estilo propio detrás de un letrero promocionando más experimentación. Mientras la futura demanda de experimentos no puede ser predicha, es muy posible que se encuentre con firmas de agencias de investigación privadas, facultades de ciencias políticas de muchas universidades e investigadores provenientes de escuelas de pedagogía y educación.