¿QUÉ TAN GENERALIZABLE ES QUE A TODOS LOS CONTENIDOS DIGITALES DE APLICACIÓN EDUCATIVA POTENCIAL SE LES APLIQUE DETERMINADO PROTOCOLO DE EVALUACIÓN DE SOFTWARE?

I. CONTENIDOS DIGITALES
Si son usados de manera efectiva, los contenidos digitales ofrecen la oportunidad de alcanzar los objetivos educativos y producir ambientes dinámicos, centrados en el aprendizaje que apoyan el desarrollo de las habilidades de los estudiantes.
Los contenidos digitales son importantes para el aprendizaje en línea, ya que éstos son: relevantes, actuales, auténticos, manipulables, de acceso instantáneo, creativos. Pueden ser gratuitos para usarlos como herramientas o con propósitos bien específicos.
Los contenidos educativos son materiales multimedia digitalizados que invitan al alumno a explorar y manipular la información en forma creativa, atractiva y colaborativa[1]. En la interactividad que se genera entre ellos y el estudiante permiten mantener el interés hacia la temática del contenido, así como propiciar situaciones didácticas que promuevan aprendizajes significativos.
No se trata de amplios contenidos enciclopédicos, sino de pequeñas cápsulas de información que faciliten el razonamiento analítico, profundo, que inspiren la creatividad, estimulen la curiosidad y desarrollen la habilidad de aprender a aprender.
Los contenidos digitales exigen características que los diferencian de un libro electrónico o de un documento y es por ello que deben ser planeados y adecuadamente producidos, a partir de la elección correcta del tema y contenidos temáticos, así como de la identificación de la función que se pretende cumplir de acuerdo con la audiencia a la cual se dirigen.
Se trata de apoyos que enriquezcan la actividad docente, los cuales sean enriquecedores, oportunos y pertinentes a la diversidad de las áreas de conocimiento y modalidades que el IPN ofrece a su comunidad.

Las características de los contenidos digitales son:
o Prácticos. En el sentido de proveer de información práctica y realista.
o Contextualizados. Deberán estar acorde al contexto socio-económico, cultural y lingüístico de los usuarios.
o Estar bien escritos. Su escritura deberá ser concisa, sin ambigüedades, redundancias ni imprecisiones.
o Ejemplificativos. Es decir, deberán tener ejemplos, casos de estudio y escenarios auténticos y relevantes.

Los contenidos digitales presentan una clasificación variada dependiendo de cada autor. Entre las clasificaciones que existen se pueden mencionar:

· Tipo de contenido (entretenimiento, científico, informativo, etc.)
· Tipo de público al que van dirigidos (usuarios).
· Explícitamente instruccionales.
· De utilidad educativa.
· De uso estratégico (niños, adultos, con deficiencias visuales,con deficiencias auditivas, etc.)

II. PROTOCOLO DE EVALUACIÓN DE SOFTWARE
Un protocolo, es una descripción estándar que incluye las reglas a seguir para el funcionamiento de una aplicación.

El protocolo de evaluación, es una herramienta diseñada para facilitar la labor de los evaluadores en la valoración de determinada aplicación, conforme a criterios establecidos en un modelo o procedimiento.

La evaluación de software educativo se ha centrado tradicionalmente en dos momentos del desarrollo y uso de este tipo de materiales:
o Durante el proceso de diseño y desarrollo, con el fin de corregir y perfeccionar el programa.
o Durante su utilización real por los usuarios, para juzgar su eficiencia y los resultados que con él se obtienen.

El primer tipo de evaluación es el más frecuente: los diseñadores de software mantienen como mecanismo necesario la evaluación del proceso de diseño y producción. No es aun frecuente la participación de un evaluador educativo o pedagógico en estos procesos.

Por otra parte, la evaluación del uso real que se da a un software educativo es mucho menos frecuente, pues las casas comerciales, una vez elaborado y vendido el producto no parecen interesadas en una evaluación formal, que eventualmente exigiría rehacer el programa (costos) o desecharlo (muchos más costos).

Una tercera modalidad de evaluación, combinación de las dos mencionadas, en la que Galvis (1994) insiste, es la prueba de campo, antes de editar la versión definitiva. Se trata de pruebas en situación real o muy similar, con el fin de incorporar cuando todavía hay tiempo, las mejoras que una experiencia de uso real haga aconsejables.

Introducir las Tecnologías de la Información y la Comunicación (TICs), hace que se pueda disponer de recursos que coadyuven en la transformación de aspectos importantes de la educación.

Un protocolo de evaluación de software es el del área de Evaluación del Proyecto Conexiones, el cual se describe a continuación:

FINES DE LA EVALUACION
Se establece como propósito de la evaluación de software educativo: orientar un uso pedagógicamente adecuado. La finalidad, es ayudar al usuario, sobre todo al docente, en el uso del programa, haciendo énfasis en los aspectos pedagógicos, metodológicos, ideológicos y culturales que, de todas formas, contiene.

CRITERIOS
Los criterios, condicionados por la finalidad de la evaluación, no constituyen una base de juicio valorativo, ya que no se pretende calificar el software; tampoco pretenden ser un patrón para prescribir usos deseables, independientemente de un docente concreto y un grupo concreto de alumnos. Los criterios ofrecen más bien orientaciones para una descripción del uso posible y pedagógicamente viable. Seguimos en esto el enfoque de François Richaudeau (Richaudeau 1981): más que una evaluación formal, los evaluadores realizan un ejercicio de reflexión, centrado en el uso pedagógicamente viable del programa. Por ejemplo, "la lista de preguntas (del cuestionario) no está acompañada ni seguida de ningún desglose, de ninguna ponderación de ninguna totalización, que permitan concluir con la precisión de las cifras, como es frecuente en el uso de cuadros analíticos, tablas, pruebas...el cuestionario está destinado más bien a suscitar reflexiones de los evaluadores, que a facilitarles la respuesta demasiado simple: esta bien o está mal".

Se configura así una concepción de la evaluación como: "una posibilidad de reflexionar sobre lo educativo y de generar conocimiento sistemático y válido sobre lo educativo". (Torres e Isaza 1995). Los criterios dirán entonces cuándo se puede afirmar la presencia de un elemento de aprendizaje o de una imagen cultural, y de los sentidos o posibilidades pedagógicas que estos elementos ofrecen. Se explica y se describe, más que valorar. Por ejemplo, se valora como altamente positiva y deseable la posibilidad que ofrece un programa para desarrollar la capacidad de construir conceptos, porque existe, en el planteamiento pedagógico que seguimos, un criterio que considera esa posibilidad pedagógica como deseable. Lo que aparece, no obstante, es sólo una descripción orientada al uso; pero detrás, está el juicio valorativo de haber considerado importante o simplemente bueno el uso del software en esa dirección.

QUÉ SE EVALUA: EL PROGRAMA COMO OBJETO MATERIAL

Se examinan dos aspectos: el equipo requerido o ficha técnica, y la usabilidad del programa.

A. Equipo requerido. Descripción de los requerimientos de equipo mínimos que exige el programa para funcionar.

B. Usabilidad. Medida en que el sistema es fácil de aprender y fácil de utilizar. Examinando los siguientes aspectos:

1. Facilidad de aprendizaje. Medida en que el usuario novel comprende cómo utilizar inicialmente el sistema y cómo a partir de esta utilización llegar a un máximo nivel de conocimiento y uso del sistema

Indicadores

Predictivo: Los conocimientos adquiridos por el usuario son suficientes para poder determinar los resultados de sus futuras interacciones.

Sintetizable: Habilidad del usuario para evaluar los efectos de las operaciones anteriores al estado actual (capacidad de captar los cambios de estado que produce cada operación).

Familiar: Correlación entre el conocimiento que tiene el usuario y el conocimiento que necesita para una interacción efectiva.

Consistente: Medida en que todos los mecanismos son usados siempre de la misma manera.

2. Flexibilidad. Multiplicidad de formas en las que el usuario y el sistema intercambian información.

Indicadores

Iniciativa de diálogo: Quien tiene la iniciativa en la conducción del diálogo; hay o no libertad para iniciar cualquier acción en el sistema.

Diálogo multi-hilo: Un hilo de un diálogo es un subconjunto coherente del mismo. Si el sistema soporta diálogos Mult.-hilo al mismo tiempo.

Migración de tareas: Transferencia del control, del sistema al usuario y viceversa, para la ejecución de tareas: medida en que se puede pasar de una tarea a otra, pasar una a segundo plano o repartirse entre ambas.

Adaptabilidad: Si el sistema puede adaptarse a distintos usuarios.

3. Solidez. Características de la interacción que permiten lograr los objetivos, y su asesoramiento.

Indicadores

Recuperabilidad: Posibilidad del usuario para corregir una acción una vez ha reconocido un error.

Tiempos de respuesta: Tiempo que necesita el sistema para expresar los cambios al usuario.

Adecuación a las tareas: En qué grado los servicios del sistema soportan todas las tareas que el usuario quiere hacer y la manera en que el usuario las comprende.

4. Mecanismos de soporte. Recursos de ayuda y forma en que el usuario puede utilizarlos.

Indicadores

Disponibilidad: Posibilidad de consultar la ayuda en cualquier momento, sin tener que salir de la aplicación.

Precisión y detalle: Medida en que la ayuda cubre todo el sistema, con concisión.

Consistencia: En términos de contenidos, terminología y estilo.

Robustez: Que soporte más que el sistema, en términos de funcionamiento.

Flexibilidad: En que medida permite interactuar de manera adecuada a las necesidades del usuario.

No obstructiva: Que no impida el uso normal de la aplicación.

Organización del texto de ayuda: Lenguaje, longitud de frase y párrafo; cantidad de texto; espacios en blanco; gráficos e iconos.

EL PROGRAMA COMO OBJETO PEDAGOGICO

A. Contenido

1. Contenido Científico: Se trata de evaluar la calidad y cantidad de la información ofrecida:

Indicadores

Exactitud, actualidad: Fechas de edición; referencias o fuentes citadas; términos técnicos; datos estadísticos. Visión de Ciencia; visión de tecnología.

Adecuación: Valor absoluto: significatividad de los contenidos en sí mismos; valor relativo: adecuación en nivel de tratamiento a la situación pedagógica dada.

2. Contenido socio-cultural e ideológico: Qué representación de la sociedad encierra el programa; cómo representa otras sociedades.

Indicadores

Visión sociocultural: A qué grupos sociales (o culturales) se refieren los ejemplos, los personajes, los problemas planteados. Qué muestran las ilustraciones: representación racial, género, referencias geográficas, etc.

Personajes: Reales, imaginarios; sexo; edad; raza; nacionalidad; condición o estado, patronos, obreros, campesinos, militares...

Marcos espacio-temporales: Contexto geográfico (urbano, rural, mar, montaña); medio de referencia (flora, fauna, estaciones); épocas de referencia; medio tecnológico y objetos de la vida cotidiana.

Contexto social: Representación del trabajo; categorías socioprofesionales representadas; familia (composición); habitación (casa, cabaña, finca, conjunto urbano...).

Situaciones y temas: Vida cotidiana (en la casa en la escuela, en el trabajo); situaciones excepcionales (crisis; héroes).
Ideología implícita: Justicia y autenticidad (presentación de los hechos sin distorsión y en perspectiva).

Valores: Cntribución a la paz, a la tolerancia, a la formación de actitudes culturales y ecológicas.

3. Contenido pedagógico: Se trata de determinar la adecuación pedagógica de los objetivos y contenidos, frente a los usuarios, su nivel y el programa que están desarrollando.

Indicadores

Intenciones formativas: Lo que pretende el programa, los objetivos de aprendizaje que persigue, explícita o implícitamente.

Conocimientos previos: Si los usuarios dominan los conocimientos previos, en caso que el programa los requiera.

Niveles de aprendizaje: Qué niveles de aprendizaje (hechos, conceptos, principios, habilidades valores) pretende desarrollar el programa.

Organización: La progresión del aprendizaje responde a qué tipo de secuencia pedagógica: rígida, espiral o controla por el usuario. En este caso, ¿son necesarias instrucciones o de progreso o es preferible que el usuario encuentre sus propias secuencias?

Adecuación curricular: Los objetivos y contenidos del programa se pueden integrar con facilidad al curriculum vigente.

Organizadores y autoevaluación: Contiene síntesis (resúmenes), ejercicios (con o sin respuesta), complementos informativos. Contiene evaluaciones, autoevaluaciones-respuestas razonadas, refuerzo, sistema de seguimiento de logros, evaluación sumativa.

B. Comunicación. Se trata de evaluar la forma del mensaje (significante), es decir el conjunto de recursos que permiten transmitir un mensaje de un emisor a un receptor.

1. Sentido de la comunicación: dirección y control de la interacción programa-usuario Unidireccional, bidireccional, control del usuario sobre la secuencia, multitareas, multivías...

2. Formas del mensaje.: Los aspectos formales de los códigos elegidos (texto, audio, fotos, animación, gráficos, colores) se justifican en sí y frente a la función que se espera de ellos.

Indicadores
Estética: Las formas elegidas son visualmente agradables, manteniendo su sentido comunicativo (no están ahí sólo llenando bellamente espacio).

Integración: Están integrados entre sí los lenguajes verbales y figurativos.

Innovación: en qué medida son innovadoras las formas de presentación.

Adecuación: Los códigos verbales y figurativos son descifrables por los usuarios, facilitan la comprensión.

Densidad: La densidad de la información ofrecida (en cada pantalla) es excesiva, adecuada, escasa.

C. Método. Qué metodología, implícita o explícita, contiene el software para la exposición de las ideas, la organización del trabajo, las formas de uso que determina.

1. Organización: Estructura del manual, forma de exposición y organización de las secuencias.

Indicadores

Secuencias: Se componen de una serie de partes que están presentes regularmente.

Estructura: El programa es un elemento de enseñanza, de aprendizaje o de enseñanza-aprendizaje.

Guías o manuales: El programa viene acompañado de un manual para el maestro, el alumno, el usuario en general.

Elementos de organización interna: El programa incluye instrucciones de empleo, índices, objetivos, léxico, preguntas/ejercicios/, respuestas razonadas, recapitulaciones, evaluaciones.

Facilitadores: Modo de empleo, índice de materias, lista de objetivos, léxico, referencias, fuentes, plan de capítulos, resúmenes, preguntas, ejercicios, tareas, correcciones control de logro, llamadas.

Papel del maestro: Se limita a dar instrucciones de uso; es necesario para complementar, aclarar o integrar la información; es hacer un seguimiento del uso y de los logros del estudiante.

Exigencias de aprendizaje: El programa exige principalmente (con mayor frecuencia, como acciones centrales) al estudiante acciones y habilidades para: memorizar información, construir conceptos, seguir instrucciones, construir secuencias aprendizaje propias, hacer preguntas, construir respuestas originales, relacionar lo aprendido con otros conocimientos, colaborar con compañeros.

Distribución de tiempos: Un estudiante típico, en una sesión de trabajo normal con el programa, distribuye su tiempo en (% aprox.): aprender a navegar y buscar información desplazándose por el programa, leer texto, escuchar narración; plantear preguntas al programa; responder preguntas, realizar tareas o ejercicios.

2. Adaptabilidad: En qué medida el software impone obligaciones para su uso: materiales; metodológicas (maestro); pedagógicas (alumno); o es metodológicamente abierto.

Indicadores
Materiales: Medida en que el software exige el uso de materiales y equipos determinados; implicaciones para la organización del ambiente de aprendizaje

Limitaciones metodológicas: El programa impone un método al docente, o éste tiene opción de escoger objetivos, ritmos de trabajo, secuencias.

Limitaciones para el alumno: El programa ofrece diferentes maneras de entrada; ofrece ejercicios diferentes y graduados según el nivel de los alumnos; posibilidades diferentes de utilización, de acuerdo con las necesidades e intenciones del usuario.

EL PROGRAMA EN SU USO CONCRETO
Más que un seguimiento o evaluación formal del uso que las instituciones hacen del software, se recogen narraciones, de estudiantes y de profesores, que dan cuenta del proceso completo en el que fue incorporado el software y se transforman en casos, añadiéndose a la Guía de uso un conjunto de ejemplos que permitan destacar las fortalezas del software y también indiquen alternativas creativas, que otros profesores puedan aprovechar.

CÓMO SE EVALUA
Los instrumentos son más invitación a la reflexión sobre el uso que los docentes pueden hacer del software, enmarcado en los ambientes de aprendizaje que el proyecto CONEXIONES promueve en instituciones concretas.

Se utilizan tres tipos de instrumentos:

· El primero sigue el estilo de los "inventarios": un listado de enunciados, ordenados por aspectos relevantes, que permiten al evaluador registrar la presencia de los indicadores. El evaluador, además, puede hacer ordenadamente anotaciones que permitan traducir los resultados del cuestionario en la Guía de uso.
· El segundo es un instructivo para elaborar las guías.
· El tercer instrumento consiste en un conjunto de breves directrices que ayudan a los usuarios, profesores y alumnos, a describir cualitativamente el proceso pedagógico en que fue utilizado el software y el uso que en ese contexto le dieron. Como complemento, los evaluadores cuentan con un resumen de indicaciones para realizar un análisis de protocolos verbales.

CONCLUSIÓN
El protocolo de evaluación de software descrito anteriormente, no considero que pueda ser generalizable para la evaluación de contenidos digitales.

Considero que los protocolos de evaluación a un software, no pueden ser universales, pero si pueden existir protocolos que se apliquen para evaluar a más de un software, siempre y cuando sean del mismo tipo de clasificación y fin de la aplicación educativa.

REFERENCIAS

http://discovery.chillan.plaza.cl/~uape/actividades/etapa2/software/doc/evalse.htm
http://www.aneca.es/modal_eval/docs/docentia_orientaciones_070302.pdf
http://www.te.ipn.mx/webTE3/dte/DocumentosBase/pro10.doc