Proceso de evaluación

Compartir enShare on FacebookShare on Google+Tweet about this on Twitter

El proceso de evaluación sigue tres pasos principales:

  1. Se seleccionan los sitios para evaluar:
    Este año se sometieron a evaluación un total de 220 entidades, superando el número de años anteriores, provenientes de poderes de la República y órganos adscritos, ministerios y órganos adscritos, instituciones autónomas y semiautónomas, municipalidades y concejos municipales e entidades y empresas públicas.
  2. Se realiza la evaluación.
    Se utiliza el instrumento de evaluación descrito en la metodología. Cada sitio web es calificado de manera independiente por dos evaluadores. Si hay presencia de discrepancias entre ellos, interviene un tercer evaluador que resuelve. De esta revisión  se recolectan todos los datos para procesamiento.
  3. Se calculan las calificaciones y se documentan los resultados.
    Una vez realizada la evaluación, se definen los pesos y las calificaciones para cada uno de los componentes del instrumento. A partir de ellos, se procede a determinar una calificación final para cada entidad en cada rubro evaluado y se confecciona el ranking nacional con sus diferentes vistas.

PROCESO DE CÁLCULO

El Índice de Experiencia Pública Digital está diseñado para presentar sus resultados en valores que van de 0 a 100, donde los resultados más altos indican que la entidad ofrece una mejor experiencia al interactuar con ella por medios digitales. El índice está compuesto por una estructura jerárquica de cuatro niveles: dimensiones, niveles, criterios e indicadores, siendo los criterios agregados de indicadores, los niveles agregados de criterios y las dimensiones agregados de niveles.

Etapa 1. Indicadores

El nivel más básico del índice está constituido por una diversidad de indicadores que evalúan la experiencia que tiene una persona cuando interactúa con una entidad por medios digitales. Los puntajes para cada indicador en cada entidad se asignan según el método de evaluación descrito en el instrumento. Para aproximadamente tres cuartas partes de los indicadores, dos evaluadores expertos asignan un resultado por medio de la observación, mismo que debe coincidir entre ellos para obtener una única calificación. En caso que sus resultados no coincidan, interviene un tercer evaluador que resuelve la diferencia. Para la cuarta parte restante de indicadores, la calificación es asignada de acuerdo con el resultado que arrojen pruebas técnicas que se aplican a cada sitio web según lo estipulado en el instrumento.

Etapa 2. Criterios

Los criterios se examinan utilizando coeficientes de Alpha de Cronbach para medir la consistencia interna de cada uno de ellos. A partir de estos resultados, se eliminan de la evaluación los indicadores que no muestran consistencia con los otros dentro del criterio, de manera que se pueda asegurar solidez en el proceso de análisis. Posteriormente, la calificación para cada uno de los criterios se calcula utilizando un promedio ponderado de los indicadores contenidos en él. Las ponderaciones para este cálculo (wh) se obtienen mediante el método de Análisis de Componentes Principales. De esta forma, el criterio se calcula con la siguiente fórmula:

Posterior a este cálculo, cada uno de los criterios es reescalado de forma que representen una escala con rango de 0 a 100 de la siguiente manera:

El máximo y mínimo corresponden a los máximos y mínimos en la escala original de cada indicador.

Etapa 3. Niveles

Para el cálculo de los niveles, se asigna un peso igual a cada uno de los criterios contenidos en él. En otras palabras, el cálculo de los niveles se define como el promedio simple de los criterios contenidos en cada uno de ellos:

Etapa 4. Dimensiones

Las dimensiones se calculan con el mismo método, como el promedio simple de los niveles contenidos en ella de la siguiente manera:

Etapa 5. Cálculo del índice general

El índice final, cuyo valor estará en el rango de 0 a 100, se calcula como un promedio simple de las tres dimensiones: calidad de interacción, calidad de la información y calidad del medio. Las cuales, debido al reescalamiento de los indicadores, toman una un valor entre 0 y 100. De esta manera la fórmula de cálculo está dada de la siguiente forma:

EVALUACIÓN 2017

La recolección de datos por parte de las personas evaluadoras para la totalidad de los sitios web evaluados fue realizada durante los meses de diciembre del 2017 y enero del 2018.

Dirección académica: Juan Carlos Barahona
Producción y edición: David Zamora
Diseño y formato del informe: Irene Issa El Khoury
Sitio web: ARWEB.com
Equipo de investigación:

  • Adrianne Pacheco
  • Daniela Ugalde
  • Isabel Arias
  • Seidy Naranjo