Marco conceptual

Compartir enShare on FacebookShare on Google+Tweet about this on Twitter

Desde inicios de la década pasada ha existido un debate a nivel mundial sobre los modelos para entender y monitorear el progreso de los países en gobierno digital. Sin embargo, pese a los esfuerzos, algunos modelos proveen información limitada para la toma de decisiones, o bien, sus diseños hacen imposible que se lleven a cabo autoevaluaciones o comparaciones entre las instancias gubernamentales. En 2006, INCAE Business School desarrolló una metodología alternativa con el fin de hacer un balance entre relevancia, replicabilidad y confiabilidad (Barahona, Zuleta and Calderón 2006).

Relevancia:

  • Enfoque claro en la interacción entre ciudadanos e instituciones.
  • Facilita la colaboración y transferencia de conocimiento entre las entidades evaluadas.
  • Permite escalar el proceso a nivel nacional o supranacional.
  • Brinda información útil para la creación de políticas públicas y la toma de decisiones en proyectos e implementaciones de gobierno electrónico.
  • Facilita el acceso a avances en materia de gobierno electrónico.

Replicabilidad y Confiabilidad:

  • La recolección de datos y evaluación es simple para que esta pueda ser replicada a cualquier nivel institucional.
  • Provee evidencia a través de una adecuada granularidad y traceabilidad de los datos en las variables observadas y los temas evaluados.
  • Evita depender de la voluntad de las agencias gubernamentales para brindar información.
  • Evita la percepción de opacidad de otras evaluaciones existentes.
  • Enfoque simple basado en “hágalo usted mismo”.

El marco conceptual fue desarrollado después una extensa revisión de la literatura sobre metodologías e instrumentos de evaluación. Como resultado de este trabajo, se reinterpretó la dinámica de los intercambios entre gobiernos y ciudadanos, donde se identificó que la información es el elemento central en los procesos de interacción entre estos dos grupos. El marco propone utilizar la calidad de la información como un proxy para medir la capacidad de gobierno electrónico a nivel institucional, evaluado por medio de la experiencia del usuario en el sitio donde se brinda el servicio.

La experiencia se evalúa desde tres calidades. La primera corresponde a la interacción en sí misma, qué tan compleja es, qué tan personalizada es. La segunda se refiere a la evaluación de los contenidos según su relevancia y solidez. Y la tercera corresponde a la calidad del medio diseñado para prestar la información y servicios de manera digital.

El modelo que se presenta no es el resultado de una investigación empírica, tampoco pretende ser una teoría de comunicaciones. Es un marco conceptual que permite ordenar el sinnúmero de indicadores que podrían proponerse para evaluar la calidad de un sitio en las tres grandes calidades citadas. Como Porter lo sugiere, un marco conceptual debe verse como un instrumento que facilita pensar bien en todas las dimensiones de un problema para luego poder realizar decisiones estratégicas (Porter, 1991).

Si bien la metodología de evaluación busca medir los sitios web desde la experiencia del usuario, el principal objetivo de la misma es la retroalimentación a nivel institucional, como medio para continuar incentivando la eficiente prestación de servicios públicos por medios digitales. De manera que, las mediciones realizadas puedan servir para establecer lineamientos para medir los avances institucionales en materia de gobierno electrónico. La evaluación no busca explicar las razones de éxito o fracaso, sino medir desde la perspectiva del ciudadano la calidad de la experiencia al interactuar por medios digitales con una entidad pública.

Los objetivos de la metodología son:

  1. Medir la experiencia del ciudadano cuando interactúa con un sitio web gubernamental
  2. Incrementar los niveles de atención pública
  3. Mostrar las entidades que se están movilizando hacia el nuevo paradigma
  4. Evidenciar las posibilidades específicas de mejora
  5. Crear posibilidades inmediatas de colaboración

EVOLUCIÓN DE LA METODOLOGÍA

La metodología fue probada y ajustada entre 2006 y 2009 (Metodología 1.0). Durante las primeras pruebas, la atención se enfocó en la factibilidad de capturar los datos; escalar el modelo y promover su adopción. Después de tres años de pruebas, el modelo fue revisado y ajustado por un panel de expertos en 2010 (Metodología 2.0), donde la atención estuvo enfocada en las dinámicas de interacción.

Luego de ejecutar el mismo modelo durante tres años (2010 - 2012), y con cinco veces más instituciones evaluadas, se procedió en 2013 a revisar las fortalezas y debilidades de los datos y la metodología, y durante los primeros meses del año se realizó un proceso de actualización de la misma. Este proceso incluyó el análisis crítico y estadístico de los resultados de los últimos tres años, la presentación y validación de la metodología ante la comunidad académica internacional, revisión de literatura sobre tendencias en la prestación de servicios por medios digitales, así como consulta con expertos. Del ejercicio de revisión 2013 se obtuvo una nueva versión de la metodología denominada “Metodología 3.0”, la cual se fundamentó en tres ejes: mobile first, social media y servicios al cliente. Esta metodología se aplicó en el periodo 2013-2015.

Así, en el 2016 se procedió a evaluar nuevamente la metodología con el propósito de valorar los indicadores asignados a cada constructo. La consigna fue la medición de la experiencia del usuario (Metodología 4.0). Esta última versión mantiene las 3 categorías: calidad de interacción, calidad de la información y calidad del medio, pero ajusta e incorpora criterios e indicadores.

Los criterios nuevos contemplan “apariencia”, que incorpora indicadores como: estéticamente atractivo, tipo y tamaño de letra, colores, imágenes correctas, gráficos significativos y patrón de diseño; “mobile” con indicadores como: responsive design, mobile friendly y velocidad mobile; “desempeño” con indicadores como: tiempo de carga, peso de páginas, velocidad de páginas, Yslow score y number of request; “buscabilidad” con indicadores como: meta title & meta descripción, uso adecuado de keywords, h1 & h2 headings, archivo robots.txt, site map test, google Analytics Test y OpenGraph Protocol.

Además, otros criterios existentes incorporaron indicadores nuevos. Por ejemplo, “seguridad” incorporó Server Signature Test, Directory Browsing Test y Plaintext Emails Test; “navegabilidad” incorporó Deep links y Bread crums; “transacción compleja” incorporó apps para transacciones complejas y consultas a bases de datos; “amplitud y profundidad” incorporó completitud en relación a otros sitios y disponibilidad de datasets; “aplicabilidad” incorporó facilidad de agregar y combinar información disponible; etc. La estructura de la nueva metodología se muestra a continuación.

TÉRMINOS Y CONDICIONES DE LA METODOLOGÍA

  • La medición no requiere de permisos por parte de ninguna entidad.
  • Los resultados no necesitan verificarse a lo interno de la institución.
  • No se requiere apoyo de ninguna persona interna de las instituciones evaluadas.
  • La evaluación es desarrollada de manera independiente por una institución académica internacional utilizando un instrumento propio.