Marco conceptual

Compartir enShare on FacebookShare on Google+Tweet about this on Twitter

PROPUESTA CONCEPTUAL

Desde inicios de la década pasada ha existido debate y múltiples propuestas sobre modelos para entender y monitorear el progreso de los países y sus instituciones en materia de gobierno digital. Pese a los esfuerzos, muchos de estos modelos ofrecen información limitada para una toma de decisiones que impulse el desarrollo del gobierno digital, o bien, sus diseños hacen imposible que se lleven a cabo autoevaluaciones o comparaciones entre instancias que fomenten la cooperación horizontal. En este contexto en el año 2006, el INCAE Business School desarrolló una metodología alternativa con el fin de hacer un balance entre características fundamentales de un modelo de evaluación: relevancia, replicabilidad y confiabilidad (Barahona, Zuleta and Calderón 2006).

El marco conceptual fue desarrollado después una extensa revisión de literatura sobre metodologías e instrumentos de evaluación. Como resultado de este trabajo, se reinterpretó la dinámica de los intercambios entre gobiernos y ciudadanos, donde se identificó que la información es el elemento central en los procesos de interacción entre estos dos grupos. De esta manera, el marco conceptual propone utilizar el flujo de información como un proxy para medir la capacidad de gobierno digital a nivel institucional, evaluada por medio de los distintos aspectos que encierra la experiencia que tiene una persona cuando utiliza a un sitio web gubernamental.

Esta experiencia se evalúa por medio de tres calidades. La primera corresponde a la interacción en sí misma, qué tan compleja es, qué tan personalizada es. La segunda se refiere a la evaluación de los contenidos según su relevancia y solidez. Y la tercera corresponde a la calidad del medio diseñado para prestar la información y servicios de manera digital.

El marco conceptual propuesto permite ordenar el sinnúmero de indicadores que podrían proponerse para evaluar la calidad de un sitio en las tres grandes calidades citadas. Como Porter lo sugiere, un marco conceptual debe verse como un instrumento que facilita pensar bien en todas las dimensiones de un problema para luego poder realizar decisiones estratégicas (Porter, 1991).

Si bien la metodología de evaluación busca medir los sitios web desde la experiencia del usuario, el principal objetivo de la misma es la retroalimentación a nivel institucional, como medio para continuar incentivando la eficiente prestación de servicios públicos por medios digitales. De manera que las mediciones realizadas puedan servir para establecer lineamientos que permitan medir los avances institucionales en materia de gobierno digital. La evaluación no busca explicar las razones de éxito o fracaso, sino medir desde la perspectiva del ciudadano la calidad de la experiencia al interactuar por medios digitales con una entidad pública.

EVOLUCIÓN DE LA METODOLOGÍA

Una vez desarrollada, la metodología inicial fue probada y ajustada en el periodo 2006-2009. Durante las primeras pruebas, la atención se enfocó en la factibilidad de capturar los datos, escalar el modelo y promover su adopción. Después, el modelo fue revisado y ajustado por segunda vez, en esta ocasión con la colaboración de un panel de expertos en el año 2010. En este proceso, la atención estuvo enfocada en las dinámicas de interacción entre entidades públicas y ciudadanía.

Luego de ejecutar el mismo modelo durante el periodo 2010-2012 y con cinco veces más instituciones evaluadas que al inicio, se procedió en 2013 a revisar las fortalezas y debilidades de los datos, así como los contenidos evaluados por la metodología en una tercera revisión. Durante los primeros meses del año se realizó un proceso de actualización que incluyó el análisis crítico y estadístico de los resultados de los últimos tres años, la presentación y validación de la metodología ante la comunidad académica internacional, la revisión de literatura sobre tendencias en la prestación de servicios por medios digitales y un proceso consultivo a un panel expertos. De este ejercicio de revisión se obtuvo una nueva versión del instrumento que se fundamentó en tres ejes fundamentales: mobile first, social media y servicios al cliente. Esta versión se aplicó en el periodo 2013-2015.

Posteriormente en el 2016, se procedió a revisar por cuarta ocasión la metodología con el propósito de valorar los indicadores asignados a cada constructo del instrumento. La consigna fue evaluar la experiencia que vive una persona cuando interactúa con una entidad pública por medios digitales. Esta última versión mantuvo las 3 grandes categorías: calidad de interacción, calidad de la información y calidad del medio, pero ajustó e incorporó constructos e indicadores.

Estos constructos o criterios nuevos contemplaron temas como la apariencia, que incorpora indicadores que evalúan si el sitio web es estéticamente atractivo, tipo y tamaño de letra, colores, imágenes, gráficos significativos, etc. El tema mobile, con indicadores que evalúan si el sitio web es responsive, mobile friendly y si carga rápidamente desde dispositivos móviles. El tema de desempeño, con indicadores que evalúan el tiempo de carga, peso de páginas, velocidad de páginas, entre otros. Y el tema de buscabilidad, con indicadores que evalúan el meta title & meta descripción, uso adecuado de keywords, h1 & h2 headings, Google Analytics Test, entre otros.

Además, otros criterios existentes incorporaron rubros de evaluación nuevos. Por ejemplo, la navegabilidad incorporó los indicadores de deep links y bread crums. La transacción compleja incorporó los indicadores de apps para transacciones complejas y consultas a bases de datos. La amplitud y profundidad incorporó completitud de contenido en relación a otros sitios y disponibilidad de datasets. La aplicabilidad incorporó la facilidad de agregar y combinar información mediante la disponibilidad de datos abiertos, entre otros.

Finalmente, en el 2017 se utilizó el mismo instrumento de evaluación del año anterior, sólo se ajustó el criterio existente de seguridad con el propósito de incorporar métodos de evaluación que incentiven a las entidades públicas a protegerse más de los crecientes ataques cibernéticos. Los indicadores para evaluar la seguridad se basaron en el uso de herramientas electrónicas que realizan escaneos para evaluar si el sitio web usa un certificado digital https://, si cumple con tests de comunicación cifrada, si cumple con tests de escaneo de malware, blacklisting, errores de website y software desactualizado y si cumple con otros tests de pruebas básicas de seguridad. La estructura del Índice se muestra en la figura a continuación.

CONDICIONES DE LA METODOLOGÍA

  • La medición no requiere de permisos por parte de ninguna entidad
  • Los resultados no necesitan verificarse a lo interno de la institución
  • No se requiere apoyo de ninguna persona interna de las instituciones evaluadas
  • La evaluación es desarrollada de manera independiente por una institución académica internacional utilizando un instrumento propio