miércoles, 20 de julio de 2011

Sirius. Nuevo sistema para la evaluación de la usabilidad web

Última actualización: 30/07/2019

Novedad 2019: ya está disponible la versión en inglés gracias a traducción de Rafa Torres.

Download English version: Sirius Method Heuristics Checklist (excel, 90 KB)

Novedad septiembre 2011

Nueva versión de la excel para la evaluación de la usabilidad web según la metodología Sirius.

Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3

Formato: Excel, 87 KB

Licencia: descarga directa. No require aceptación de contrato Coloriuris.

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni es necesario habitar macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Más información sobre la excel

El objetivo de este artículo es doble:

¿En que consiste el nuevo sistema de evaluación?

Es un sistema de evaluación de la usabilidad web que parte de la evaluación heurística pero que aúna una serie de características que la diferencia de otras propuestas:

  • se aplica a cualquier tipo de sitio web
  • es aplicable durante todo el ciclo de vida del sitio
  • da como resultado un valor porcentual del nivel de usabilidad del sitio evaluado, un dato por tanto cuantitativo, lo cual permite:

    • cuantificar y comparar la mejora de usabilidad de un sitio en el tiempo
    • comparar la usabilidad de diferentes portales de un mismo sector o que por ejemplo compitan por un premio de usabilidad
    • establecer clasificaciones y rankings en base a la usabilidad
    • comparar el nivel de usabilidad obtenido por un sitio en el tiempo con los resultados de las ventas obtenidas por dicho sitio en ese periodo de tiempo. En la tesis se incluye un ejemplo de este tipo, comprobando que efectivamente la mejora de la usabilidad impacta en las ventas y en qué medida.
    • determinar la relación entre usabilidad y accesibilidad (si a mayor nivel de accesibilidad el portal consigue un mejor resultado en su valor de usabilidad)
  • se tiene en cuenta el tipo de sitio evaluado, de manera que la relevancia de los errores está relacionado con el tipo de sitio.
  • permite inferir los elementos a subsanar en el sitio atendiendo a su prioridad, pudiéndose ordenar por este criterio aquellas mejoras que son críticas.
  • permite desarrollar una herramienta de evaluación que dé soporte al sistema de evaluación planteado y facilite la validación empírica de la propuesta de evaluación.

Puesto que su propuesta se basa en la evaluación heurística, en el capítulo 3 repasa todas las propuestas de heurísticas y métricas asociadas más relevantes que existen, la de Shneiderman, Nielsen,  Constantine, Instone, Tognazzini, etc. indicando por cada una de ellas sus limitaciones, que según cada caso pueden ser:

  • que no permitan obtener un valor cuantitativo de la usabilidad del sitio
  • que no proporcionen una relación de items a evaluar asociados a las heurísticas propuestas
  • que no sean aplicables a cualquier tipo de sitio web
  • que no tengan en consideración el tipo de sitio evaluado, en función del cual el impacto del incumplimiento de una heurística debería ser diferente

Características de las propuestas de evaluación heurísticas existentes, donde se aprecia que ninguna cumple con todos los requisitos anteriormente expuestos.

Este repaso constata además que diversos autores han propuesto diferentes conjuntos de heurísticas o principios a través de los cuales realizar la evaluación, lo cuál hace difícil actualmente poder establecer una sistemática en la evaluación.

 

Clasificación de sitios web

Como he indicado, la evaluación tiene en cuenta el tipo de sitio web, pues la relevancia del cumplimiento o no de un criterio será diferente en función del tipo de sitio.

Por ello realiza una clasificación de sitios web con el objetivo de:

  • Adaptar los resultados de la evaluación de un sitio a la categoría del mismo, ponderando los valores obtenidos en función del tipo de sitio considerado.
  • Determinar por cada tipo de sitio las tareas que se consideran críticas y el perfil de usuario más habitual del mismo. De esta manera, se facilita el diseño de las pruebas de evaluación que sería preceptivo realizar con los usuarios del sitio tras la realización de la evaluación heurística propuesta en el trabajo (y una vez subsanados los errores encontrados)

Ante la falta de consenso en las clasificaciones existentes, que repasa en el capítulo 4, elabora una nueva clasificación en base a su funcionalidad (cuya metodología para elaborarla explica en el capítulo 6):

Listado de tipos de sitios web: Administración Pública/Institucional,Banca electrónica,Blog
Comercio electrónico,Comunicación/Noticias,Corporativo/Empresas,Descargas,
Educativo/Formativo,Entornos colaborativos/Wikis,Foros/Chat,Ocio/Entretenimiento,Personal,Portal de Servicios,Servicios interactivos basados en imágenes,Servicios interactivos no basados en imágenes,Webmail/Correo

Por cada uno de estos tipos determina su audiencia y las tareas críticas o relevantes en el mismo (páginas 112-115)

Heurísticos y subheurísticos

Se establece una única relación de elementos a evaluar denominados criterios (subheurísticas), agrupados en aspectos (heurísticas) que será utilizada por todos los expertos implicados en el
proceso de evaluación. Con una única relación de elementos a evaluar se consigue unificar los criterios para llevar a cabo una evaluación heurística de un sitio web.

Los heurísticos definidos y sus criterios evaluables son:

Aspectos generales

Elementos relacionados con los objetivos del sitio, el look & feel, coherencia y nivel de actualización de contenidos.

AG1: Objetivos del sitio web concretos y bien definidos
AG2: Contenidos y servicios ofrecidos precisos y completos
AG3: Estructura general del sitio web orientada al usuario
AG4: Look & feel general se corresponde con los objetivos del sitio web
AG5: Diseño general del sitio web reconocible
AG6: Diseño general del sitio web coherente
AG7: Se utiliza el idioma del usuario
AG8:Se da soporte a otro/s idioma/s
AG9: Traducción del sitio completa y correcta
AG10: Sitio web actualizado periódicamente

Identidad e Información

Elementos relacionados con la identidad del sitio, la información proporcionada sobre el proveedor y la autoría de los contenidos.

II1: Identidad o logotipo significativo, identificable y suficientemente visible
II2: Identidad del sitio en todas las páginas
II3: Eslogan o tagline adecuados al objetivo del sitio
II4: Información sobre sitio web, empresa
II5: Existen mecanismos de contacto
II6: Se ofrece información sobre la protección de datos de carácter personal o los derechos de autor de los contenidos del sitio web
II7: Se ofrece información sobre el autor, fuentes y fechas de creación y revisión del documento en artículos, noticias, informes

Estructura y Navegación

Elementos relacionados con la idoneidad de la arquitectura de la información y la navegación del sitio.

EN1: Se ha evitado pantalla de bienvenida
EN2: Estructura de organización y navegación adecuadas
EN3: Organización de elementos consistente con las convenciones
EN4: Control del número de elementos y de términos por elemento en los menús de navegación
EN5: Equilibrio entre profundidad y anchura en el caso de estructura jerárquica
EN6: Enlaces fácilmente reconocibles como tales
EN7: La caracterización de los enlaces indica su estado (visitados, activos)
EN8: Se ha evitado la redundancia de enlaces
EN9: Se ha evitado la existencia de enlaces rotos
EN10: Se ha evitado que haya enlaces que lleven a la misma página que se está visualizando
EN11: En las imágenes de enlace se indica el contenido al que se va a acceder
EN12: Existe un enlace para volver al inicio en cada página
EN13: Hay elementos de navegación que orienten al usuario acerca de dónde está y cómo deshacer su navegación (migas, pestañas coloreadas)
EN14: Existe mapa del sitio para acceder directamente a los contenidos sin navegar

Rotulado

Elementos relacionados con la significación, corrección y familiaridad del rotulado de los contenidos.

RO1: Rótulos significativos
RO2: Sistema de rotulado controlado y preciso
RO3: Título de las páginas, correcto y planificado
RO4: URL página principal correcta, clara y fácil de recordar
RO5: URL de páginas internas claras
RO6: URL de páginas internas permanentes

Layout de la página

Elementos relacionados con la distribución y el aspecto de los elementos de navegación e información en la interfaz.

LA1: Se aprovechan las zonas de alta jerarquía informativa de la página para contenidos de mayor relevancia
LA2: Se ha evitado la sobrecarga informativa
LA3: Es una interfaz limpia, sin ruido visual
LA4: Existen zonas en blanco entre los objetos informativos de la página para poder descansar la vista
LA5: Uso correcto del espacio visual de la página
LA6: Se utiliza correctamente la jerarquía visual para expresar las relaciones del tipo "parte de" entre los elementos de la página
LA7: Se ha controlado la longitud de página
LA8: La versión impresa de la página es correcta
LA9: El texto de la página se lee sin dificultad
LA10: Se ha evitado el texto parpadeante/deslizante

Entendibilidad y facilidad en la interacción

Elementos relacionados con la adecuación y calidad de los contenidos textuales, iconos y controles de la interfaz.

EF1: Se emplea un lenguaje claro y conciso
EF2: Lenguaje amigable, familiar y cercano
EF3: Cada párrafo expresa una idea
EF4: Uso consistente de los controles de la interfaz
EF5: Metáforas visibles reconocibles y comprensibles (ej. iconos)
EF6: Si se usan menús desplegables, orden coherente o alfabético
EF7: Si el usuario tiene que rellenar un campo, las opciones disponibles se pueden seleccionar en vez de tener que escribirlas

Control y retroalimentación

Elementos relacionados con libertad del usuario en la navegación y la información proporcionada al
mismo en el proceso de interacción con el sitio.

CR1: El usuario tiene todo el control sobre la interfaz
CR2: Se informa al usuario acerca de lo que está pasando
CR3: Se informa al usuario de lo que ha pasado
CR4: Existen sistemas de validación antes de que el usuario envíe información para tratar de evitar errores
CR5: Cuando se produce un error, se informa de forma clara y no alarmista al usuario de lo ocurrido y de cómo solucionar el problema
CR6: Se ha controlado el tiempo de respuesta
CR7: Se ha evitado que las ventanas del sitio anulen o se superpongan
a la del navegador
CR8: Se ha evitado la proliferación de ventanas en la pantalla del usuario
CR9: Se ha evitado la descarga por parte del usuario de plugins adicionales
CR10: Si existen tareas de varios pasos, se indica al usuario en cual está y cuantos faltan para completar la tarea


Elementos multimedia

Elementos relacionados con el grado de adecuación de los contenidos multimedia al sitio web.

EM1: Fotografías bien recortadas
EM2: Fotografías comprensibles
EM3: Fotografías con correcta resolución
EM4: El uso de imágenes o animaciones proporciona algún tipo de valor añadido
EM5: Se ha evitado el uso de animaciones cíclicas
EM6: El uso de sonido proporciona algún tipo de valor añadido


Búsqueda

Elementos relacionados con el buscador implementado en el sitio web.

BU1: Si es necesaria, se encuentra accesible desde todas las páginas del sitio
BU2: Es fácilmente reconocible como tal
BU3: Se encuentra fácilmente accesible
BU4: La caja de texto es lo suficientemente ancha
BU5: Sistema de búsqueda simple y claro
BU6: Permite la búsqueda avanzada
BU7: Muestra los resultados de la búsqueda de forma comprensible para el usuario
BU8: Asiste al usuario en caso de no poder ofrecer resultados para una consultada dada

Ayuda

Elementos relacionados con la ayuda ofrecida al usuario durante la navegación por el sitio.

AY1: El enlace a la sección de Ayuda está colocado en una zona visible y estándar
AY2: Fácil acceso y retorno al/del sistema de ayuda
AY3: Se ofrece ayuda contextual en tareas complejas
AY4: FAQs (si la hay), es correcta tanto la elección como la redacción de las preguntas
AY5: FAQs (si la hay), es correcta la redacción de las respuestas


Métrica de evaluación

A la hora de valorar un criterio se establecen dos tipos de valores de medición (se aplica uno u otro según las características de cada criterio):

  • una escala de 0-10 que indica el grado de conformidad del evaluador con el cumplimiento del criterio. Se propone una escala proporcional a la que será el resultado de la métrica de evaluación del sitio (un valor comprendido entre 0-100) indicando nula o máxima usabilidad.
  • un valor textual, que indica si el criterio se cumple o no y en qué extensión del sitio web se detecta el problema en el caso de que el criterio no se cumpla. Este valor lo asigna el evaluador pero, a efectos de cómputo, se aplica el mismo intervalo de medición (de 0-10):

    • NTS: no se cumple en todo el sitio (valor de 0)
    • NEP: no se cumple en los enlaces principales (valor de 2.5)
    • NPP: no se cumple en la página principal  (valor de 5)
    • NPI: no se cumple en alguna página interior (valor de 7.5)
    • S: se cumple el criterio  (valor de 10)
    • NA: criterio no aplicable en el sitio

En las páginas 134 y siguientes se incluye la relación completa de aspectos, criterios y elementos de evaluación para llevar a cabo la evaluación. Por ejemplo, la tabla para el heurístico “Aspectos generales” sería:

Listado de criterios y asociado a cada uno de ellos uno de los tipos de valoración enunciados anteriormente

Para la obtención de la medida cuantitativa del nivel de usabilidad y la indicación de la urgencia o prioridad en la mejora de los criterios en los que se ha detectado el fallo, se determinan los
valores de severidad de los aspectos y los criterios en función de los diferentes tipos de sitios considerados en el sistema de evaluación.

Este nivel de severidad es un indicador del nivel de importancia que tiene el incumplimiento de un criterio; al contrario que en otras propuestas NO es el evaluador el que asigna éste valor a la heurística revisada; en esta propuesta el evaluador únicamente se ocupa de cuantificar el incumplimiento, no la severidad o relevancia del mismo.

La relevancia de los aspectos (heurísticas), en función del tipo de sitio se pueden consultar en la tabla de la página 123 y se clasifican en muy alta, alta, media y baja.

La relevancia de los criterios (subheurísticos) en función del tipo de sitio se pueden consultar en las tablas de las páginas 125-131. Se clasifican en:

  • crítica (CR): el problema identificado es severo. El usuario no podrá completar la tarea y podría no desear seguir utilizando el sitio Web.
  • mayor (MA): es posible que el usuario complete la tarea pero tendrá mucha dificultad, frustración o incluso tendrá que ejecutar muchos pasos innecesarios. Podrá superarlo después de que se le haya mostrado cómo hacerlo.
  • media (ME): en la mayoría de casos, el usuario podrá completar la tarea, realizando un moderado esfuerzo para evitar el problema. Pueden necesitar investigar algunos enlaces para determinar que opción les permitirá completar la tarea propuesta. En navegaciones posteriores del sitio, los usuarios probablemente recordaran cómo ejecutar la tarea.
  • moderada (MO): el problema ocurre de manera intermitente y puede ser fácilmente superado, aunque es irritante para el usuario. Debido principalmente a problemas estéticos.

 

El valor de relevancia de los aspectos matizará los resultados de la evaluación, de manera que ante dos criterios de igual criticidad, será la relevancia del aspecto al que pertenecen la que determine cuál de ellos será prioritario en su arreglo.

Equivalencia entre los criterios de relevancia y su valor

Equivalencia entre los criterios de relevancia y su valor

Por último, la fórmula para obtener el valor cuantitativo considera los siguientes conceptos:

  • Factor de corrección: valor de ajuste que se aplica a cada uno de los criterios evaluados con el fin de obtener diferentes niveles de usabilidad dependiendo de la relevancia de los mismos en función del tipo de sitio web en evaluación. Los valores resultantes al aplicar este factor de corrección debieran llevar a obtener valores de usabilidad comprendidos siempre entre 0 y 100, por tratarse de un porcentaje.
  • Cálculo del Factor de Corrección: partiendo de los valores correspondientes a los diferentes niveles de relevancia de un criterio, el factor de corrección se calcula dividiendo cada valor de relevancia entre la suma de todos los valores de relevancia de los criterios evaluados.

La fórmula es la siguiente:

 

Fórmula matemática para calcular el valor porcental de usabilidad de un sitio web

 

nce: número de criterios evaluados. Será como máximo 83, que son los propuestos en este sistema de evaluación. Se considera que alguno de los criterios pueda no ser aplicable al sitio en evaluación y, por lo tanto, no se evalúe.
vc: Valor de evaluación de un criterio (entre 0 y 10).
fc: Factor de corrección aplicado al criterio evaluado. El valor del factor de corrección de cada uno de los criterios evaluados se obtiene de la siguiente manera:

Formula matemática para calcular el factor de corrección de cada criterio

rc : Valor de relevancia que corresponde a un criterio


En este gráfico se resume el sistema de evaluación Sirius:

Pautas de evaluación - Valores de evaluación - Valores de ponderación- Métrica de evaluación


Herramienta de soporte al sistema de evaluación

La aplicación web que ha desarrollado Mª del Carmen Suárez Torrente como soporte al proceso de evaluación se llama Prometheus y entre sus características destacan:

  • presenta los criterios a chequear
  • proporciona el porcentaje de usabilidad obtenido por el sitio
  • proporciona la relación de criterios a mejorar ordenados por su prioridad, de manera que el primero de la lista es el que mayor incremento de la usabilidad proporcionará
  • permite visualizar los valores asignados por los evaluadores a cada uno de los criterios evaluados así como las observaciones realizados por los mismos durante el proceso de evaluación.
  • obtener un informe en formato EARL

Tiene gestión de usuarios, gestión de sitios (un dato básico es el tipo de sitio, que puede ser hibrido), consulta de los resultados de evaluaciones previas, etc.

Mientras la aplicación no sea pública, he preparado una excel para facilitar la aplicación de la metodología Sirius en la evaluación de la usabilidad web.


Excel para ayudar a la evaluación de usabilidad según la metodología Sirius

Se puede descargar de forma gratuita en: Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3 (Excel, 87 KB)

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni habitar las macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Versiones anteriores:


Descripción general de la Excel

La excel está compuesta por diferentes pestañas:

  • Datos del sitio: en esta pestaña se rellenan los datos generales de la evaluación y del sitio evaluado. El dato "Tipo del sitio" se selecciona de un desplegable. Son los tipos de sitio definidos por la metolología Sirius, la relevancia de los criterios a evaluar dependerá del tipo de sitio que se indique.
  • Pestaña de la 2-11: hay una pestaña por cada heurístico. En cada una se enuncian los criterios a evaluar. El evaluador debe valorar cada criterio seleccionando las opciones disponibles en la columna "Valor". Estas opciones son las definidas por la metodología y se seleccionan de un desplegable, cuya leyenda puede consultarse en cada pestaña. No debe rellenarse ningún campo más, el resto de valores se calculan automáticamente. Sí se pueden añadir comentarios a cada criterio. Se recomienda poner la referencia a un documento de texto externo donde se expliquen y se documenten.
  • Pestaña "Cálculo de % de usabilidad": una vez valorados los criterios de los 10 heurísticos se puede consultar en esta pestaña la puntuación que ha obtenido el sitio.
  • Las pestañas "Tabla de relevancia" y "Valores" sólo contienen datos para los cálculos del porcentaje de usabilidad.


Las limitaciones, frente a lo que sería la aplicación, serían:

  • no genera el informe EARL
  • no proporciona la relación de criterios a mejorar ordenados por su prioridad
  • está orientado a un único evaluador y por tanto no permite comparar las evaluaciones de varios evaluadores


La autora me ha confirmado que se encuentra desarrollando la nueva versión de la aplicación web.


Artículos relacionados


Últimos artículos


Servicios relacionados

Consultoría de usabilidad web: evaluación heurística.

45 comentarios :
Gonzalo Fernández de Córdoba dijo...

Magnífico post, como siempre, y muy interesante la tesis (en un primer vistazo).

Habrá que leerla bien, ponerla en práctica y compartirla.

Gracias por el post y muchas gracias a María del Carmen por su pedazo de aportación al mundo de la usabilidad Web.

Manuel Vicedo dijo...

Le he echado un vistazo a la tesis, y sinceramente es un documento bastante trabajado que requiere más de una sentada para analizarlo por completo.

El sistema propuesto me parece bastante acertado, aunque tendría que señalar que quizás no contempla el que un sitio web pueda pertenecer a más de un grupo categórico. Hay que tener en cuenta que están surgiendo muchas páginas que tienen un doble propósito, tales como el corporativo/blog o informativo/comunidad.

En dicho caso, cómo se asignaría el valor de cada métrica?

Olga Carreras dijo...

El sistema sí permite la evaluación de sitios híbridos (ver pág. 162)

En este caso, el usuario ha de indicar qué tipos conforman el sitio web y en qué porcentaje participa cada uno de ellos.

Una vez evaluado el sitio híbrido, el cálculo del porcentaje de usabilidad se realizará obteniendo
el nivel de usabilidad para cada uno de los tipos indicados y realizando finalmente una media ponderada de los valores obtenidos tras este proceso.

lrbaena dijo...

Muy interesante tanto el post como la tesis.

En mis clases proporcionaba a mis alumnos una hoja de excel para hacer una evaluación heurística. La hoja se utilizaba para valorar los aspectos observables de una heurística (los que en la tesis llama subheurísticas) y les daba una ponderación que dependía, no del tipo de web, sino de un estudio preliminar de un sitio web en particular que haría el equipo de desarrollo (gracias a Maria José Aguilar por la idea). Los aspectos a observar también podrían variar de una web a otra. Era una idea similar a la metodología propuesta en la tesis, pero muchísimo más pedestre. El sistema de Sirius está muchísimo más elaborado.
Muchas gracias por el post y por el enlace a la tesis.

ALEJANDRO ROMERO dijo...

Hola desde Colombia... muy interesante el proyecto quisiera saber que tanto de lo propuesto pudiera implementarse en el Software Libre... como contactar al autor para poder hablar con el al respecto que tantos permisos hay sobre el desarrollo de nuevas herramientas con base al sistema..!!!

Olga Carreras dijo...

Mª del Carmen Suárez Torrente http://directo.uniovi.es/catalogo/DetalleProfesor.asp?idprofesor=31713

Wocon dijo...

Gran aportación, la verdad es que es un cuestionario muy pormenorizado y te hace pensar a fondo.

Un saludo¡

Unknown dijo...

Hola Olga,


La aplicación Sirius se ha llegado a publicar-distribuir?
He visto tu excel resumida pero queria saber existia la aplicación.
Por otra parte queria saber como evaluarías la accesibilidad de un sitio CMS (Content Management System) al que accedes con un login y un password, las unica herramienta libre que he encontrado es Adesign, ¿conoces algun mas?

Gracias por la información y enhorabuena por el blog.

Olga Carreras dijo...

No, que yo sepa.

Juan Cortes dijo...

Hola, una pregunta: según la tabla 6.2, una red social online como Facebook qué tipo de sitio web sería? Gracias.

Olga Carreras dijo...

Puedes ver la descripción de cada tipo en la tesis que admite también la evaluación de sitios mixtos (no implementado en la excel)

Karen Gutierrez dijo...

Mmmm... Me hago la misma pregunta que Juan... no sería mejor que la tabla también dijese "sitios mixtos"???

Debo suponer que Twitter es Foros / Chat, Ocio / Entretenimiento y Personal ???

Aunitz Giménez dijo...

Muy interesante el artículo. El enlace al PDF de la tesis está roto. ¿Hay posibilidad de recuperarlo?

Jorge dijo...

Muchas gracias un gran post

Unknown dijo...

Gracias Olga por tus grandes aportes, una sugerencia genérica, suplico por que haya una versión PDF para cada publicación, sólo si es posible. Quisiera tener acceso a la información en sitios sin conexión ;) gracias!

Anónimo dijo...

Buenas tardes desde Caracas Venezuela
Se ha propuesto como requisito obligatorio la elaboraciòn de las tesis de grado con el software y aplicaciones de licencia CGI o software libre . ? El sistema Sirius resuelve la usabilidad de paginas web elaboradas con software libre ¿

tesis dijo...

gracias amigo por esta informacion que publicaste ya que me a servido mucho.

visitare mas amenudo tu web

saludos.

flopy

Anónimo dijo...

Buenas tardes me encanta el trabajo de ustedes es bastante genial y muy útil. Mi problema es que quiero utilizar SIRIUS sobre un prototipo que diseñé para mi tesis de maestría, el problema es que las personas que cubriran el rol de evaluadores desafortunadamente no hablan español. ¿Ustedes tienen un formato en inglés del excel de SIRIUS?, sino fuera el caso no se si me pudieran ayudar con los permisos del excel para poder cambiar las etiquetas a inglés y si gustan posteriormente subirlo a este sitio para más opciones, no se que les parezca. Saludos y excelente día.

Uriel Carballido

Milton Labanda dijo...

Buen día Olga, queria hacerte una consulta:
La versión 3 del checklist ya no es compatible con el software https://156.35.98.176/prometheus?
Como puedo entender los resultados que me genera la herramienta prometheus? yo pensaba que me generaba el checklist en excel, no es así?
Como proceso o interpreto los resultados?
Gracias desde ya.

Olga Carreras dijo...

Hola, la Excel y Prometeus son herramientas independientes.

Lo que tienen en común es que realizan los cálculos basándose en las mismas fórmulas.

La ventaja de Prometeus es que permite seleccionar tipos mixtos y en el resultado te lista los criterios ordenados por prioridad en la resolución.

La ventaja de la Excel es que es local.

Como digo ambas son independientes, así que no entiendo lo de que no es compatible.

Milton Labanda dijo...

Gracias por contestar Olga,
Simplemente no entendìa la relación entre las dos cosas, en un inicio pensaba que
Prometheus generaba los resultados en algo parecido a la matrix de Excel.

Carmen Gerea dijo...

Hola Olga!
Sabes si ha habido alguna evolución de Sirius? O se pensó en llevarlo a una plataforma, desarrollar la versión móvil, multiplataforma etc.? Recuerdo haber leído el paper hace un tiempo; de hecho lo integré como referencia en mi tesís de magíster acerca de un sistema de evaluación de usabilidad y testeo para UX que estamos desarrollando y tiene un modelo crowdsource detrás. Me encantaría saber si podemos conversar contigo y/o María del Carmen. Saludos,

Unknown dijo...

Hola Olga.
Muy interesante el post del sistema de Sirius y mil gracias por el excel descargable.
Debo decir que lo he visto y empezado a leer esta tarde y como dicen en los comentarios no se leé en una tarde de domingo después de la siesta.
Por otro lado también quiero felicitarte por tu blog y la temática algo minoritaria que abarca.

Gracias y a partir de hoy un seguidor más.
Un saludo
Carlos

tesis dijo...

gracias me gusto mucho el articulo
besitos

marcelina

Anónimo dijo...

Muchísimas gracias, Olga, por otro gran post.
La calidad de contenido en tu blog lo ha convertido en una gran referencia de gran utilidad.
En cuanto a este post en concreto; es posible que el enlace al excel esté roto o ya obsoleto? He intentado bajármelo en cualquiera de sus 3 versiones y el resultado es nulo.
Gracias de antemano!

Arantxa dijo...

Hola Olga.
Escribí hace unos días el comentario anterior, porque no podía descargar el excel.
Me fue imposible hacerlo desde Mac. Lo probé en un pc de la oficina y, voilà!
Supongo que te será de utilidad saberlo.
Un saludo!

Olga Carreras dijo...

Gracias por el comentario!

Ricardo dijo...

Hola Olga, muy buen proyecto, quisiera saber ¿cual es el porcentaje adecuado para considerar que la web es usable?

Melany Marín dijo...

Hola Olga,

Primero, felicitarlos por la estandarización de la evaluación, es una excelente herramienta.
Una consulta, ¿como va el estado de desarrollo de la aplicación? de verdad es una herramienta muy útil y el poder hacer cruce entre los evaluadores seria muy interesante.

Saludos!

Anónimo dijo...

Saludos Olga
Un excelente trabajo de curadoría, te felicito, respecto a la tesis no he podido descargarla, también me gustaría que comentaras sobre el estado de la nueva versión, y aprovechar para preguntarte si conoces alguna herramienta o metodología específica para sitios educativos o relacionados con la formación.
Atte Nayiv Assaf

Olga Carreras dijo...

La tesis se puede descargar sin problemas desde la dirección: http://www.di.uniovi.es/~cueva/investigacion/tesis/Sirius.pdf

La herramienta Prometheus está en https://156.35.98.176/prometheus/, y desconozco si la autora prepara otra versión.

Saludos,

Unknown dijo...

Hola, queria hacer una consulta estoy viendo la herramienta y tenia una consulta en excel de donde se obtienen las columnas valor parcial y valor parcial 2? si me pueden orientar. Gracias.

Olga Carreras dijo...

Hola, en la tesis de Mª del Carmen Suárez Torrente "Sirius: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas" citada al comienzo del artículo, tienes la fórmula concreta y la explicación detallada con la que se calcula cada dato.

Nabi dijo...

Hola Olga! Felicitaciones por este increíble trabajo.
Realmente exhaustivo y completo.
Estoy analizando un sitio web con el excel de Sirius Versión 3 que tiene las fórmulas incorporadas, pero una vez que completé todos los valores de cada criterio, en las columnas de Factor de corrección (fc), Valor parcial y Valor parcial 2, aparece en cada celda la leyenda #N/A (las cuáles no me deja editar porque incluyen una fórmula).
Pero ello no me deja calcular el porcentaje de usabilidad del sitio.
¿Qués puedo hacer para que me tome esos valores? ¿Qué paso no estoy realizando que me lo muestra de esa manera?
Espero puedas contestarme, desde ya muchas gracias! Saludos!

Olga Carreras dijo...

Hola,

el buen funcionamiento de la excel está garantizado. Por lo que indicas, no has debido rellenar todos los campos necesarios.

Te recomienda que te leas detenidamente el artículo "Sirius. Nuevo sistema para la evaluación de la usabilidad web" (https://olgacarreras.blogspot.com/2011/07/sirius-nueva-sistema-para-la-evaluacion.html) donde se explica cómo rellenar la excel.

Saludos,

Anónimo dijo...

Hola, excelente post.
Me pregunto si existe una adaptación del Sirius para evaluar aplicaciones móviles. Alguien recomiendo utilizar este Excel para una app?


¡Muchas gracias Olga!
Saludos

Anónimo dijo...

Hola, Olga. Saludos y felicitaciones por tu gran trabajo. Un consulta: si en un sitio web, por ejemplo, no aparece una sección de ayuda, los criterios AY1, AY2, AY4 y AY5 deberían calificarse con "No se cumple en todo el sitio" y cero? ¿O en cambio debería elegirse "Criterio no aplicable" en todos ellos? Gracias de antemano

Olga Carreras dijo...

Hola,

no hay una adaptación para aplicaciones móviles.

La diferencia entre no cumplir un criterio y que el criterio no sea aplicable, se describe en la tesis, encontrarás el enlace al comienzo del artículo.

Saludos,

Anónimo dijo...

Hola, Olga. Retomo una pregunta de mi interés que ya te formularon y quedó sin responder ¿cuál es el porcentaje adecuado para considerar que la web es usable? ¿Alguna fuente de referencia al respecto? Gracias por anticipado y felicitaciones por tu gran trabajo

Anónimo dijo...

Hola, Olga. Una vez obtenido el porcentaje de usabilidad, según qué tabla se valora el resultado? Existe algún parámetro para interpretar ese número? Gracias totales

Olga Carreras dijo...

Hola, puedes revisar la tesis, enlazada desde el artículo. El porcentaje de usabilidad que resulta es una métrica más, que puede permitir comparar el estado del sitio a lo largo del tiempo o respecto a otros, pero no debe tomarse como un valor absoluto y final indicador de la usabilidad. Esta se estudia globalmente, mediante técnicas complementarias, donde esta puede ser una más, junto a otras, como por ejemplo, test con usuarios.

Sofia dijo...

Hola Olga el enlace a la tesis no parece estar funcionando, hay otra forma de acceder a ella? Gracias!

Olga Carreras dijo...

Hola Sofia, enlace: https://digibuo.uniovi.es/dspace/handle/10651/12866

Anónimo dijo...

Hola Olga! Llevo años interesada en el checklist. Me parece que tiene una visión "Cuantitativa" muy única. Lo que pasa que el enlace para descargar el excel parece que no funciona ¿Lo podrías compartir por favor?

Olga Carreras dijo...

Hola, el enlace sí parece funcionar, pero lo dejo aquí también: http://www.usableyaccesible.com/archivos/checklist_revision_heuristica_metodo_sirius_v3.xlsx

Publicar un comentario