Masip

Universitat de Lleida

Escola Politècnica Superior

Máster Universitario en Interacción Persona‐Ordenador



Trabajo Final de Máster

Análisis de viabilidad de soluciones para la

Automatización de la evaluación heurística


Autora: Llúcia Masip Ardévol

Directores: Marta Oliva Solé y Toni Granollers Saltiveri

Mayo del 2010

Universitat  de Lleida

Trabajo final de máster

Análisis de viabilidad de soluciones para la
Automatización de la evaluación heurística


Autora: Llúcia Masip Ardévol
Directores: Marta Oliva Solé y Toni Granollers Saltiveri
Escola Politècnica Superior
Lleida, Mayo del 2010

Índice
Índice ............................................................................................................................................. 5
Índice de figuras ........................................................................................................................... 8
Índice de tablas ............................................................................................................................. 9
Agradecimientos ......................................................................................................................... 11
Resumen ...................................................................................................................................... 13
1.

Introducción ........................................................................................................................ 15
1.1.
1.2.

Aspectos a analizar ...................................................................................................... 16

1.3.
2.

Motivación .................................................................................................................. 15

Estructura del documento .......................................................................................... 17
.

Evaluación heurística .......................................................................................................... 18
.
2.1.
2.2.

Ventajas e inconvenientes .......................................................................................... 18

2.3.
3.

Definición .................................................................................................................... 18

Proceso estándar ......................................................................................................... 20

Las heurísticas ..................................................................................................................... 22
3.1.

Historia de las heurísticas ........................................................................................... 22
.

3.1.1.

1986, Smith y Mosier .......................................................................................... 23

3.1.2.

1987, Marshall et al. ............................................................................................ 24

3.1.3.

1987, Shneiderman ............................................................................................. 25

3.1.4.

1988, Brown ........................................................................................................ 26

3.1.5.

1988, Norman ..................................................................................................... 27
.

3.1.6.

1990, Molich y Nielsen ........................................................................................ 28

3.1.7.

1992, Mayhew ..................................................................................................... 29

3.1.8.

1994, Nielsen ....................................................................................................... 29

3.1.9.

1995, Constantine ............................................................................................... 30

3.1.10. 1996, Instone ....................................................................................................... 31
3.1.11. 2002, Nielsen y Tahir ........................................................................................... 32

3.1.12. 2003, Tognazzini .................................................................................................. 34
3.1.13. 2004, Pierotti ....................................................................................................... 36
3.1.14. 2008, González, Lorés y Granollers ..................................................................... 36
3.2.

Análisis de las heurísticas ............................................................................................ 37

3.2.1.

Criterios de análisis de las heurísticas ................................................................. 38

3.2.2.

Categorías de heurísticas desestimadas ............................................................. 39

3.2.3.

Análisis y comparación de las categorías ........................................................... 40

3.2.4.

Análisis en profundidad de las categorías identificadas ..................................... 41

3.2.5.

Aplicabilidad de las heurísticas ........................................................................... 44

3.3.
4.

Conclusiones ............................................................................................................... 44
.

Herramientas para realizar una evaluación heurística ....................................................... 46
4.1.

Tipos de herramientas................................................................................................. 46

4.1.1.

Herramientas que trabajan con directrices ........................................................ 47

4.1.2.

Herramientas de verificación automática ........................................................... 52

4.1.3.

Herramientas de gestión de cuestionarios ......................................................... 54

4.1.4.

Herramientas para realizar una evaluación heurística ....................................... 56

4.1.5.

Otras herramientas ............................................................................................. 62

4.2.
4.3.
5.

Análisis de las herramientas ........................................................................................ 63
Conclusiones ............................................................................................................... 65
.

Severidad de las heurísticas ................................................................................................ 67
5.1.

Puntuación de la severidad ......................................................................................... 67

5.2.

Experiencias de resultados .......................................................................................... 68

5.2.1.

Evaluación de tiendas en línea ............................................................................ 68

5.2.2.

Heuristic evaluation of paper‐based Web pages ................................................ 69

5.2.3.

Proyecto UsabAIPO ............................................................................................ 69

5.2.4.

Bell Laboratories Process .................................................................................... 70

5.2.5.

Función de Porcentaje de Usabilidad .................................................................. 71

5.2.6.

Proceso analítico jerárquico ................................................................................ 72

5.3.
5.4.
6.

Análisis de la severidad ............................................................................................... 72
Conclusiones ............................................................................................................... 74
.

Deficiencias tecnológicas del proceso ................................................................................. 75
6.1.

Elección de las heurísticas a evaluar ........................................................................... 75

6.1.1.

Casos de estudio ................................................................................................. 78
.

6.2.
6.3.
7.

Soporte durante la evaluación .................................................................................... 80
Extracción de resultados ............................................................................................. 81

Definición del framework .................................................................................................... 83
7.1.

Repositorio general ..................................................................................................... 83

7.2.

Consejero de heurísticas ............................................................................................. 84

7.3.

Ayudante evaluador .................................................................................................... 86

7.4.

Procesador de resultados ............................................................................................ 87

7.5.

Esquema de la herramienta ........................................................................................ 88

8.

Conclusiones y Trabajo futuro ............................................................................................ 91

9.

Referencias .......................................................................................................................... 93

Índice de figuras
Figura 1. Cronograma de heurísticas. ......................................................................................... 22
Figura 2. Herramienta SIERRA. .................................................................................................... 48
Figura 3. Herramienta Sherlock. ................................................................................................. 50
.
Figura 4. Herramienta GUIDE. ..................................................................................................... 51
Figura 5. Herramienta Interactive heuristic evaluation toolkit. .................................................. 52
Figura 6. Pantalla de resultados de MAGENTA. .......................................................................... 54
Figura 7. Herramienta VEEUT. ..................................................................................................... 55
Figura 8. Auditoria de la Guía GEDIS. .......................................................................................... 56
Figura 9. Herramienta R‐IDE. ...................................................................................................... 58
.
Figura 10. Herramienta UsabAIPO‐GestorHeurística. ................................................................. 59
Figura 11. Herramienta Accusa. .................................................................................................. 60
Figura 12. Herramienta Gestor de heurísticas. ........................................................................... 61
Figura 13. Herramienta SUIT. ...................................................................................................... 63
Figura 14. Uno de los Puntos de Información Ciudadana instalados en la ciudad de Lleida. ..... 78
Figura 15. Asistente virtual de la Paeria: la Berta. ...................................................................... 79
Figura 16. Repositorio general. ................................................................................................... 84
Figura 17. Consejero heurístico. ................................................................................................. 85
.
Figura 18. Ayudante evaluador ................................................................................................... 86
Figura 19. Presentador de resultados ......................................................................................... 88
Figura 20. Esquema de la nueva herramienta. ........................................................................... 90

Índice de tablas
Tabla 1.
Tabla 2.
Tabla 3.
Tabla 4.
Tabla 5.
Tabla 6.
Tabla 7.
Tabla 8.
Tabla 9.

Ventajas e inconvenientes de la evaluación heurística .......................................... 20
.
Categorías desestimadas por ser únicas ................................................................. 39
Categorías desestimadas ......................................................................................... 39
Categorización de las heurísticas ............................................................................ 40
Comparativa de las herramientas ........................................................................... 64
Comparativa entre resultados cualitativos y resultados cuantitativos ................... 68
Porcentaje asignado a cada heurística en UsabAIPO‐H .......................................... 70
Porcentaje adjudicado a cada grupo de heurísticas ............................................... 71
Resumen de la severidad considerada .................................................................... 73

Agradecimientos

Agradecimientos
Agradecer a toda mi familia el apoyo que me han dado durante todos mis estudios y
especialmente en la decisión de empezar a cursar el máster.
También agradecer a todos los miembros de Griho tanto sus aportaciones en el trabajo como
la confianza demostrada día tras día. Y, especialmente, a Toni y Marta por querer ser mis
directores del proyecto y por darme la oportunidad de formar parte de esta gran familia.
Finalmente, agradecer a Edu toda la paciencia que ha tenido durante la realización del
proyecto.
Gracias a todos.

Resumen

Resumen
El objetivo principal de este Trabajo Final de Máster es detectar las carencias tecnológicas del
proceso de realización de un análisis de usabilidad mediante la técnica de la evaluación
heurística, para realizar una propuesta de herramienta que semiautomatice todo el proceso.
En primera instancia se realiza un estudio de las heurísticas existentes en la literatura y las
metodologías o técnicas que se emplean para elegir unas u otras de acuerdo con el sistema
interactivo que se pretenda analizar.
En segundo lugar se estudian las distintas herramientas que existen para dar soporte en alguna
de las fases de realización de una evaluación heurística. El objetivo principal de esta parte del
trabajo es detectar las carencias tecnológicas que sufre el proceso, así como las metodologías
de evaluación que se utilizan en cada caso.
El tercer punto de estudio hace referencia al tipo de resultados que se extraen de la
evaluación y también a la forma de obtenerlos.
Finalmente, una vez detectadas las necesidades en cada una de las fases del proceso de
evaluación, se presenta una propuesta de herramienta con la que se solucionarían las
carencias técnicas del proceso semiautomatizando parte del mismo.

Trabajo Final de máster

14

Llúcia Masip Ardévol                                                                                                             Introducción

1. Introducción
1.1.

Motivación

En la actualidad están apareciendo continuamente nuevas tecnologías que llevan implícitas
distintos sistemas interactivos. Paralelamente, las personas son usuarios de dichas tecnologías
e, independientemente de su complejidad tecnológica, deben ser capaces de utilizar todos los
sistemas interactivos para resolver sus propias tareas.
El nivel de dificultad en el uso de los sistemas interactivos viene dado, entre otros factores, por
la usabilidad de este sistema. Entendiendo la usabilidad como la facilidad, eficiencia y
satisfacción que obtienen los usuarios del producto al utilizarlo en un contexto de uso
determinado  (ISO, 1991).
Para que un sistema interactivo sea usable es imprescindible implicar en el desarrollo del
mismo al usuario que utilizará finalmente este sistema. En este contexto, el desarrollo suele
estar guiado por una metodología de Diseño Centrado en el Usuario (DCU)  (Granollers, et al.,
2005), de modo que mediante distintas técnicas se extrae información directamente del
usuario final con el objetivo de adaptar completamente el sistema interactivo a sus
necesidades específicas desde el inicio de su desarrollo. Con todo, se conseguirá un nuevo
sistema interactivo que debe mejorar la efectividad, eficiencia y satisfacción del usuario que lo
utilice en un contexto de uso determinado.
La usabilidad, a diferencia de la accesibilidad, no está regulada por ley. Aun así, existen
distintos estándares que se preocupan por dar recomendaciones sobre aspectos a tener en
cuenta si se considera la usabilidad en el diseño de un sistema interactivo.
El estándar ISO 13407 (ISO, 1999) proporciona una orientación sobre las actividades de DCU
aplicables durante todo el proceso de desarrollo, lo cual supone un enfoque multidisciplinar
que incorpora factores humanos, y técnicas y conocimientos ergonómicos, entre otros, con el
fin de conseguir efectividad y eficiencia, así como mejorar las condiciones de trabajo para las
personas que vayan a utilizarlo.
Actualmente, aunque todavía está en fase de revisión, existe la ISO/IEC 25010 (ISO/IEC, 2008)
que incluye a la ISO/IEC 9126:1999 las siguientes correcciones:
•

•
•
•
•

Considera la seguridad como característica y no como subcaracterística dentro de la
característica funcionalidad de la antigua ISO. Define subcaracterísticas para la
seguridad.
Subdivide la característica de portabilidad en transferabilidad y compatibilidad
incluyendo también la interoperabilidad.
Se han añadido nuevas características como robustez, amabilidad, accesibilidad
técnica, modularidad, reusabilidad y portabilidad.
Se ha dividido la calidad de uso en usabilidad en el uso, flexibilidad en el uso y
seguridad.
Varias características y subcaracterísticas han sido nombradas con más precisión.


15

Para evaluar la usabilidad de un sistema interactivo, la disciplina de la Interacción Persona‐
Ordenador (IPO) proporciona distintas técnicas que se pueden clasificar en los siguientes
grupos (Nielsen, et al., (1994)) (Dix, et al., 2009) :
•

•

•

Técnicas de inspección: expertos evaluadores examinan aspectos de la interfaz del
sistema interactivo relacionados con la usabilidad. Estas técnicas permiten identificar
un gran número de errores de usabilidad a un precio relativamente bajo ya que no
implican directamente a los usuarios finales. Aunque existen varias técnicas en esta
categoría, la más utilizada es la evaluación heurística.
Técnicas de indagación: se consigue información sobre las necesidades y los gustos de
los usuarios y la especificación de los requisitos del sistema. Estas técnicas se basan en
la implicación del usuario, pudiéndose conseguir ésta hablando con el usuario u
observándolo durante su desempeño habitual. En este grupo, cabe destacar las
técnicas de focus group, observación de campo, entrevistas y cuestionarios.
Técnicas de test: consisten en que un grupo de usuarios representativos realizan unas
tareas predeterminadas con el sistema interactivo o prototipo y los evaluadores
analizan los resultados de la interacción entre el sistema y el usuario.

Debido a la gran cantidad de técnicas existentes para evaluar la usabilidad y a la experiencia
propia y previa adquirida en la utilización de una de las técnicas, se creyó necesario focalizar
los esfuerzos en una metodología de evaluación concreta. Por lo tanto, aparece la opción de
valorar la posibilidad de semiautomatizar el proceso completo de realización de una
evaluación heurística, entendiendo evaluación heurística como un método de inspección que
es utilizado para realizar análisis completos de usabilidad. Y teniendo en cuenta que
actualmente no existe una herramienta que semiautomatice todo el proceso de realización de
una evaluación heurística. Además la evaluación heurística no requiere usuarios para su
realización, es decir, no es preciso concretar una cita, preparar una habitación para el test y
pagarlos el tiempo que empleen realizando el test. Contrariamente, requiere un conjunto
pequeño de evaluadores (entre 3 y 5) de modo que se reduce la complejidad, el tiempo
necesario para realizar la evaluación y su coste total. Posteriormente se detallan las ventajas
de esta metodología de evaluación.
En resumen, la motivación surge cuando dentro del proceso de DCU es necesario realizar
varias evaluaciones de usabilidad de una forma rápida y, habitualmente, económica para
conseguir producir un sistema usable de acuerdo con la metodología iterativa de diseño que
utiliza el DCU, y no se localiza ninguna herramienta que cumpla con estas características.

1.2.

Aspectos a analizar

Para estudiar la viabilidad de automatización de la evaluación heurística se precisa estudiar
todas las fases que componen la utilización de este tipo de técnica para evaluar la usabilidad
de un sistema interactivo y detectar todas las acciones que son susceptibles de una posible
automatización.
Los principales objetivos del proyecto son:


16

•

•
•

Estudio de viabilidad de las herramientas que se han utilizado para semiautomatizar el
proceso de planificación de la evaluación, puntuación de las heurísticas y extracción de
resultados.
Detectar las carencias tecnológicas del proceso tradicional de realización de una
evaluación heurística.
Proponer, de acuerdo con los resultados de los dos objetivos anteriores, el esquema
de una nueva herramienta que subsane las carencias detectadas.

1.3.

Estructura del documento

En la sección 2 se presenta la técnica protagonista de todo el proyecto, su definición y
características y el proceso estándar a seguir para realizar una buena evaluación heurística.
En las secciones 3, 4 y 5 se presentan respectivamente, el estado del arte de las propuestas de
heurísticas, de las herramientas que dan soporte a la realización de una evaluación heurística
(en cualquiera de sus fases) y de las metodologías existentes para la extracción de resultados
una vez realizada la evaluación.
La sección 6 presenta las deficiencias tecnológicas encontradas durante la revisión del estado
del arte, tanto a nivel de heurísticas, de herramientas para dar soporte en la realización del
análisis y a nivel de metodologías de extracción de resultados, tanto cualitativos como
cuantitativos.
En la sección 7 se define el esquema o esqueleto de un nuevo framework o herramienta que
subsana todas las carencias encontradas durante las secciones previas en el proceso de
realización de una evaluación heurística. Finalmente, en la última sección aparecen las
conclusiones y el trabajo futuro del proyecto.


17

Llúcia Masip Ardévol                                                                                             Evaluación heurística

2. Evaluación heurística
La evaluación heurística, como método de inspección para la evaluación de la usabilidad de
sistemas interactivos, se presenta como una de las técnicas más utilizadas en este tipo de
evaluaciones. Coloquialmente conocida como “la heurística”, fue desarrollada por Nielsen y
Molich en 1990 (Nielsen, et al., 1990) y es realizada por evaluadores a partir de unos principios
establecidos por la disciplina de la Interacción Persona‐Ordenador (IPO) denominados “los
heurísticos”.
En esta sección se pretende detallar esta técnica de inspección para detectar, posteriormente,
posibles puntos débiles o carencias tecnológicas en el proceso de evaluación de la usabilidad
de un sistema interactivo utilizando esta metodología de análisis.

2.1.

Definición

Según el diccionario de la Real Academia Española 1 el término “heurístico, a” se puede definir
de la siguientes formas:
Heurístico, ca: (Del griego εὑρίσκειν, hallar, inventar, y ‒́tico).
1. adj. Perteneciente o relativo a la heurística.
2. f. Técnica de la indagación y del descubrimiento.
3. f. Busca o investigación de documentos o fuentes históricas.
4. f. En algunas ciencias, manera de buscar la solución de un problema mediante
métodos no rigurosos, como por tanteo, reglas empíricas, etc.

Una heurística, en el campo de la interacción persona‐ordenador, es una guía, principio
general o regla que da soporte en la toma de decisiones en el proceso de diseño de un sistema
o que critica una decisión ya tomada antes para terminar obteniendo un sistema interactivo
usable (Dix, et al., 2009).
Por otra parte, como ya se ha mencionado, la evaluación heurística (EH) es una técnica o
metodología de inspección para evaluar la usabilidad de sistemas interactivos que se basa en
el análisis de una serie de principios establecidos por la comunidad IPO.

2.2.

Ventajas e inconvenientes

La principal ventaja de la evaluación heurística es su bajo coste, que depende del número de
evaluadores expertos que realicen el proceso. Un número mínimo de tres evaluadores permite
detectar la mayoría de problemas de usabilidad del sistema. Por ello, los costes resultan
mucho menores que en cualquier otro método de evaluación que requiera de la participación
de usuarios finales para llevarlo a cabo (Nielsen, et al., (1994)).

1

http://www.rae.es


18

Detecta aproximadamente el 42% de los problemas graves de diseño y el 32% de los
problemas menores, dependiendo del número de evaluadores que revisen el sitio. Para
realizar la evaluación, el evaluador experto puntúa los distintos criterios heurísticos
predefinidos para obtener una visión cualitativa del grado de usabilidad del producto que se
esté evaluando.(Nielsen, et al., (1994))
Otra ventaja importante de esta técnica es que puede ser utilizada en, prácticamente,
cualquier momento del ciclo de desarrollo del sistema interactivo, aunque probablemente se
adapta mejor en etapas tempranas, cuando no hay material lo suficientemente firme para
efectuar un test con usuarios reales. Al mismo tiempo, los criterios heurísticos sirven de guía
para el diseño de las interfaces definitivas. Para realizar una evaluación heurística se puede
proporcionar maquetas de papel o incluso especificaciones de diseño a los expertos y detectar
una buena cantidad de problemas de usabilidad antes de que el trabajo real de producción
empiece a ejecutarse.
Cabe resaltar que no se precisa una planificación muy exhaustiva para poder realizar una
evaluación heurística con éxito. Este hecho provoca también una disminución en el coste de
planificación del análisis de usabilidad.
Además, realizar una evaluación heurística resulta muy intuitivo por lo que es fácil reclutar
evaluadores para que la realicen.
A pesar de todas las ventajas, esta técnica presenta algunas dificultades o carencias que
provocan que todo el proceso de evaluación se ralentice o sea más costoso de realizar. La
primera carencia a destacar surge por el hecho que todo el proceso de realización de una
evaluación heurística se basa en “las heurísticas” consideradas. Aún y el esfuerzo realizado
para disponer de un grupo suficientemente amplio que sea aplicable a los distintos tipos de
sistemas interactivos, casi siempre es necesario definir un conjunto de criterios más
adecuado y específico a las características del sistema que se quiera analizar (ya sea una
interfaz software o un producto interactivo o interfaz física) y que facilite la detección de los
problemas de usabilidad que el sistema pueda presentar. Incluso Nielsen en el capítulo
dedicado a la evaluación heurística (Nielsen, et al., (1994)) hace hincapié en este aspecto
remarcando que las heurísticas son genéricas y que es necesaria una posible adaptación o
personalización al sistema que se quiere evaluar.
Otra carencia importante está relacionada con la obtención de los resultados. Habitualmente,
los resultados suelen ser cualitativos, puesto que a partir de las puntuaciones de los
evaluadores expertos se determinan las mejoras a realizar para conseguir un producto más
usable, pero muchas veces los resultados cualitativos no son suficientes y se requiere la
obtención de resultados cuantitativos que permitan tomar decisiones de forma objetiva.
También en relación a la obtención de resultados, se puede decir que mediante la evaluación
heurística se obtienen resultados que son falsos positivos (Mirel, et al., 2009) aunque este
inconveniente se puede resolver mediante la comparación de resultados entre evaluadores.
El último inconveniente de esta metodología de evaluación se basa en que los resultados
extraídos son simplemente problemas de usabilidad. Sería preferible obtener directamente las


19

propuestas de mejora pertinentes que subsanaran los problemas detectados por los
evaluadores.
La siguiente tabla representa un resumen de las ventajas e inconvenientes citados en esta
sección:
Tabla 1.

Ventajas e inconvenientes de la evaluación heurística

Ventajas
Bajo coste.
Detecta 42% de los problemas graves de diseño y el
32% de los problemas menores.
Aplicable en cualquier momento del ciclo de desarrollo.
No se necesita planificación previa.
Resulta muy intuitivo.

2.3.

Inconvenientes
Necesidad de definir un conjunto de criterios más
adecuado y específico.
Obtención de los resultados cualitativos y cuantitativos.
Resultados que son falsos positivos.
Obtención directa de propuestas de mejora.

Proceso estándar

El proceso, ampliamente conocido, que se debe realizar para llevar a cabo una evaluación
heurística se puede dividir en 3 fases o pasos:
Paso 1. Planificación de la evaluación: en esta fase inicial se debe considerar la
elección de los evaluadores que serán, en la siguiente fase, los encargados de puntuar
las heurísticas. Es importante escoger en el primer paso a los evaluadores para
involucrarlos en el proceso de elección de las heurísticas y, en general, en todo el
proceso de planificación del análisis de usabilidad (González, et al., 2001).
Otro aspecto a considerar en la planificación es disponer de un listado de heurísticas.
En secciones posteriores se detallará más sobre la elección de unas u otras heurísticas.
El técnico/a responsable de la evaluación, opcionalmente respaldado por los
evaluadores escogidos, escoge los criterios más adecuados de acuerdo con el sistema
que se va a analizar y los prepara para que los evaluadores solo tengan que realizar las
observaciones pertinentes y puntuar cada heurística.
En esta fase también es imprescindible determinar los baremos que se utilizaran para
puntuar cada una de las heurísticas para unificar el sistema de puntuación y facilitar la
extracción de resultados. Nielsen propone puntuar los siguientes 3 factores:
• Impacto: entendiendo el impacto como las dificultades que tendrán los
usuarios cuando el problema se evidencie.
• Frecuencia: la cantidad de veces que aparece el problema. Si es o no común
encontrar en el sistema interactivo el problema descrito en la heurística.
• Persistencia: la redundancia del problema, es decir, si se resuelve en la
primera visita al sitio o si aparece en visitas repetidas.

Y un rango o baremo de puntuación que va desde 0 (no es un problema de usabilidad)
a 4 (representa una catástrofe a nivel de usabilidad).
El resultado de la primera fase se basa en la obtención de los evaluadores y las
heurísticas, y sus baremos de puntuación, que se deberán analizar en la siguiente fase.

Paso 2. Realización de la evaluación: Una vez se han escogido las heurísticas más
idóneas para realizar la evaluación y se han reclutado entre 3 i 5 evaluadores expertos

20

(Nielsen, et al., 1990), se debe realizar el análisis de cada una de las heurísticas. Este
análisis se realiza de forma totalmente individual para que los resultados de un
evaluador no condicionen las respuestas de los demás. Durante el análisis, los
evaluadores van puntuando cada una de las heurísticas de acuerdo con los factores
establecidos en la primera fase y sus baremos de puntuación. También es
recomendable dar la posibilidad de que se pueda añadir comentarios en lenguaje
natural a cada uno de los criterios heurísticos propuestos.
El proceso de realización de la evaluación heurística suele durar entre 1 y 2
horas.(Nielsen, et al., (1994))

Paso 3. Extracción de resultados de la evaluación: Una vez puntuadas todas las
heurísticas, se reúnen todos los evaluadores para discutir los problemas de usabilidad
que han encontrado y consensuar las diferencias de puntuaciones entre heurísticas. Es
recomendable que el técnico encargado de toda la evaluación resuma los puntos de
diferencia para que la reunión sea más ágil.
Una vez finalizada la reunión se pueden extraer una serie de problemas de usabilidad
a mejorar en el sistema de información evaluado.
En las siguientes 3 secciones se presenta el estado del arte de cada una de las fases de
realización de una evaluación heurística. Primeramente aparece un esquema cronológico de
las listas de heurísticas que han ido apareciendo al largo del tiempo. A continuación se
describen las herramientas que existen para dar soporte a la realización o puntuación de las
heurísticas y, finalmente, las metodologías que se han utilizado para extraer resultados tanto
cualitativos como cuantitativos de las puntuaciones y observaciones realizadas durante el
proceso de la evaluación heurística.


21

Llúcia Masip Ardévol                                                                                                         Las heurísticas

3. Las heurísticas
En las secciones previas ya se ha apuntado que la elección de las heurísticas a evaluar es una
de las tareas a realizar dentro del proceso de planificación de realización de una evaluación
heurística.
La utilización de heurísticas para buscar la solución a un problema es una técnica de evaluación
antiguamente utilizada, aun así, no fue hasta 1986 cuando se presentaron las primeras guías o
principios a seguir para diseñar una interfaz teniendo en cuenta aspectos de usabilidad. A
partir de este año, distintos autores han redactado diferentes criterios a tener en cuenta a la
hora de realizar el diseño de una interfaz.
Cabe remarcar que la aparición de principios o criterios heurísticos no lleva implícito la
aparición de la técnica de evaluación de usabilidad conocida como evaluación heurística. Es
decir, las primeras heurísticas que aparecieron eran recomendaciones a seguir a la hora de
diseñar un tipo de interfaz interactiva concreta a la que iban destinadas o para las cuales se
definían. No fue hasta 1990 que Nielsen propuso la técnica de la evaluación heurística como
proceso empírico para analizar o evaluar las características de usabilidad de la interfaz.
Por lo tanto, hasta la aparición en 1990 de la técnica de la evaluación heurística se puede decir
que los principios de usabilidad propuestos por los distintos autores jugaban un rol de
recomendación de diseño. A partir de 1990 todos los criterios definidos pueden jugar dos roles
distintos: por una parte como criterios de referencia a la hora de realizar un sistema
interactivo y, por otra parte, como características a tener en cuenta en el análisis de usabilidad
mediante la técnica de la evaluación heurística.
En esta sección se muestra la cronología de aparición de diferentes listados de heurísticas
gracias a los estudios de distintos autores. Seguido de un análisis comparativo de los conjuntos
de heurísticas localizados y los resultados o conclusiones obtenidos del análisis realizado.

3.1.

Historia de las heurísticas

En el cronograma que se muestra a continuación se pueden observar las distintas definiciones
de heurísticas que han ido apareciendo al largo del tiempo.

Figura 1. Cronograma de heurísticas.


22


3.1.1.

1986, Smith y Mosier

Al principio de esta guía se cita la existencia de un libro de diseño de interfaces editado en
1973 (Martin, 1973) el cual fue decepcionante por su falta de hincapié en los principios de
diseño. Por lo tanto, se puede decir que los primeros principios heurísticos referidos al diseño
de interfaces software se remontan al año 1986 y fueron desarrollados por los autores Smith y
Mosier.
Los 944 principios que se presentan en el libro de Smith y Mosier (Smith, et al., 1986) están
divididos en los siguientes 6 grupos:
1. Entrada de datos: se refiere a todas las acciones que realiza el usuario para entrar
datos (entendiendo como datos números, letras, sonido, imágenes,…) y las respuestas
que realiza el sistema a estas acciones.
El diseñador tiene que ayudar al usuario a entrar los datos guiándolo y controlando los
errores que puedan surgir. Los grandes avances del hardware condicionan también la
entrada de datos. La principal necesidad que se pretende cubrir en este punto es
mejorar la lógica de la entrada de datos.
2. Visualización de datos: la visualización de datos hace referencia a la forma como se
muestran los datos al usuario y la capacidad con la que los usuarios son capaces de
asimilar esta información. Estos datos pueden ser visualizados por pantalla, impresos o
escuchados. Este grupo tiene en cuenta el contexto, la consistencia y la flexibilidad de
la visualización de datos.
El consejo o principio básico a seguir es no mostrar más datos de los necesarios y
mostrar los mismos formatos de datos siempre de la misma manera.
Las guías de este grupo están pensadas para visualizaciones de tamaño grande. Si el
espacio de visualización está limitado no es aconsejable utilizar estas guías. Además las
guías de este grupo deberán ir evolucionando con la introducción de nuevas tipologías
(como gráficos y movimiento) de datos.
3. Control de secuencias: hace referencia a las acciones del usuario y del ordenador para
inicializar, interrumpir o terminar las transacciones.
Un aspecto fundamental en el diseño de interfaces es determinar el tipo de diálogo
que se utilizará para implementar el control de secuencias.
4. Orientación del usuario: se refiere a los mensajes de error, alarmas, avisos, rótulos, así
como material de instrucciones formales que ayudan a los usuarios a interaccionar con
el ordenador.
Muchos de los principios ya citados tienen como objetivo implícito hacer el sistema
fácil de aprender y de entender mientras se utiliza.
5. Transmisión de datos: la transmisión de datos presenta la comunicación entre un
ordenador de un usuario y otro ordenador de otro usuario.
En este grupo de principios aparece la posibilidad de crear una transmisión de datos
síncrona, es decir, un chat.
6. Protección de datos: la protección de datos pretende garantizar la seguridad en el
acceso a datos no autorizados, en las acciones destructivas y a fallos del sistema.
En este grupo se consideran dos problemas:


23

•
•

3.1.2.

Los datos se deben proteger debido a la aparición del acceso no
autorizado a los datos: seguridad de los datos.
El sistema debe proteger de los errores causados por los propios  usuarios:
Prevención de errores. Los principales objetivos de este grupo son:
Seguridad de datos efectiva, reducir la entrada de datos dañinos, reducir la
pérdida de datos y reducir interferencias con las tareas de manipulación
de información.

1987, Marshall et al.

Chris Marshall, Catherine Nelson y Margaret Gardiner presentaron en 1987 en el libro
(Marshall, et al., 1987) un conjunto de categorías que se dividen en 162 guías o heurísticas que
tienen en cuenta la psicología cognitiva. Las autoras pretenden que sus guías ayuden a los
diseñadores a crear interfaces software para sistemas de computación. A continuación se
detallan las categorías definidas por las autoras:
1. Diseño de procedimientos y tareas: compuesta por 24 heurísticas, se refiere a la
facilidad con la que se pueden realizar las tareas o procedimientos teniendo en cuenta
la cantidad de pasos a realizar y  la facilidad de realización de estos pasos.
2. Analogía y metáforas: se deben utilizar para facilitar el aprendizaje en el uso del
sistema y deben asemejarse al mundo real para facilitar este aprendizaje.
Esta categoría se divide en 32 heurísticas.
3. Entrenamiento y práctica: (26 heurísticas) es necesario para usuarios poco expertos
proporcionar una guía para facilitar la práctica e ir asumiendo conocimiento a través
del entrenamiento. De esta forma y con sesiones repetidas frecuentemente, el usuario
conseguirá aprender mientras se entrena o practica con el sistema interactivo.
4. Unión entre usuario y tarea: hace referencia a las características cognitivas
incorporadas en el diseño para conseguir que el usuario no tenga que realizar nada
más allá de sus limitaciones para cumplir los objetivos que se haya propuesto.
5. Feedback: es esencial para garantizar la efectividad del usuario. Dependiendo de la
experticia del usuario. Es necesario dos tipos de feedback: feedback obligatorio para
saber el estado del proceso y feedback de confirmación el cual es necesario una
confirmación para  que se completen o se realicen las tareas o acciones.
6. Seleccionar términos, palabras y objetos: engloba todas las reglas relacionadas con
los elementos de diálogo. El lenguaje seleccionado debe ser comprensible, fácil de
aprender y compatible con las características del conocimiento del usuario.
7. Consistencia: es fundamental para el diseño de una interfaz efectiva. Es preciso que
dentro del mismo sistema aparezca el mismo concepto de la misma forma.
8. Diseño de la pantalla: La calidad de la interfaz física es crítica. Esta categoría vela para
que la información que se muestra por la pantalla sea la apropiada y se muestre de la
forma idónea.
9. Organización: Se debe diseñar la organización del contenido pensando en la población
universal, para que todos los tipos de usuarios sean capaces de utilizar, entender y
navegar por el sistema.
10. Interacción multimodal y multimedia: El contenido que se puede visualizar en un
sistema interactivo depende de los requisitos de las tareas que se deben poder hacer

24


11.

12.

13.

14.

en el sistema. Aun así, está claro que el contenido visual como texto e imágenes son
más fáciles de entender por el hecho de que están de forma estable en la pantalla, en
contra de un comentario oral que se puede oír pero no se encuentra estáticamente o
permanentemente en la pantalla.
Navegación: El lugar donde se está posicionado debe estar claro, al igual que a los
lugares donde se puede acceder. El usuario debe poder interpretar este tipo de
información de forma fácil y rápida para facilitar el posicionamiento y la navegación en
el sistema.
Adaptación: la interfaz se debe adaptar a las necesidades específicas de cada grupo de
usuarios. La adaptabilidad y flexibilidad permiten que el sistema adopte la posición
más acertada de acuerdo con el usuario que utiliza el sistema y sus habilidades y
capacidades de acuerdo con el contexto de uso donde se desarrolla la interacción.
Procesamiento de errores: dos enfoques caracterizan esta categoría. Por una parte
prevenir o reducir los errores durante el desarrollo del sistema y, por otra parte, dar
cobertura a los que son inevitables que se produzcan.
Centro o lugar de control: se refiere al control del sistema por parte del usuario. Para
los usuarios noveles el control del sistema debe estar respaldado por el propio
sistema. Un usuario experto necesita menos soporte del sistema.

3.1.3.

1987, Shneiderman

Ben Shneiderman 2 escribió en 1987 las 8 reglas de oro para el diseño de interfaces
(Shneiderman, 1987). Los 8 principios presentan las características básicas que se deben tener
en cuenta para diseñar un sistema interactivo usable. A continuación se detallan brevemente
cada una de las reglas establecidas por este autor:
1. Esforzarse por la consistencia: las secuencias coherentes de acciones deben aparecer
en situaciones similares. Se debe utilizar la misma terminología en avisos, menús y
pantallas de ayuda. Finalmente, se debe utilizar en todo el sistema los mismos
comandos.
2. Proporcionar atajos para los usuarios frecuentes: Si aumenta la frecuencia de  uso, se
reduce el número de interacciones. Los usuarios que utilizan el sistema
frecuentemente aprecian disponer de las abreviaciones, atajos de teclado y  comandos
ocultos  al igual que un menor tiempo de respuesta y una rápida visualización.
3. Ofrecer retroalimentación (feedback): el sistema debe dar respuesta a cada acción del
usuario. Para una acción frecuente y minoritaria la respuesta debe ser modesta pero
para una acción poco frecuente y mayor, la respuesta debe ser substancial.
4. Diseñar el diálogo para mostrar el trabajo pendiente: Las secuencias de acciones se
deben organizar en grupos, con un inicio, un medio y un final. La regeneración
informativa en la terminación de un conjunto de acciones da al usuario la satisfacción
de la realización, y una indicación clara para prepararse para el siguiente conjunto de
acciones.

2

Referente mundial en el campo del diseño de interfaces, autor, entre otros libros, de “Designing Interfaces” y nombrado Dr.
Honoris Causa por la Universidad de Castilla‐La Mancha, siendo él el primero dentro del campo de la interacción persona‐
ordenador en el estado español. http://www.cs.umd.edu/~ben/ (última visita: 26/04/2010)


25

5. Ofrecer una gestión de errores simple: Siempre que sea posible, se debe diseñar el
sistema para que el usuario no pueda realizar errores graves. Si se produce un error, el
sistema debe detectar este error y ofrecer un mecanismo simple y comprensible para
gestionar este error.
6. Permitir deshacer fácilmente las acciones realizadas: siempre que sea posible se debe
poder retroceder en las acciones del usuario. De este modo se anima a la exploración
de opciones desconocidas. La recuperación puede ser una sola acción, una entrada de
datos o un conjunto de acciones.
7. Soportar el control por el usuario: Los usuarios experimentados requieren el control
total del sistema y que el sistema responda a sus acciones. El diseño del sistema debe
responder a las acciones de los usuarios.
8. Reducir la carga de memoria a corto plazo: Las limitaciones de los humanos de
procesar información en la memoria  a corto plazo requiere que lo que se muestra por
pantalla sea simple.

3.1.4.

1988, Brown

Marlin Brown redactó en 1988 un total de 302 guías divididas en 9 categorías con la intención
de proporcionar sugerencias a los diseñadores de interfaces entre ordenadores y usuarios
(Brown, 1988), es decir, proporcionó guías a seguir en el diseño de un sistema interactivo. A
continuación se resumen las categorías que redactó:
1. Diseñar formatos de visualización: Esta categoría que contiene 50 heurísticas tiene en
cuenta que la colocación, organización, secuencia, espacio, tipografía y la etiqueta
escogida   puede influenciar  en la observación, interpretación, recuerdo y uso de los
datos presentados.
2. Redacción efectiva: 27 heurísticas velan para que la redacción y la forma de presentar
esta redacción sigan los principios de legibilidad, brevedad, claridad y consistencia
teniendo en cuenta que el cumplimiento de estas características provoca una
disminución de la ambigüedad y la confusión.
3. Color: es posible que los colores ayuden al usuario a localizar o identificar clases, tipos
o bloques de información. Brown utiliza 27  heurísticas a tener en cuenta si se decide
utilizar el color para mostrar la información en el sistema interactivo.
4. Gráficos: la principal ventaja de utilizar gráficos es la facilidad que tienen los usuarios
de extraer, procesar, entender y responder a la información que estos enseñan. 16
heurísticas velan para que se cumplan están características de forma usable.
5. Diseño de diálogos: lo que pretenden las 46 heurísticas que conforman esta categoría
es que el usuario perciba que tiene el control del sistema. Esta categoría vela para que
mediante el diálogo que se genera entre el sistema interactivo y el usuario, el usuario
tenga la sensación de dominar o controlar todo el sistema.
6. Entrada de datos: esta categoría tiene como objetivo determinar para cada tipo de
dato que se debe entrar en el sistema interactivo la mejor manera o estilo de
visualización y de entrada de datos para el usuario. Esta categoría está compuesta por
28 heurísticas.
7. Control y visualización de recursos: esta categoría dividida en 38 heurísticas
encargadas de velar para que en cada momento se elija el dispositivo de control,

26

entendiendo como dispositivo de control el ratón, teclado y joystick, entre otros, más
adecuado según el tipo de acción que se pretende realizar. Así como la mejor forma de
utilizar todos estos dispositivos.
8. Mensajes de error y asistencia en línea: hace referencia principalmente a 3 elementos
principales de la manipulación de errores y lo divide en 37 heurísticas. Destaca
heurísticas referentes a la corrección de errores, a los mensajes de error y a las guías
en línea para ayudar a los usuarios a entender el sistema y poder evitar la aparición de
errores.
9. Implementación de guías de interfaces interactivas: el objetivo de esta categoría que
contiene 33 heurísticas es dar sugerencias a incluir en todo el proceso de diseño de un
producto para incorporar principios y guías de diseño de interfaces persona‐
ordenador.

3.1.5.

1988, Norman

Donald Norman 3 , en 1988, listó los siguientes principios de diseño centrado en el usuario
(Norman, 1988):
1. Utiliza el conocimiento del mundo y el de la cabeza: La gente trabaja mejor cuando el
conocimiento que necesita para realizar una tarea está disponible externamente, ya
sea explícitamente o a través de limitaciones impuestas por el entorno. Los sistemas
deben proporcionar el conocimiento necesario dentro del entorno y sus operaciones
deben ser transparentes para soportar el usuario construyendo un modelo mental
apropiado de lo que está pasando.
2. Simplificar la estructura de las tareas: las tareas deben ser simples para evitar resolver
problemas complejos y una sobrecarga de memoria. Para conseguir tal fin se puede
proporcionar ayuda mental,  utilizar la tecnología para dar al usuario más información
sobre la tarea y una mejor retroalimentación, automatizar parte de la tarea y/o
cambiar la naturaleza de la tarea haciéndola más simple. Todo ello sin descuidar que el
usuario no debe perder el control del sistema.
3. Hacer las cosas visibles: la interfaz debe ser clara para que el usuario pueda ver los
efectos  del sistema hacia sus acciones.
4. Conseguir los mapas acertados: Las intenciones y acciones de los usuarios se deberían
mapear claramente en los sistemas de control.
5. Explorar el poder de las limitaciones: tanto naturales como artificiales. Las
limitaciones son cosas del mundo que hacen imposible realizar alguna cosa excepto las
acciones correctas en el camino correcto.
6. Diseñar para los errores: anticiparse a los errores de los usuarios haría mejorar todo el
sistema.
7. Cuando todo falla, estandarizar: Si no hay un mapeo natural será preciso estandarizar.
De modo que el usuario deberá aprender a utilizar el sistema.


3

Autor destacado dentro del ámbito de la interacción, proviene de la rama de la psicología y ha escrito libros clásicos en el mundo
del diseño de interfaces como “The Design of Everyday Things”. http://www.jnd.org (última visita: 26/04/2010).


27


3.1.6.

1990, Molich y Nielsen

Rolf Molich y Jakob Nielsen definieron 9 principios (Molich, et al., 1990) para mejorar el
diálogo entre las personas y los ordenadores gracias a la inspección de una interfaz real por
parte de distintos expertos en la ciencia de la informática. A continuación se citan y comentan
brevemente los 9 principios elaborados:
1. Diálogo simple y natural: los diálogos no deben contener información innecesaria o
rara. Cada unidad de información extraña compite con una unidad importante de
información y se esconde la visibilidad de la importante. Toda la información debe
aparecer en un orden lógico y natural.
2. Hablar el lenguaje del usuario: El diálogo debe ser expresado claramente en palabras,
frases o conceptos familiares para el usuario más que términos orientados al sistema.
3. Minimizar la carga de memoria del usuario: La memoria de corto plazo del usuario es
limitada.  El usuario no tiene porque recordar la información de una parte del sistema
si se encuentra en otra parte. Las instrucciones de uso del sistema deben ser visibles o
fáciles de localizar cuando sean necesarias. Las instrucciones complicadas se deben
simplificar.
4. Hacerlo consistente: se deben denominar con el mismo término las palabras, acciones
o situaciones que tengan el  mismo significado. La consistencia significa coordinación
entre subsistemas y entre sistemas independientes más grandes con población común
de usuarios.
5. Proporcionar retroalimentación: El sistema debe informar al usuario sobre que está
haciendo proporcionando al usuario retroalimentación en un tiempo razonable.
6. Proporcionar marcas claras: El sistema nunca capturará los usuarios en situaciones
que no tienen una salida visible. Los usuarios a menudo prueban las funciones del
sistema por los errores y necesitarán marcas claras de salidas de emergencia para
abandonar el estado no deseado sin tener que ir a través de un diálogo extenso.
7. Proporcionar atajos: Las características que hacen el sistema fácil de aprender, como
los diálogos fáciles y la entrada de campos en cada visualización, son a veces
engorrosos para la experiencia del usuario. Proporcionar atajos claros, ocultos para los
usuarios noveles, al sistema para que todos los usuarios tengan la posibilidad, si
descubren que existen, de utilizarlos.
8. Proporcionar unos buenos mensajes de error: Los buenos mensajes de error son
defensivos, precisos y constructivos. Los mensajes defensivos defienden el problema
justificando una deficiencia en el sistema informático y nunca critican al usuario. Los
mensajes precisos proporcionan al usuario información exacta sobre la causa del
problema. Los mensajes de error constructivos proporcionan al usuario sugerencias
sobre que puede realizar para solucionar el error.
9. Prevención de errores: Mejor que los mensajes de error buenos son los diseños
cuidados que previenen que ocurra el problema en primer lugar. Se considera uno de
los principios más importantes por estos dos autores ya que evitan muchos otros
problemas de usabilidad.


28


3.1.7.

1992, Mayhew

Deborah Mayhew redactó en 1992 una serie de principios (Mayhew, 1992) relacionados con el
diseño de sistemas centrados en el usuario los cuales se pueden clasificar en 12 categorías de
heurísticas:
1. Compatibilidad del usuario, del producto, de las tareas y de los procesos del sistema:
con la finalidad de adaptar perfectamente el producto al usuario que lo utilizará es
preciso que todo el proceso esté correctamente coordinado.
2. Consistencia y robustez: este principio hace referencia a la vulnerabilidad del sistema
a los errores. El sistema no debe contener errores que puedan despistar o confundir al
usuario.
3. Familiaridad: si un usuario ya está acostumbrado a utilizar un sistema interactivo
parecido es posible que se adapte mejor a la nueva interfaz debido a que ya tiene
experiencia en el uso de este tipo de sistemas.
4. Simplicidad: es preciso que el sistema interactivo sea simple para facilitar el uso y
aprendizaje del mismo.
5. Manipulación directa: el usuario final debe poder utilizar directamente todos los
elementos que se ofrecen en el sistema.
6. Control: el usuario debe tener la sensación de controlar totalmente el sistema que
está utilizando.
7. WYSIWYG: (What you see is what you get) es recomendable mostrar al usuario el
aspecto final de la información que está entrando al sistema proporcionando un editor
de texto del tipo WYSIWYG, es decir, mostrando lo que se va entrando con el formato
final que se obtendrá.
8. Flexibilidad: el sistema debe ser capaz de adaptarse a las necesidades de cualquier
tipo de usuario.
9. Sensibilidad y retroalimentación: el sistema debe mantener al usuario siempre
informado de su estado.
10. Tecnología invisible: el usuario no se debe percatar de las tecnologías que se utilizan
en el diseño y funcionamiento  del sistema interactivo.
11. Protección: el sistema debe ser capaz de proteger los datos del usuario para que nadie
externo al sistema pueda acceder a ellos.
12. Facilidad de uso y aprendizaje: se debe proporcionar facilidad de uso y aprendizaje
para conseguir que cualquier usuario sea capaz de utilizar el sistema o aprender a
utilizarlo de forma rápida, fácil y eficiente.

3.1.8.

1994, Nielsen

Cuatro años más tarde, Jakob Nielsen 4 modifica el conjunto de heurísticas definido junto con
Molich. Nielsen define una lista de 7 factores de usabilidad con la ayuda de 11 proyectos
desarrollados por distintos autores. Estos proyectos citados en su artículo presentan listados
de heurísticas adaptados a casos muy diferentes mediante los cuales y debido a su gran
variedad, Nielsen es capaz de confeccionar, fusionando todas las heurísticas, 7 factores o


4

El creador de la evaluación heurística y un referente en el ámbito de la usabilidad y el diseño de interfaces.
http://www.useit.com/ (última visita 26/04/2010)


29

categorías que se dividen en heurísticas abarcando una gran variedad de características de
usabilidad (Nielsen, 1994a) .
1. Visibilidad del estado del sistema: esta categoría está compuesta por 12 heurísticas y
se refiere a la visualización en todo momento del estado del sistema. Es decir, a la
buena retroalimentación hacia el usuario para que este sea capaz de percibir en todo
momento que está haciendo el sistema.
2. Unión entre el sistema y el mundo real: compuesto por 12 heurísticas se preocupa
por utilizar un lenguaje que se adecúe a las características propias del usuario, a su
modelo mental para conseguir que el usuario entienda al sistema.
3. Control y libertad para el usuario: 9 heurísticas conforman este grupo que pretende
proporcionar al usuario todas las facilidades posibles para que pueda realizar todo tipo
de acción sin dificultad ninguna y dándole la posibilidad de realizar todo tipo de
acciones, enfatizando el uso de acciones como retroceder, salir de forma radical,…
4. Consistencia y estándares: consiste en 8 heurísticas que velan para mantener el
sistema siguiendo los estándares adecuados y manteniendo la consistencia en todo el
sistema interactivo.
5. Prevención de errores: 6 heurísticas se definen para prevenir los posibles errores que
puedan surgir durante la interacción con una interfaz y, en el caso de que sucedan, se
debe buscar la manera de subsanarlos rápidamente proporcionando las opciones
necesarias que debe hacer el usuario de forma muy clara y sencilla.
6. Reconocimiento más que recuerdo: esta categoría compuesta por 14 heurísticas
define que se debe realizar para que el usuario sea capaz de reconocer rápidamente la
opción más adecuada a sus objetivos concretos y sea capaz si debe volver a utilizarlo
de volverlo a localizar más que recordar la opción que eligió.
7. Flexibilidad y eficiencia de uso: 9 heurísticas se encargan de validar si el sistema está
compuesto por acciones que dan flexibilidad al usuario que las utiliza y también
aumentan la eficiencia en su uso.

3.1.9.

1995, Constantine

Larry Constantine publicó en 1995, 5 reglas con propósitos generales y 6 principios más
específicos (Constantine, 1995) para diseñar interfaces usables y facilitar el aprendizaje de los
usuarios finales. A continuación se listan y describen las 5 reglas y 6 principios presentados por
el autor:
Reglas:
1. Acceso: Los sistemas son usables, sin ayuda ni instrucciones, para el usuario que tiene
conocimiento y experiencia en el dominio de la aplicación pero no con el sistema.
2. Eficacia: Los sistemas buenos no interfieren o impiden el uso con eficiencia para los
usuarios que tienen habilidad y experiencia con el sistema.
3. Progresión: Los sistemas buenos facilitan continuamente el avance del conocimiento,
habilidades y facilitan y acomodan cambios progresivos en el uso, como los usuarios
que ganan experiencia con el sistema.
4. Soporte: Los sistemas buenos soportan el trabajo real que los usuarios prueban de
cumplir, lo hacen fácil, simple, rápido y/o más divertido.


30

5. Contexto: Los sistemas buenos son agradables a las condiciones y ambientes del
contexto operacional actual.
Principios:
1. Principio de visibilidad: Mostrar todas las opciones necesarias y los materiales para
hacer visible una tarea sin distraer al usuario con información extraña o redundante.
Semejante a los editores de contenido WYSIWYG, se debe utilizar un WYSIWYN : What
You See Is What You Need.
2. Principio de retroalimentación: Informar a los usuarios de las acciones e
interpretaciones, cambios de estado o condiciones, y errores o excepciones utilizando
un lenguaje claro, conciso y no ambiguo para los usuarios.
3. Principio de estructura: Organizar la interfaz de usuario de forma adecuada poniendo
la información con el mismo significado o uso junta y separar la información no
relacionada mediante modelos claros y consistentes que son evidentes y reconocibles
por los usuarios.
4. Principio de reutilización: Reducir la necesidad de los usuarios de repensar y recordar
para reutilizar componentes y comportamientos internos y externos, manteniendo la
consistencia con el propósito de conseguir un sistema consistente.
5. Principio de tolerancia: Ser flexible y tolerante, prevenir los errores cuando sea
posible tolerando variedad de entradas y secuencias e interpretando todas las
acciones razonables, reduciendo el coste de los errores y sin usar los controles de
deshacer y rehacer.
6. Principio de simplicidad: Hacer las tareas comunes y simples fáciles de realizar,
comunicando los mensajes mediante el lenguaje de los usuarios y proporcionando
buenos atajos que relacionen los procesos largos.

3.1.10.

1996, Instone

Keith Instone redacta en 1996 un informe técnico 5 donde especifica la serie de principios
heurísticos definida por  Nielsen pero con comentarios específicos para la web. A continuación
se resumen en las siguientes categorías:
1. Hablar el lenguaje del usuario: Se debe utilizar en todo momento el lenguaje del
usuario.
2. Minimizar la carga de memoria: Los datos necesarios para que el usuario cumpla sus
objetivos con éxito deben estar siempre visibles o fáciles de localizar.
3. Consistencia: el diseño de la interfaz debe ser consistente, es decir, no deben aparecer
cambios súbitos en la estructura y estética de la página. Con esto se evitará que el
usuario se desoriente o piense que ya no está en la página que entró en un inicio.
4. Retroalimentación: El sistema debe informar en todo momento del estado del sistema
de acuerdo con las acciones que realice el usuario que lo esté utilizando.
5. Marcar claramente las opciones de salida: El usuario debe ser capaz de identificar
con tan solo una hojeada las opciones que le permiten abandonar o salir de la
aplicación.


5

http://instone.org/heuristics  (última visita: 12 de febrero del 2010)


31

6. Atajos: Este principio pretende facilitar el acceso a contenido a los usuarios más
experimentados con el sistema proporcionando siempre que sea posible una opción
de atajo.
7. Mensajes de error correctos: En el caso que se produzca un error, el usuario debe ser
informado en un lenguaje claro y que sea entendible.
8. Prevención de errores: Se debe intentar reducir al mínimo el número de errores que
se pueden producir en el sistema por culpa de la utilización del mismo por los usuarios.
9. Ayuda y documentación: El usuario debe tener a su alcance la ayuda o documentación
necesaria para ser capaz de utilizar el sistema sin ninguna dificultad.

3.1.11.

2002, Nielsen y Tahir

En el año 2002 Jakob Nielsen y Marie Tahir presentan su libro “Usabilidad de páginas de inicio:
análisis de 50 sitios web” (Nielsen, et al., 2002) donde se presentan 26 categorías que se
dividen en heurísticas que evalúan la usabilidad de las páginas de inicio de un sitio web. A
continuación se presentan las 26 categorías y una breve descripción de cada una de ellas:
1. Finalidad del sitio: dónde se encuentran los usuarios, a qué se dedica la empresa y qué
pueden hacer los usuarios en el sitio son algunos los aspectos a tener en cuenta en
esta categoría de heurísticas. Resumiendo, cuales son las principales finalidades del
sitio presentando una página de inicio que se reconozca y sea impactante.
2. Información acerca de la empresa: debe aparecer en la página de inicio información
corporativa sobre la empresa como puede ser quienes somos, estructura organizativa,
departamentos, sala de prensa,… y sobretodo la información necesaria para poder
ponerse en contacto con la empresa: teléfono, email,…
3. Redacción de contenido: debido a que el usuario solamente ojea la información es
importante sintetizar el texto en la portada para que el usuario sea capaz de percibir
toda la información en tan solo un golpe de vista. Esta categoría puede ser aplicada a
cualquier otro tipo de página.
4. Revelar el contenido a través de ejemplos: ayudan a transmitir la filosofía del sitio,
revelan información sobre los productos que se ofrecen, lo específico suele ser más
importante que lo general y ayudan a navegar por el sitio.
5. Acceso a archivos y contenido ya aparecido: es útil incluir contenido que se ha
visitado en ocasiones anteriores para facilitar la localización al usuario que ya ha
buscado una información dentro de la web.
6. Vínculos: el cumplimiento de las guías que se presentan en esta categoría no son
imprescindibles para que el usuario consiga su objetivo con éxito. Aun así, las páginas
de inicio están llenas de vínculos por lo que no se puede descartar añadir algunas
pautas para regular la usabilidad de este tipo de contenido web.
7. Navegación: el área de navegación debe presentar las categorías del contenido más
importante del sitio. Un usuario debe ser capaz de saber la categoría que debe escoger
para conseguir la información que está buscando.
8. Búsqueda: hacer que sea visible, amplia y sencilla. Los usuarios deben localizarla
rápidamente y utilizarla sin ningún tipo de problema para encontrar los resultados
óptimos a sus búsquedas.


32

9. Herramientas y accesos directos a tareas: Para destacar la información más relevante
del sitio se pueden utilizar los accesos directos a las tareas más importantes. La clave
del éxito de estos accesos directos es saber cuáles son las tareas que se deben
presentar en los accesos directos de la página de inicio de la web.
10. Imágenes y animación: las imágenes en la portada de una web pueden facilitar el
reconocimiento del objetivo principal de la misma, así como mejorar mucho el aspecto
estético de la web. Aun así, si existe una aglomeración de imágenes es posible que la
web se vea sobrecargada estéticamente y el tiempo de carga o descarga de la web se
vea afectado. Además las animaciones en pantalla llaman la atención pero son
formatos más complejos no recomendados para las páginas de inicio.
11. Diseño gráfico: El diseño gráfico de la página de inicio tiene como objetivo principal
atraer la atención del usuario hacia los elementos más importantes que aparecen en la
portada de la web.
12. Widgets de la Interfaz de Usuario (IU): Tanto los widgets como los elementos
desplegables del menú, las listas de selección y los cuadros de texto se deben evitar en
las páginas de inicio. Solo se deben utilizar si su uso es totalmente imprescindible.
13. Títulos de ventana: es importante, aunque a veces pase desapercibido, añadir en el
diseño de la página web el título de la ventana. Este título es el que aparece por
defecto cuando se añade un marcador de la página o cuando se realiza una búsqueda
a través de un buscador. Este título debe contener las palabras más importantes que
describan el sitio web que se pretende titular.
14. Los URL: los url de las páginas deben ser lo más sencillos posibles para facilitar que el
usuario recuerde el nombre de la página. El URL también ayuda, dentro de la
navegación de un sitio, a posicionar el lugar exacto de la web donde está navegando el
usuario.
15. Noticias y notas de prensa: Para que las noticias sean eficaces en las páginas de inicio
se deben dotar de titular y entradillas que proporcionen información a los usuarios
para que ellos decidan si leer toda la noticia o descartarla evitando hacerle realizar
más clics o acciones de las necesarias.
16. Ventanas emergentes y páginas intermedias: Generalmente se debe mostrar el
contenido del sitio inmediatamente. No es recomendable, y hasta puede resultar
molesto al cabo de utilizarlo varias veces, la aparición de ventanas emergentes y
páginas intermedias.
17. Publicidad: los usuarios, cada vez más, se están volviendo inmunes a la existencia de
publicidad en la web. Tienden a evitar tanto la publicidad como todo el contenido que
puede confundirse como publicidad. Además, es recomendable que la introducción de
publicidad se adapte al diseño estético de la web.
18. Bienvenidas: las bienvenidas son recursos que ya no se acostumbran a utilizar en la
web. Aun así, si es imprescindible gozar de un saludo inicial incluya en ella los objetivos
o funciones principales que ofrece la web.
19. Comunicación de problemas técnicos y gestión de emergencias: Es importante
actualizar la página de inicio con la información relevante y necesaria para el usuario
informando sobre el estado actual de la situación.
20. Premios y distinciones recibidos: No es recomendable, para evitar la sobrecarga del
usuario, añadir este tipo de contenido en la página de inicio.

33

21. Recarga y actualización de la página: la recarga o actualización debe ser suave y
mantener la continuidad con la experiencia ya adquirida por el usuario antes de que se
produjera la actualización o recarga.
22. Personalización: la personalización se ejecutará con éxito si ésta es posible añadiendo
valor a la página pero sin aumentar el esfuerzo. Las personalizaciones pueden ser
varias desde organización del contenido por especializaciones como geográficamente.
23. Recopilación de datos del cliente: Es recomendable, en el caso que un registro sea
necesario, informar al usuario de forma clara que ventajas e inconvenientes requiere
el registro a su página web. De modo que el usuario pueda decidir si los acepta o no.
24. Fomento de una comunidad: lo primero es detectar si es preciso que el sitio incluya
una comunidad. De ser así, se debe informar a los usuarios con ejemplos específicos
de lo que se puede obtener si se forma parte de esta comunidad.
25. Fechas y horas: Los usuarios deben estar informados de la actualidad de la
información que están visitando, aun así no es preciso añadir junto a cada bloque de
información la fecha i hora de introducción o modificación. En los casos en los que sea
necesario, se debe indicar el formato elegido para mostrar la fecha para que cualquier
usuario pueda traducirlo al formato de hora local.
26. Visualización de cotizaciones bursátiles y números: Las cotizaciones bursátiles deben
ser fáciles de entender y leer.

3.1.12.

2003, Tognazzini

En el año 2003, Bruce Tognazzini publicó en el portal web de “Ask Tog” (Tognazzini, 2003) el
conjunto de principios que se presentan a continuación:
1. Anticipación: Las aplicaciones deberían intentar anticiparse a las necesidades y deseos
del usuario. No se debe esperar a que el usuario busque o recuerde información o
herramientas. Se debe mostrar al usuario toda la información y herramientas
necesarias para cada etapa de su trabajo.
2. Autonomía: se debe mantener al usuario informado en todo momento del estado del
sistema así como mantener esta información fácilmente visible y actualizada.
3. Daltonismo: Si se utiliza el color para transmitir algún tipo de información, es preciso
utilizar cualquier otra metodología complementaria para transmitir la misma
información.
4. Consistencia: Dependiendo del caso es posible mantener una consistencia estricta. La
siguiente lista muestra los elementos de la interfaz ordenados de mayor a menor por
su necesidad de consistencia:
a. Interpretación del comportamiento del usuario. Ejemplo: los atajos de teclado
deben funcionar siempre igual.
b. Estructuras invisibles.
c. Estructuras visibles pequeñas.
d. El aspecto general de una aplicación o servicio (presentación, elementos de
diseño).
e. Una suite de productos.
f. Consistencia interna.
g. Consistencia con la plataforma.

34

5. Valor por defecto: debería ser posible descartar con facilidad y rapidez los valores por
defecto. Es recomendable no utilizar los términos “por defecto” sino “estándar”, “usar
valores habituales” o “restablecer valores iniciales”.
6. Eficacia del usuario: este principio pretende buscar la productividad del usuario y no
del ordenador manteniéndolo ocupado minimizando el tiempo de respuesta del
sistema. Los mensajes de ayuda deben ser concisos y que ayuden realmente a resolver
problemas. Un buen texto ayuda mucho en comprensión y eficacia. Es recomendable
que los menús y etiquetas comiencen con la palabra más importante.
7. Interfaces explorables: se debe facilitar al usuario la entrada al sistema sin muchas
resistencias. Aun así, una vez dentro, es recomendable dejar vías de exploración bien
señalizadas para que si el usuario decide explorarlas pueda hacerlo sin dificultades. Los
elementos visuales estables ayudan a navegar más rápido y actúan de referencia para
hacer aumentar la seguridad del usuario mientras navega por la interfaz. Y, sobretodo,
todas las acciones del sistema deben ser reversibles y/o debe aparecer una salida clara
del sistema.
8. Objetos humanos: los objetos humanos de la interfaz se pueden ver, oír, palpar o
percibir de otra manera. Los objetos humanos visibles de la interfaz son bastante más
familiares que los que utilizan otros sentidos para ser percibidos. Se comportan de
manera estándar y deben ser comprensibles, consistentes y estables.
9. Reducción de la latencia: Siempre que sea posible se debe utilizar el multihilo para
dejar la latencia en segundo plano. Se debe mostrar la percepción de la latencia
mediante:
•
•

•
•
•
•
•
•

Transformando el click en un feedback visual en los primeros 50 milisegundos.
Mostrando un reloj de arena para cualquier acción que dure entre medio segundo
y 2 segundos. Este reloj es recomendable que esté animado, para que el usuario
perciba que el sistema aun está trabajando.
Enseñando un mensaje comunicando la duración estimada para cualquier proceso
que pueda durar más de 2 segundos.
Comunicando el tamaño y el progreso con un barra de estado.
Mostrando mensajes de textos agradables y procurando mantener entretenido al
usuario mientras espera a que el ordenador termine.
Indicando con pitidos e indicaciones visuales muy claras cuando el usuario puede
volver a trabajar con el sistema.
Identificando los múltiples clics en un mismo objeto.
Haciendo que vaya más rápido. Eliminando de la aplicación cualquier aplicación
que no esté ayudando.

10. Aprendizaje: El caso ideal sería que el usuario se sentara delante del sistema por
primera vez y supiese como utilizarlo. Aun así siempre es preciso un proceso o periodo
de aprendizaje. La usabilidad y la facilidad de uso no son mutuamente excluyentes. Es
preciso decidir cuál es más importante y luego aplicar las dos según convenga.
11. Uso de metáforas: Se deben escoger las metáforas necesarias para permitir al usuario
la comprensión de los detalles del modelo conceptual.
12. Proteger el trabajo: Se debe evitar que el usuario pierda sus trabajos debido a un fallo
suyo, problemas de conexión u otra tipología de problemas como por ejemplo un
apagón.

35

13. Legibilidad: Es necesario que los colores utilizados para mostrar la información tengan
un alto contraste y que el tamaño de la letra sea legible para que la información
introducida sea percibida por cualquier persona que utilice un modelo de monitor
común.
14. Guardar el estado: La información de estado se debe almacenar temporalmente en
una cookie durante la sesión de conexión de un cliente y en el servidor cuando esta
sesión se finalice ya que la web utiliza un protocolo que no contempla el estado. La
información básica que es preciso que se almacené es:
a.
b.
c.
d.
e.

Si es o no la primera vez que el usuario utiliza el sistema.
Dónde se encuentra el usuario.
A dónde quiere ir.
Por dónde ha estado el usuario durante su sesión.
Dónde abandonó el usuario la última sesión.

Con todo se pretende que el usuario sea capaz de desconectarse y que al volverse a
conectar desde cualquier otro sitio pueda seguir con el trabajo que estaba realizando
antes de la desconexión.
15. Navegación visible: Una vez que el usuario llega a una página, se debe procurar
reducir la navegación al máximo y ofrecer la mínima imprescindible de forma clara y
natural. Procurar que parezca que el usuario está siempre en el mismo sitio, con el
trabajo apareciéndosele a medida que avanza. Esto, además de evitar el uso de mapas
y herramientas para la navegación, da una sensación de seguridad y control.

3.1.13.

2004, Pierotti

La penúltima clasificación de heurísticas que se presenta en este proyecto es la realizada por
Pierotti en 2004 (Pierotti, 2004). Pierotti añadió a las ya definidas por Molich y Nielsen otras 3
categorías de heurísticas que amplían el conjunto ya definido y subdividió todas las categorías,
tanto las propuestas por Molich y Nielsen como las 3 nuevas categorías del autor:
1. Habilidades: el sistema debe soportar, extender, acoplarse a las habilidades,
conocimiento previo y experticia de los usuarios sin reemplazarla.
2. Interacción respetuosa y gratificante con el usuario: La interacción del usuario con el
sistema debe mejorar la calidad de la interacción y su ciclo de trabajo. El usuario debe
ser tratado con respeto. El diseño debe ser estéticamente agradable así como
funcional.
3. Privacidad: El sistema debe ayudar a los usuarios a proteger su información personal y
privada.

3.1.14.

2008, González, Lorés y Granollers

En el año 2008 y durante la segunda fase del proyecto UsabAIPO se publicaron el conjunto de
heurísticas que se detallan a continuación y que se obtuvieron fusionando las propuestas por
Nielsen y Molich, Shneiderman, Instone, Tognazzini, Constantine y Mayhew. Con todo se
consiguió un conjunto de 4 categorías que se descomponían en criterios heurísticos que al
mismo tiempo se subdividían en preguntas heurísticas. (González, et al., 2008)


36

Dentro de la categoría de “Diseño” se encuentran las siguientes subcategorías:
1. Diseño gráfico: las heurísticas que forman parte de esta categoría se refieren a
interfaces amigables y limpias con un texto sencillo y accesible y que contenga un
diseño líquido.
2. Imágenes: esta categoría vela para que tanto imágenes como elementos animados
estén bien etiquetados y su calidad de visualización sea la adecuada.
Dentro de la categoría de “Navegación” se encuentran las siguientes subcategorías:
3. Áreas de navegación: se encarga de que la cantidad de elementos del menú sea la
adecuada, que los elementos estén visibles o sean de fácil detección.
4. Orientación: se refiere a todos los aspectos relacionados con el posicionamiento
dentro del sistema interactivo: acceso a la página de inicio, existencia de elementos de
orientación e identificación de los enlaces que aparecen en el sistema interactivo.
Dentro de la categoría de “Contenido” se pueden observar las siguientes subcategorías:
5. Información: hace referencia a la claridad de la información, la periodicidad con la que
se actualizan los datos y la visibilidad de los datos de contacto.
6. Internacionalización: haciendo hincapié en los idiomas que ofrece la web.
La categoría de “Búsqueda” se divide en:
7. Área de búsqueda: se ocupa de la forma en que se presenta y se utiliza el buscador del
sistema.
8. Resultado de la búsqueda: hace referencia a la comprensibilidad de los resultados de
la búsqueda y el control del sistema si es que no aparecen resultados.

3.2.

Análisis de las heurísticas

La elección de los principios de usabilidad de un autor o de otro para evaluar la usabilidad de
un sistema interactivo sigue siendo una de las tareas más minuciosas dentro del proceso de
planificación de una evaluación heurística.
Como se refleja en la sección anterior, muchos autores han realizado esfuerzos para definir
criterios heurísticos. Aunque los más utilizados por convención son los de Nielsen, no siempre
se adecúan completamente a las características de usabilidad del sistema interactivo que se
quiere evaluar. Así pues, consideramos que se precisa de una adaptación de los conjuntos de
heurísticas seleccionados para la evaluación, para conseguir cubrir todos los posibles aspectos
de usabilidad que se encuentran en la interfaz interactiva.
Es evidente que aún y la cantidad de investigadores que han trabajado para definir y modificar
conceptos heurísticos, de forma natural se ha producido una redundancia o coincidencia
importante en la definición de algunas de las categorías planteadas por distintos autores.
Con el fin de aprovechar todos estos esfuerzos previamente realizados, en esta sección se
incluyen los siguientes aspectos:


37

•
•
•

Identificación de los conjuntos de heurísticas comunes en la mayoría de los autores
citados en la sección anterior.
Descripción de las diferencias entre el significado y la cantidad de heurísticas en una
misma categoría definida por varios autores.
Valoración de la aplicación de las categorías propuestas a cualquier sistema interactivo
o a un conjunto específico de interfaces interactivas.

Destacar que durante todo el proceso de análisis se tuvieron en cuenta los criterios que se
describen en el siguiente apartado.

3.2.1.

Criterios de análisis de las heurísticas

De acuerdo con la recopilación de propuestas de conjuntos de heurísticas citadas en la sección
anterior, se diferencian dos tipos de conjuntos de heurísticas: las definiciones simples de
heurísticas y la definición de una jerarquía de heurísticas. Entendiendo por una parte, las
definiciones simples de heurísticas como el planteamiento de una serie de principios sin
subdivisiones. Y, por otra parte, entendiendo las jerarquías de heurísticas como planteamiento
de categorías que se dividen en diferentes heurísticas (siendo a su vez posible que estas
heurísticas se dividan en nuevas subheurísticas).
Para el análisis de las propuestas existentes y con el objetivo de determinar las categorías
comunes entre los diferentes autores, se han tenido en cuenta los siguientes criterios:
•

Solamente se ha considerado un nivel de profundidad de los conjuntos de criterios
heurísticos definidos por cada autor.
o

o

•

•

En el caso de una definición simple de heurísticas, se han considerado éstas
para el análisis.
En el caso de que el autor plantease una jerarquía de criterios heurísticos, se
ha elegido para la clasificación un solo nivel dependiendo de los niveles de la
jerarquía: si ésta presenta dos niveles (categoría‐heurística) se ha elegido la
categoría (para poder compararlo con los autores que solamente consideraron
un listado de principios). En el caso de existir más de dos niveles de categorías,
se ha escogido el nivel intermedio.

Durante el proceso de análisis y comparación (Tabla 4) se observa que en ciertos casos
algún autor puede aparecer varias veces en la nomenclatura de una misma categoría.
Esto sucede con los autores que han generado más de un nivel en su jerarquía de
heurísticas y varias de las agrupaciones realizadas corresponden a una misma
categoría genérica.
Aplicando estos criterios de categorías/heurísticas se obtienen unos grupos que se
asemejan, a nivel genérico de significado, a los principios que plantean los autores que
solo proponen un listado de principios de usabilidad.

Trabajando a nivel de categoría se obtiene un conjunto de criterios heurísticos más manejable
y sobretodo más fácil de comparar.


38


3.2.2.

Categorías de heurísticas desestimadas

Durante el proceso de análisis de los conjuntos de heurísticas ha sido preciso desestimar
algunas de las heurísticas propuestas por los autores. Veamos a continuación cuales han sido
las categorías desestimadas y los motivos de tal exclusión:
•

Existen categorías de heurísticas que sólo son consideradas por un único autor y, por
tanto, no existe una comparación posible. Las categorías desestimadas por este motivo
son las siguientes:
Tabla 2.
Autor
Constantine
Mayhew
Tognazzini
González

•

Categorías desestimadas por ser únicas
Categoría
Contexto
Tecnología invisible
Valor por defecto y Reducción de la
latencia
Diseño gráfico

Algunos de los primeros autores de criterios heurísticos como Smith y Mosier o Brown
clasificaron sus principios categorizando primeramente por tipo de contenido (imagen,
gráfico, texto, etc.) y subdividiendo estas categorías con heurísticas relacionadas con
aspectos de usabilidad (como son la consistencia, flexibilidad, reducción de carga
cognitiva, etc.). En nuestro trabajo la categorización de las heurísticas se ha escogido
de acuerdo con la clasificación utilizada por la mayoría de autores. Consecuentemente,
se considera una categorización a la inversa de los dos autores citados: primeramente
la característica de usabilidad y, posteriormente, un detalle de todos los aspectos a
tener en cuenta respecto a estas características de usabilidad. Las heurísticas que
cumplen con lo dicho y, por tanto, son desestimadas se pueden observar en la
siguiente tabla:
Tabla 3.
Autor
Smith et al.

Brown

•

Categorías desestimadas

Categoría
Entrada de datos (Designación de la
posición, designación de la dirección,
texto, formularios de datos, tablas,
gráficos, otros procesamientos de
datos, cambio del diseño ), control de
secuencias (Tipo de diálogo, definición
del contexto, cambiar el diseño).
Diseñar formatos de visualización,
color, gráficos y entrada de datos.

Por último, se han desestimado algunas de las categorías propuestas por Nielsen y
Thair por estar demasiado centradas en criterios de usabilidad de páginas web de
inicio (sin que sea éste el verdadero objetivo de este trabajo). Estas son: Finalidad del
sitio, información acerca de la empresa, revelar el contenido a través de ejemplos,
acceso a archivos y contenido ya aparecido, vínculos, imágenes y animación, diseño
gráfico, widgets de la IU, títulos de la ventana, noticias y notas de prensa, ventanas
emergentes y páginas intermedias, publicidad, bienvenida, premios y distinciones,
recarga y actualización de la página, personalización, fomento de una comunidad y
visualización de cotizaciones bursátiles y números.

Con estas premisas se obtiene un conjunto de categorías comunes propuestas por más de un
autor de los citados anteriormente.


39


3.2.3.

Análisis y comparación de las categorías

En esta sección se presenta la tabla resultante del análisis de heurísticas (Tabla 4) con las
categorías que del mismo se deducen. La tabla contiene la relación de las categorías utilizadas
por más de un autor junto a la nomenclatura que utiliza cada autor para designar estas
categorías coincidentes.

Tabla 4.
Categoría

Consistencia

Autor
Nielsen/Pierotti
Marshall et al./
Instone/ Tognazzini
Shneiderman
Molich et al.
Constantine
Mayhew
Tognazzini
Nielsen/Pierotti
Smith et al.

Feedback

Shneiderman
Molich et al.
Constantine/
Instone/Marshall et
al.
Mayhew
Tognazzini
Nielsen/Instone/
Pierotti
Tahir et al.
Pierotti
Smith et al.

Gestión de errores

Reducir la carga de
memoria

Marshall et al.
Brown
Shneiderman
Norman
Molich et al.
Constantine
Instone
Tognazzini
Nielsen/Pierotti
Constantine
Shneiderman
Molich et al./
Instone
Tognazzini
Norman
Nielsen
Pierotti

Flexibilidad

Diálogo

Marshall et al.
Mayhew
Tognazzini
Constantine
Nielsen/Pierotti
Tahir et al.
Marshall et al.
Brown
Molich et al.
Molich et al./
Instone
Norman
Tognazzini


Categorización de las heurísticas

Nomenclatura utilizada por el autor
Consistencia y estándares
Consistencia
Esforzarse por la consistencia
Hacerlo consistente
Estructura/Reutilización
Consistencia y robustez/ Compatibilidad del usuario, del producto, de las tareas y
de los procesos del sistema
Objetos humanos
Visibilidad del estado del sistema
Orientación del usuario: Información de estado/Realimentación
rutinaria/Realimentación del error/ Transmisión de datos: Control de la
transmisión
Ofrecer retroalimentación/Diseñar el diálogo para mostrar el trabajo pendiente
Proporcionar retroalimentación
Retroalimentación
Sensibilidad y retroalimentación
Autonomía
Prevención de errores
Comunicación de problemas técnicos y gestión de emergencias
Ayudar a los usuarios a reconocer, diagnosticar, y recuperarse de un error
Control de secuencias: Gestión de errores/Alarmas/ Entrada de datos: Validación
de datos
Procesamiento de errores
Mensajes de error y asistencia en línea
Ofrecer una gestión de errores simple
Diseñar para los errores/ Cuando todo falla, estandarizar
Proporcionar unos buenos mensajes de error/Prevención de errores
Tolerancia
Mensajes de error correctos
Proteger el trabajo/ Guardar el estado
Reconocimiento más que recuerdo
Visibilidad
Reducir la carga de memoria a corto plazo
Minimizar la carga de memoria del usuario
Uso de metáforas/Anticipación
Hacer las cosas visibles/ Conseguir los mapas acertados/ Explorar el poder de las
limitaciones
Flexibilidad y eficiencia de uso
Flexibilidad, estética y diseño minimalista/ Interacción respetuosa y gratificante
con el usuario
Adaptación
Flexibilidad
Daltonismo/Legibilidad
Soporte
Unión entre el sistema y el mundo real
Redacción de contenido/La URL
Seleccionar términos, palabras y objetos:
Redacción efectiva/ Diseño de diálogos
Diálogo simple y natural
Hablar el lenguaje del usuario
Utiliza el conocimiento del mundo y el de la cabeza
Eficacia del usuario

40

Categoría

Autor
Nielsen/Pierotti
Smith et al.
Marshall et al.
Brown

Control del usuario

Shneiderman
Constantine
Mayhew
Pierotti
Marshall et al.
Norman
Constantine/
Mayhew
Mayhew
Tognazzini
Constantine
Tahir et al.
Shneiderman
Molich et al.
Constantine
Instone
Pierotti/Instone
Smith et al.
González et al.
Marshall et al./
Tahir et al.
Tognazzini
Mayhew
Pierotti
Tahir et al.

Facilidad de uso

Atajos

Ayuda

Navegación

Protección

Smith et al.
Salidas de emergencia
Búsqueda
Internacionalización

Contenido

Molich et al.
Instone
González et al.
Tahir et al.
González et al.
Tahir et al.
González et al.
Marshall et al.
Smith et al.

Nomenclatura utilizada por el autor
Control y libertad para el usuario
Control de secuencias: Selección de transacciones/Interrupción/ Transmisión de
datos: Iniciar la transmisión
Centro de control
Control y visualización de recursos
Soportar el control por el usuario/ Permitir deshacer fácilmente las acciones
realizadas
Progresión
Manipulación directa/ Control/ WYSIWYG
Habilidades
Diseño de procedimientos y tareas/ Analogía y metáforas/ Entrenamiento y
práctica/ Unión entre usuario y tarea
Simplificar la estructura de las tareas
Simplicidad
Familiaridad/ Facilidad de uso y aprendizaje
Aprendizaje
Acceso
Herramientas y accesos directos a tareas
Proporcionar atajos para los usuarios frecuentes
Proporcionar atajos
Eficacia
Atajos
Ayuda y documentación
Orientación del usuario: Ayudas de trabajo/ Cambiar el diseño
Navegación: Áreas de Navegación/Orientación
Navegación
Navegación visible/ Interfaces explorables
Protección
Privacidad
Recopilación de datos del cliente
Protección de datos: General/ Identificación del usuario/ Acceso a datos/
Entrada/Modificación de datos/ Transmisión de datos/ Cambiar el diseño
Proporcionar marcas claras
Marcar claramente las opciones de salida
Búsqueda: Área de búsqueda/ Resultado de la búsqueda
Búsqueda
Contenido: internacionalización
Fechas y horas en formato internacional
Contenido: Información/Imágenes
Diseño de la pantalla / Organización / Interacción multimodal y multimedia
Visualización de datos: Texto/ Formulario de datos/ Tablas/ Gráficos/ Formato/
Codificación/ Control de la pantalla/ Cambio de diseño

Así pues se puede concluir que entre todos los autores se han detectado la definición de 16
categorías o principios heurísticos comunes a tener en cuenta a la hora de diseñar o evaluar un
sistema interactivo. Estas categorías son:
Consistencia, feedback, gestión de errores, reducir la carga de memoria, flexibilidad, diálogos,
control del usuario, facilidad de uso, atajos, ayuda, navegación, protección, salidas de
emergencia, búsqueda, internacionalización y contenido.

3.2.4.

Análisis en profundidad de las categorías identificadas

Después de detectar las categorías comunes de las heurísticas definidas, creemos conveniente
realizar un análisis más exhaustivo de las heurísticas que conforman cada una de las categorías
planteadas.
En secciones anteriores ya se ha apuntado que dependiendo del autor se definía una jerarquía
de heurísticas o simplemente se denominaban distintos principios a seguir para obtener un
sistema interactivo usable.

41

En esta sección solo se consideran las definiciones de criterios que conforman una jerarquía de
heurísticas. Es decir, solamente para las jerarquías de heurísticas definidas por Smith y Mosier
(Smith, et al., 1986), Marshall (Marshall, et al., 1987), Brown (Brown, 1988), Nielsen (Nielsen,
1994a), Tahir y Nielsen (Nielsen, et al., 2002), Pierotti (Pierotti, 2004) y González et al.
(González, et al., 2008) se comparan las distintas heurísticas que componen cada una de las
categorías localizadas (y que se muestran en la tabla anterior).
A continuación se presenta el análisis detallado de las categorías detectadas:
•

•

•

•

•

•

Consistencia: Nielsen, Pierotti y Marshall definen explícitamente una categoría de
consistencia y la subdividen en 8, 51 y 7 heurísticas, respectivamente. Las heurísticas
propuestas por Nielsen y Marshall consideran aspectos generales sobre consistencia
sin llegar a detalles como alineaciones, fuentes o tamaño del texto que sí son
consideradas en las heurísticas propuestas por Pierotti.
Feedback: Smith y Mosier con 49 heurísticas, Marshall con 5, Nielsen con 12 y Pierotti
con 29 definen heurísticas relacionadas con la retroalimentación del sistema
interactivo con el usuario. Smith y Mosier distinguen entre información de estado,
feedback rutinario, feedback de error y feedback de control de transmisión. Los otros 3
autores simplemente definen un listado de heurísticas de retroalimentación sin
realizar ningún tipo de clasificación entre ellas.
Gestión de errores: Smith y Mosier, Marshall, Brown, Nielsen, Tahir y Nielsen y Pierotti
definen 25, 4, 37, 6, 2 y 36 heurísticas respectivamente en la categoría de gestión de
errores. En todos los casos se remarca la gestión de prevención de los errores y el
tratamiento de los mismos en cuanto ocurren. La diferencia está en el nivel de
profundidad dependiendo del autor. Brown, Nielsen y Pierotti profundizan más en
aspectos como el lenguaje utilizado en el mensaje, la forma de mostrar el mensaje o la
consistencia entre mensajes de error semejantes.
Reducir la carga de memoria: de los autores que proponen una jerarquía de
heurísticas, solamente Nielsen con 14 heurísticas y Pierotti con 40 definen criterios
que tienen en cuenta explícitamente la reducción de la carga cognitiva del usuario. La
diferencia en la cantidad de heurísticas es el nivel de detalle. Se puede decir que
algunas de las heurísticas que define Pierotti se podrían considerar como
subheurísticas de las definidas por Nielsen. Por ejemplo: la heurística de Nielsen
“Proporcionar listas de opciones y elegir de estas listas” podría considerarse una
categoría que incluyera la heurística “¿Existe una diferencia visual evidente entre
"elegir uno" del menú o lista y "elegir varios"?” de Pierotti.
Flexibilidad: 7 heurísticas define Marshall, 9 Nielsen y 45 Pierotti referentes a la
adaptación del sistema interactivo a cualquier usuario. Pierotti detalla más que los
otros dos autores provocando, igual que en la categoría anterior, que alguna de sus
heurísticas puedan formar parte como subheurística de alguna propuesta por Marshall
y/o Nielsen.
Diálogo: Marshall con 17 heurísticas se centra en la utilización de unas palabras u
otras que provocan distintas connotaciones al usuario. Brown con 73 criterios, incluye
en la categoría de diálogo (tal y como se ha comentado anteriormente) aspectos de
consistencia, flexibilidad, ayuda, entre otros. Nielsen con 12, Tahir y Nielsen con 16 y


42


•

•

•

•

•

•

•

•

•

Pierotti con 24 se centran todos en aspectos relacionados directamente con el diálogo
entre el sistema interactivo y el usuario que está interaccionando.
Control de usuario: Tanto Smith y Mosier (con 43 heurísticas) como Brown (con 38)
incluyen a parte de lo propiamente relacionado con el control del usuario, aspectos de
otras categorías. Por su parte, Nielsen (con 9 heurísticas), Marshall (con 2) y Pierotti
(con 23 heurísticas) definen de forma más o menos detallada aspectos relacionados
con el control que es preciso que tenga un usuario, ya sea o no experto, del sistema.
Facilidad de uso: Marshall y Pierotti definen 93 y 22 heurísticas respectivamente. El
primero considera el diseño y procedimiento de tareas, las analogías y metáforas,
entrenamiento y práctica y la unión entre el usuario y las tareas. Por otra parte,
Pierotti se centra en un único grupo que define como habilidades y el cual incluye de
forma aleatoria heurísticas semejantes a las consideradas por Marshall.
Atajos: de los autores que definen una jerarquía, solamente Tahir subdivide la
categoría de Atajos en 3 heurísticas referentes a la necesidad de proporcionar al
usuario accesos directos para la realización de las tareas más frecuentes.
Ayuda: tanto Smith y Mosier como Pierotti con 32 y 23 criterios respectivamente
consideraron necesario la aparición de guías orientativas o de ayuda. El objetivo de las
mismas es el de dar soporte a los usuarios que lo necesiten en la realización de las
acciones para las cuales está preparado el sistema interactivo.
Navegación: En esta categoría tanto Marshall como Tahir como González con 3, 7 y 7
heurísticas respectivamente remarcan la necesidad de mostrar en todo momento
dónde se está posicionado y todas las opciones a las que se puede acceder.
Protección: Smith y Mosier definen 70 heurísticas que hacen referencia a la protección
de datos en la identificación del usuario, en el acceso, entrada, modificación y
transmisión de datos. Tahir y Nielsen con 2 heurísticas remarcan la necesidad de que el
usuario perciba las ventajas y desventajas del proceso de registro al sistema
interactivo. Pierotti, mediante 3 heurísticas, hace referencia al nivel de protección de
las áreas que deben ser totalmente inaccesibles.
Búsqueda: Nielsen y Tahir hacen hincapié en el estilo y visualización del cuadro de
búsqueda; mientras que González dedica 4 heurísticas al cuadro de búsqueda y 2 a los
resultados de esta búsqueda.
Internacionalización: Nielsen y Tahir con 5 heurísticas velan para conseguir que
aparezcan las fechas y horas de forma estándar e internacional sin confusión alguna.
González propone 2 heurísticas referentes a los distintos idiomas con los que está
implementado el sistema interactivo.
Contenido: en esta categoría cada autor que ha definido una categoría de heurísticas
especifica diferentes aspectos relacionados con el contenido que se muestra en la
interfaz interactiva. Smith y Mosier con 143 heurísticas describen por tipología de
contenido (imagen, texto, formulario,...) los requisitos a cumplir para que estos sean
usables. Marshall con 24 criterios se preocupa por el diseño de la pantalla, la
organización de contenidos y la interacción multimodal y multimedia. Finalmente,
González de forma parecida a Smith y Mosier define criterios dependiendo del tipo de
contenido (información genérica, imágenes,...)


43


3.2.5.

Aplicabilidad de las heurísticas

Hasta el momento todos los autores apuntan que los criterios definidos son capaces de
mejorar la usabilidad de interfaces interactivas, o definen criterios heurísticos que se pueden
aplicar en el diseño de interfaces interactivas siguiendo un modelo de proceso centrado en el
usuario (Granollers, et al., 2005).
Aun así, es preciso remarcar tres aspectos importantes a la hora de utilizar estos principios
heurísticos, independientemente de si éstos se usan en la evaluación de la usabilidad, o como
criterios en la creación de un sistema mediante el modelo de proceso centrado en el usuario:
Por una parte, los principios o categorías propuestas por la mayoría de autores reflejan
características comunes de usabilidad de interfaces interactivas en general; por lo que se hace
evidente una ampliación de estos criterios para poder cubrir todos los aspectos de usabilidad
de cada interfaz específica.
Por otra parte, y de forma adicional al punto anterior, los criterios citados hacen referencia (en
la mayoría de los casos) a interfaces web o aplicaciones de ordenador. Pero es evidente que no
solamente es posible hacer usable una interfaz web sino que existen otros tipos de dispositivos
que pueden ser susceptibles de un análisis de usabilidad; como por ejemplo dispositivos físicos
tales como quioscos públicos (Evolucy, 2004)(Maguire, 1997)(Oliva, et al.), o simplemente el
contexto donde se utiliza la interfaz interactiva (Mankoff, et al., 2003), o sistemas actualmente
emergentes basados en la web semántica. Así pues, aun y considerando que algunas de las
categorías propuestas son adaptables a este tipo de sistemas interactivos, es preciso no
desestimar la creación de nuevas categorías que incluyan características de usabilidad de
sistemas interactivos distintos a los sistemas web tradicionales.
Como se ha apuntado en la sección 3.2.2, se han desestimado algunas categorías de
heurísticas. Estos principios desestimados se podrían considerar como ampliaciones de las 16
categorías propuestas, de modo que dependiendo del sistema interactivo a analizar sea
posible  usarlas para la evaluación.

3.3.

Conclusiones

Cuando se decide realizar una evaluación heurística de una interfaz interactiva no se conoce
con claridad cuáles son las heurísticas más adecuadas a utilizar para la interfaz concreta que se
pretende analizar. Además, si esta interfaz no es un sistema web o se trata de una interfaz de
una web semántica, las heurísticas existentes para evaluarlas son escasas y se precisa, en la
mayoría de ocasiones, de una adaptación de las existentes para poder cubrir todos los
aspectos de usabilidad pertinentes.
En este capítulo se presenta un estudio para valorar la idoneidad de utilizar las heurísticas de
un autor u otro para evaluar un sistema interactivo concreto. Los resultados se muestran en la
Tabla 4 de la sección 3.2.3 de este trabajo, a continuación se muestran las principales
conclusiones que se pueden extraer de ella.
Aunque varios autores han realizado un importante esfuerzo para definir conjuntos de
heurísticas para la realización de una evaluación de usabilidad, queda demostrada la


44

coincidencia existente entre las categorías propuestas por estos autores en 16 categorías
comunes.
Además, para los autores que proponen una jerarquía de heurísticas, se ha realizado una
comparación para mostrar las diferencias o similitudes en lo referente a significado de
heurísticas y cantidad englobada dentro de una misma categoría. En la mayoría de casos el
significado entre heurísticas de conjuntos similares es parecido. Además, el número de
heurísticas que contiene cada categoría viene dado por el grado de detalle que cada autor
consideró cuando definió sus criterios.
Finalmente, todas las definiciones de heurísticas propuestas se redactaron para realizar o
evaluar sistemas interactivos (mayoritariamente sistemas web) por lo que se ve claramente la
necesidad de ampliar las 16 categorías para poder adaptar las heurísticas utilizadas a cada tipo
de sistema interactivo concreto.
Con todo, se puede decir que las 16 categorías de heurísticas definidas en este capítulo
configuran la base para poder realizar una evaluación heurística de un sistema interactivo en
plataforma web cuya misión sea únicamente informar. En el caso de disponer de un sistema
interactivo algo más complejo (como por ejemplo un portal web que permita realizar compras
o trámites en línea) será necesaria una ampliación de estas heurísticas para poder cubrir todos
los aspectos de usabilidad.
Destacar que es imprescindible realizar importantes esfuerzos para mejorar la realización de
una evaluación heurística, y, más concretamente, la elección de las heurísticas que se
utilizaran en cada evaluación. A pesar que esta técnica de evaluación de usabilidad supone una
de las técnicas más utilizadas, sigue careciendo de herramientas que den soporte tecnológico
durante todo el proceso de realización.


45

Llúcia Masip Ardévol                               Herramientas para realizar una evaluación heurística

4. Herramientas para realizar una evaluación
heurística
El análisis de usabilidad de una interfaz interactiva ha sido, desde sus inicios, un proceso
manual. Aun y el gran avance tecnológico que ha realizado la sociedad en general, no se ha
desarrollado una herramienta que automatice todo el proceso de análisis de usabilidad.
Aun así, dependiendo del tipo de análisis de usabilidad que se desee realizar existen unas u
otras ayudas que facilitan o semiautomatizan la evaluación de usabilidad. En este proyecto
solamente serán consideradas las herramientas existentes que son útiles para dar soporte o
semiautomatizar la realización de una evaluación heurística. En el survey (Ivory, et al., 2001) se
detalla para cada tipo de análisis de usabilidad las herramientas que dan soporte a la
evaluación de usabilidad del sistema interactivo. Para los métodos de análisis de usabilidad por
testeo detalla herramientas que dan soporte en la captura y análisis de datos. Para los
métodos de inspección presenta aparte de las herramientas que dan soporte en la captura y
análisis de datos todas aquellas que dan soporte a la crítica de estos datos. Finalmente, para
las metodologías de indagación, se detallan las herramientas que ayudan a capturar
información de la evaluación.

4.1.

Tipos de herramientas

Para llevar a cabo una evaluación heurística se han realizado esfuerzos importantes para crear
algún tipo de herramienta que facilitara el proceso tanto de gestión de heurísticas como de
realización de la evaluación heurística y la extracción de resultados. Aun así, y todavía hoy en
día, el proceso de realización de una evaluación heurística sigue siendo un proceso manual
donde a nivel general se realiza anotando las puntuaciones de severidad correspondientes a
cada heurística en un papel o en una hoja de cálculo.
Después de realizar un análisis exhaustivo de las herramientas que dan soporte o ayudan a
realizar algunas de las fases de una evaluación heurística, proponemos la siguiente
clasificación de herramientas que ayudan a realizar la evaluación heurística más
cómodamente:
•
•
•
•
•

Herramientas que trabajan con directrices.
Herramientas de verificación automática.
Herramientas de gestión de cuestionarios.
Herramientas para realizar una evaluación heurística.
Otras herramientas.

En las siguientes secciones de este capítulo se definen las tipologías de herramientas
previamente citadas y se detallan las herramientas localizadas en la literatura que dan
explícitamente algún tipo de soporte en alguna de las fases de realización de una evaluación
heurística. Es preciso remarcar que no se detallan todas las herramientas que existen sino
solamente nos centramos en todas aquellas que se han localizado que se utilizan o se han
creado explícitamente para dar soporte en la realización de una evaluación heurística como
técnica de análisis de usabilidad.

46


4.1.1.

Herramientas que trabajan con directrices

Existen herramientas que son capaces de gestionar distintas clasificaciones de heurísticas para
facilitar el trabajo con ellas. Sus características principales son creación de una o varias
clasificaciones de las heurísticas para permitir trabajar con ellas de forma más cómoda de
acuerdo al perfil del usuario que las utilice.
A continuación se presentan 4 herramientas que trabajan con directrices, éstas son: SIERRA
(Vanderdonckt, 1995), SHERLOCK (Grammenos, et al., 2000), GUIDE (Henninger, 2000) y
Interactive Heuristic Evaluation Toolkit (Sussex). Todas ellas son capaces de gestionar de forma
más o menos sofisticada distintas clases de directrices o guías.
Aun así, existen otras herramientas que también trabajan con guías pero que no se
contemplan en esta sección ya que las directrices con las que tratan no son específicamente
directrices de usabilidad, por lo que se ha desestimado la introducción de ellas en este trabajo.
Seguramente será preciso considerar todas estas herramientas desestimadas ahora, en el
proceso de diseño de la arquitectura de la herramienta que semiautomatizará la realización de
una evaluación heurística.
SIERRA
J. Vanderdonckt creó en 1995 la herramienta SIERRA (System Interactive for ERgonomic
Realization of Applications)(Vanderdonckt, 1995) para representar el modelo de organización
de directrices que había diseñado.
El objetivo principal de esta herramienta consiste en representar el modelo de entidad‐
relación creado mediante una interfaz gráfica. Esta interfaz gráfica presenta las directrices de
Smith y Mosier (Smith, et al., 1986) desde dos perspectivas distintas: por una parte muestra los
criterios de diseño y por otra parte, los criterios de evaluación.
Con esta doble visión se consigue que distintos perfiles de usuarios perciban la misma
información de acuerdo a sus objetivos concretos. Aun así, tanto los criterios de diseño como
los de evaluación no son completamente independientes. Es posible que algunos criterios
particulares de diseño tengan influencia en criterios de evaluación.
Una característica a remarcar de esta herramienta es el orden en el que se pueden enseñar las
directrices. Es posible ordenar las guías por objetos de interacción abstractos, por estilo de
interacción, por medios de interacción, por referencias, por criterios de diseño o por criterios
de evaluación.
Las directrices están internamente organizadas mediante una estructura jerárquica de modo
que se presentan tutoriales de usuario dependiendo del nivel de la jerarquía al que decidan
acceder estos usuarios (dependiendo de su perfil). En la Figura 2 se muestra parte de la
jerarquía que utiliza esta herramienta.


47


Figura 2. Herramienta SIERRA.

A continuación se detallan brevemente los 3 tipos de guías o manuales que desarrollaron y el
perfil de usuario al cual va destinada la guía:
•

•

•

La guía de referencia rápida resume los conceptos más importantes o la información
de la guía a la que más se accede. Por ejemplo, muestra solamente los títulos de las
directrices de las partes más altas de la jerarquía. Esta guía va destinada a personas
que requieren un conocimiento global de las directrices o que simplemente les
interesa obtener una visión general de las mismas. Uno de los perfiles que podrían
utilizar este tipo de guías serían los jefes de proyectos.
La guía del diseñador pretende dar a conocer los principales aspectos de cada una de
las directrices sin entrar en detalle. Sería la guía que utilizaría un usuario que
necesitara un nivel intermedio dentro de la jerarquía de directrices que se creó. Los
principales perfiles de usuarios que utilizarían está guía serían los diseñadores de
interfaces interactivas.
La tercera y última guía es la didáctica. Esta guía permite a todo tipo de usuarios
empezar a aprender desde el inicio todas las características de cada directriz hasta
conseguir tener un conocimiento específico de las guías. Por tanto, este manual está
dirigido a usuarios noveles que decidan aprender las guías de usabilidad, pero también
a usuarios expertos que decidan consultar algún tipo de información en el manual.

Otro aspecto importante a considerar en SIERRA es su sistema de búsqueda. Permite realizar
búsquedas por palabra clave, búsqueda lógica o búsqueda de texto completo. Dando la opción
de combinar las opciones citadas.


48

SHERLOCK
Sherlock es una herramienta que puede clasificarse, según clasificación de la sección 4.1, como
que trabaja con directrices. Fue diseñada por Grammenos et al. (Grammenos, et al., 2000) en
el año 2000 con la finalidad principal de dar recomendaciones en el diseño de un sistema
interactivo, es decir, una herramienta útil tanto para diseñadores y/o analistas, así como
también útil para expertos en usabilidad. Una vez realizada la validación de la interfaz, muestra
en forma de gráficos los resultados de cada regla evaluada.
Los objetivos principales que se plantearon los creadores de Sherlock fueron los siguientes:
•

•

•

Proporcionar un amplio conjunto de guías. Incluyendo directrices de propósito
general, estándares, guías extraídas de experiencias y guías de estilo corporativas.
Además dentro de este objetivo se considera la detección de posibles ambigüedades
en el conjunto de las guías elegidas para realizar la evaluación.
Soportar múltiples accesos, recuperar las guías, favorecer las críticas, ser capaz de
generar informes y reutilizar experiencias pasadas. El tercer objetivo es posibilitar la
interoperación de la herramienta con un sistema popular de desarrollo de interfaces
de usuario.
Construir un sistema que proporcione un medio extensible para trabajar con
directrices.

En el artículo se detalla una jerarquía de heurísticas de acuerdo con el grado de
automatización de la evaluación de las heurísticas. Es decir, según si los criterios heurísticos se
pueden evaluar automáticamente por el servidor de la herramienta o, si es preciso que un
evaluador experto realice un análisis manual del criterio para valorar su cumplimiento. La
herramienta almacena las reglas empíricas de acuerdo con esta jerarquía definida. La Figura 3
representa parte de la jerarquía que almacena Sherlock.
La herramienta sigue una arquitectura cliente‐servidor aunque tanto en el cliente como en el
servidor se pueden localizar distintos módulos con funciones varias desarrollada con Visual
Basic. En el artículo que se cita al principio de este punto (Grammenos, et al., 2000) se puede
obtener una explicación detallada sobre su arquitectura interna.


49


Figura 3. Herramienta Sherlock.

Guide
La herramienta GUIDE (Guidelines for Usability Through Interface Development Experiences)
fue creada en el año 2000 por Henninger (Henninger, 2000) con el propósito de crear y
mantener directrices de usabilidad.
La herramienta proporciona un conjunto de relaciones entre heurísticas que conforman una
jerarquía de criterios heurísticos de acuerdo con los definidos por Smith y Mosier. La
herramienta da la posibilidad de ampliar, modificar o eliminar las heurísticas que conforman la
jerarquía, así como, ampliar, modificar y eliminar las relaciones entre heurísticas que se
pueden establecer. En la figura que acompaña esta sección se puede visualizar la jerarquía de
heurísticas que presenta y las opciones que ofrece para gestionarlas.
Una característica que se debe remarcar de esta herramienta es la posibilidad que ofrece de
que los usuarios evaluadores puedan elegir unas u otras heurísticas dependiendo del sistema
interactivo que se desee diseñar o evaluar. Además, una vez seleccionada una heurística,
dependiendo de la que se elija y de las respuestas que se den a estas heurísticas se añadirán al
conjunto heurístico elegido otros subconjuntos de heurísticas relacionados con el que se está
tratando.
GUIDE esta desarrollado como interfaz web utilizando código html, Java y Javascript. Utiliza
una base de datos relacional para almacenar toda la información necesaria. Para poder
ejecutar la herramienta se recomienda utilizar Netscape Navigator 3.0 o superior y IE 4.0 o
superior.


50


Figura 4. Herramienta GUIDE.

Interactive Heuristic Evaluation Toolkit
Durante los años 2000 y 2001 y como parte de un proyecto de investigación del postgrado
“Human‐Centred Computer Systems Masters” de la Universidad de Sussex, se desarrolló una
herramienta (Sussex) que tiene como objetivo principal ayudar a escoger las heurísticas
necesarias para realizar la evaluación heurística de distintos recursos. La herramienta está
pensada como un recurso disponible para los profesionales de la usabilidad y como
herramienta pedagógica para los estudiantes, por lo tanto, el uso comercial está desestimado.
La herramienta permite generar listados de heurísticas para sistemas interactivos concretos
como son los sitios web, teléfonos móviles, pocket pc’s, tablets pc’s, quioscos interactivos,
televisión interactiva, agendas personales y juguetes interactivos. Además permite configurar
la elección de las heurísticas según los usuarios potenciales que utilizaran la web (jóvenes,
adultos, discapacitados o todos los usuarios) y según el tipo u objetivo de aplicación
(comercial, entretenimiento, educativo o todos los tipos). En la Figura 5 se pueden apreciar
estas características.
La herramienta interactiva permite realizar dos tipos de acciones. Por una parte visualizar un
listado de heurísticas para un tipo concreto de recurso electrónico y, por otra parte,
seleccionar las propias heurísticas para el tipo de recurso que se quiere evaluar y realizar una
comparación entre los resultados de la selección realizada y los generados en la lista que se
propone por defecto. Esta lista está compuesta por los criterios definidos por Nielsen y demás
autores que han adaptado las de Nielsen a estas interfaces interactivas.

51

Cabe destacar que ni el listado de heurísticas ni el listado de dispositivos a evaluar son grupos
cerrados. La elección de las heurísticas es totalmente subjetiva y depende de muchos  factores
por lo que no se descarta la inclusión de otras (aunque en la versión disponible en la web no se
contempla esta opción). Por lo referente al listado de dispositivos es preciso remarcar que se
muestra un conjunto de dispositivos representativo de los recursos modernos que existen
actualmente.
La herramienta está disponible vía web por lo que el acceso a la misma no depende de ningún
software ni de requisitos específicos.

Figura 5. Herramienta Interactive heuristic evaluation toolkit.

4.1.2.

Herramientas de verificación automática

La segunda tipología de herramientas que dan soporte en la realización de una evaluación
heurística son las herramientas de verificación automática. Este conjunto de herramientas está
compuesto básicamente por evaluadores automáticos que, de acuerdo con una serie de
pautas estandarizadas, analizan de forma automática su cumplimiento.
Se presenta a continuación la herramienta MAGENTA. Su principal funcionalidad es realizar
una verificación automática de distintos criterios heurísticos mediante el chequeo del código
html con el que está diseñado el sistema interactivo que se quiere evaluar (requisito
imprescindible si se quiere realizar un análisis automático de un sistema interactivo).


52

Cabe decir que, aparte de la herramienta que se presenta a continuación, existen otros
evaluadores automáticos que revisan el código html como son A‐Prompt 6 , TAW 7 , Bobby 8 ,
Hera 9 , LIFT 10 , LinkBot 11 , PISTA 12 y WebCriteria 13 , entre otros. Aun así, por estar destinados a
revisiones de accesibilidad más que de usabilidad (aunque un aumento de la accesibilidad está
relacionado con un aumento de la usabilidad) no se contemplan en esta sección. Así como
tampoco se contemplan todos los plugg‐ins que existen y que se pueden instalar en los
navegadores para ayudar a valorar determinadas heurísticas. Un ejemplo de estos pluggin es el
Firefox Accessibility Extension 14 disponible para el navegador Mozilla Firefox.
Magenta
Multi‐Analysis of Guidelines by an ENhanced Tool for Accessibility (MAGENTA) fue desarrollada
por los italianos Leporini et al. (Leporini, et al., 2006) en 2006. Su principal objetivo es
chequear si el sitio web es usable y accesible de acuerdo con unas directrices preestablecidas.
Para utilizar la herramienta se deben seleccionar el conjunto de guías a considerar en el
análisis automático. Estas guías están predefinidas y en el caso de querer añadir nuevas
directrices a considerarse es necesaria la intervención de un técnico para que las introduzca al
sistema de información del que dispone la herramienta.
Actualmente esta herramienta soporta las directrices para discapacitados visuales, las
directrices WCAG 1.0 y las directrices propias de la legislación italiana sobre accesibilidad.
Una vez realizado el análisis automático, la herramienta enseña las guías que el sitio web no
cumple dando soporte a la corrección de las mismas. Muestra la parte de código que es
necesaria cambiar para cumplir con una guía en concreto. La Figura 6 refleja esta
característica.
Una vez detectados todos los errores, la herramienta es capaz de generar un informe de
resultados estructurado y flexible.
La herramienta está desarrollada en Java que con la ayuda de la librería Tidy 15 chequea todo el
código de la página web para detectar incoherencias. Las directrices están almacenadas en
archivos XML. Para saber más sobre la herramienta se puede consultar la web
http://giove.isti.cnr.it/accessibility/magenta/ (última visita: 6 de abril de 2010).



6 http://aprompt.snow.utoronto.ca/

8 http://www.watchfire.com/products/desktop/accessibilitytesting/default.aspx

9 http://www.sidar.org/hera/

10 http://liftweb.net/

11 http://www.tetranetsoftware.com/

12 http://itakora.com/pista.exe

13 http://www.webcriteria.com

14 https://addons.mozilla.org/es‐ES/firefox/addon/5809

15 http://www.w3.org/People/Raggett/tidy/

(última visita: 16 de abril del 2010)

7 http://www.tawdis.net/


53


Figura 6. Pantalla de resultados de MAGENTA.

4.1.3.

Herramientas de gestión de cuestionarios

Existen herramientas la funcionalidad principal de las cuales consiste en facilitar la creación de
formularios o cuestionarios y extraer resultados mediante distintos métodos gráficos y/o
estadísticos.
A continuación se presentan 2 herramientas que gestionan formularios y que se utilizan
explícitamente para la realización de análisis de heurísticas de sistemas interactivos. Al igual
que en secciones anteriores, se han desestimado las herramientas que gestionan cuestionarios
pero que no hay constancia de su uso en el campo de la interacción persona‐ordenador y, más
concretamente, en la evaluación de usabilidad mediante la técnica de la evaluación heurística.
Aun así, y como también se ha comentado anteriormente, es posible que se deban considerar
las características de las herramientas desestimadas durante el estudio de la arquitectura de la
herramienta que semiautomatizará la realización de una evaluación heurística.
Veeut
En el año 2009, el grupo IDIS de la Universidad de Cauca, el Grupo SINFOCI de la Universidad
de Quindío y el grupo GRIHO de la Universidad de Lleida presentan: VEEUT (Virtual
Environtment Evaluation Usability Tools) como herramienta colaborativa para realizar pruebas
de usabilidad (Collazos, et al., 2009). La herramienta permite realizar distintas pruebas de
usabilidad con la ayuda de un framework que soporta el trabajo colaborativo. VEEUT presenta
distintas técnicas de evaluación de usabilidad como son el recorrido cognitivo, el test con
usuarios y la evaluación heurística, entre otros.
Considerando solamente la técnica de la evaluación heurística, VEEUT permite definir un
conjunto de heurísticas de forma manual (considerando la técnica como un formulario a
responder por los expertos en usabilidad). La puntuación de la respuesta a estas heurísticas

54

definidas también es posible configurarlo, de modo que la respuesta puede ser un intervalo
numérico, una respuesta abierta, cerrada o mixta. La siguiente imagen presenta la pantalla
donde se gestionan las heurísticas a evaluar y las puntuaciones a utilizar para cada heurística.
Una vez configurada la prueba y respuestas todas las preguntas del cuestionario de heurísticas,
la aplicación es capaz de imprimir un listado completo con las preguntas contestadas y las
observaciones realizadas por cada uno de los evaluadores de la interfaz.
VEEUT está desarrollado en tecnología Java y utiliza una base de datos mysql.

Figura 7. Herramienta VEEUT.

Auditoría de la  Guía GEDIS
La “Escola Politècnica Superior d’Enginyeria de Vilanova i la Geltrú” han desarrollado una
herramienta para realizar auditorías de seguridad de sistemas de información. La herramienta
está disponible vía web y su objetivo principal es validar si cumple o no con la guía GEDIS
(Ponsa, et al., 2006).
La herramienta almacena por defecto el cuestionario que se presenta en la guía GEDIS. Aun así
es posible añadir nuevas preguntas y gestionar las que se quieren evaluar para una interfaz
industrial correcta. Es decir, de todos los criterios que se presentan en la guía GEDIS se puede
realizar manualmente una selección de los más adecuados para evaluar un sistema industrial
concreto, así como añadir nuevos criterios si se considera necesario.
También es posible configurar hasta 5 opciones distintas de respuestas cualitativas que están
ponderadas internamente con un rango del 0 al 4 (siguiendo la puntuación definida por
Nielsen). Aunque no es necesario rellenar las 5 opciones sino que si se cree oportuno
solamente se pueden rellenar 2, 3 o 4.

55

Una vez realizada la planificación de la evaluación, es decir, una vez creado el cuestionario y las
posibles respuestas de cada una de las preguntas, los usuarios evaluadores pueden realizar la
puntuación de cada una de las cuestiones.
Actualmente, el sistema solamente permite realizar la puntuación de cada cuestión por un
evaluador. Aunque su metodología de trabajo incluye que varios evaluadores responden una o
varios capítulos de cuestiones. Es decir, dividen el cuestionario y cada evaluador puntúa una u
otra parte del mismo, pero todo considerando una única evaluación.
La herramienta posee otras funcionalidades que se deben considerar. Cuando un evaluador se
conecta a la aplicación, puede visualizar un estado actual general de la evaluación, visualizando
que partes del cuestionario ya están resueltas y que no. Además, la aplicación almacena un
histórico de resultados para poder observar de forma rápida y clara una comparación del
estado actual con previas auditorías.
Durante la realización de las puntuaciones, los evaluadores pueden añadir comentarios y
ficheros a cada una de las preguntas. En la siguiente ilustración se observa una de las
preguntas del cuestionario y el espacio y opciones disponibles para añadir observaciones y
documentos a la pregunta.
La herramienta está desarrollada en lenguaje HTML y PHP y se ejecuta bajo una base de datos
Mysql.

Figura 8. Auditoria de la Guía GEDIS.

4.1.4.

Herramientas para realizar una evaluación heurística

Este tipo de herramientas es el que engloba todas aquellas aplicaciones que facilitan o dan
soporte durante la realización de la evaluación heurística propiamente. Permiten elegir o no
las heurísticas a evaluar, dan soporte durante la puntuación de cada uno de los criterios
heurísticos y, en ocasiones, proporcionan algún tipo de resultado tanto cualitativo como
cuantitativo.


56

Así pues, en este tipo de herramientas se engloba una mezcla de los tipos nombrados
anteriormente. A continuación se detallan las principales características de las herramientas R‐
IDE, UsabAIPO‐Gestor heurísticas, Gestor de heurísticas, Accusa y CUTTER.
RIDE
En  el año 2006 Kemp y Setungamudalige publicaron la creación de R‐IDE (Kemp, et al., 2006):
herramienta vía web que daba soporte en la realización de una evaluación de usabilidad. Los
orígenes de esta herramienta se remontan en la aparición años antes del framework DECIDE y
se inspiran en las últimas tres fases de este framework (IDE) de ahí el nombre de R‐IDE.
El framework estaba disponible vía web y permitía a los evaluadores planificar las actividades
de evaluación para toda clase de sistemas además de un acceso rápido a los recursos
relevantes durante el proceso de planificación.
La intención era proporcionar soporte para múltiples técnicas de evaluación de usabilidad
como la evaluación heurística, recorridos cognitivos, cuestionarios, observaciones y
entrevistas. Aun así, en el artículo que se referencia, solo se considera la evaluación heurística
como metodología utilizable con la herramienta R‐IDE.
El proceso de funcionamiento de la herramienta consiste en seleccionar atributos específicos
para determinar cuáles son las heurísticas más adecuadas según el sistema que se esté
analizando. Estos atributos son: Tipo de sistema, categoría general, categoría específica y
grupo de usuarios. Por ejemplo correspondería: sitio web, comercio electrónico, carro de la
compra, todos los usuarios en general.
La herramienta web permite, dado un conjunto de heurísticas, la elección de las más
adecuadas (o elección del conjunto general) para la posterior evaluación individual por parte
de cada usuario evaluador del sistema. Es decir, el sistema proporciona, de acuerdo con los
atributos seleccionados, un listado de recomendaciones de heurísticas (que coinciden con las
de Nielsen añadiendo una ampliación propia de los autores para cubrir las necesidades de
usabilidad de estas interfaces) que el evaluador puede modificar y adaptar a su gusto. Otra
opción configurable por el evaluador es la escala de valores que se utilizará para puntuar cada
una de las heurísticas.
Debido a limitaciones de tiempo en el artículo que se cita se comenta que R‐IDE solamente
ofrece unas categorías específicas de heurísticas para sitios web en general complementando
las heurísticas de Nielsen, para facilitar búsquedas internas de un sitio web común y para sitios
web de hoteles y restaurantes bajo la categoría de comercio electrónico.
La herramienta está desarrollada en un servidor PHP y utiliza una base de datos MySQL. Como
característica adicional, se añadió a la herramienta una sección de mantenimiento para que los
administradores del sistema sean capaces de realizar fácilmente tareas de mantenimiento.
Aun así, para ampliar el listado de heurísticas para un determinado sistema interactivo es
necesario tener conocimientos tanto de PHP como de MySQL.


57


Figura 9. Herramienta R-IDE.

UsabAIPOGestorHeurística
En el año 2006 el grupo GRIHO (Grup de recerca en interacció persona‐ordinador i integració
de dades) diseñó un gestor de heurísticas que permitía gestionar el proceso de realización de
una evaluación heurística. La herramienta desarrollada se denomina UsabAIPO‐
GestorHeurística (González, et al., 2006) y estaba destinada a almacenar la información
pertinente para la experimentación, los datos de las webs de las universidades que se
evaluaban en el proyecto para el cual se diseñó la herramienta, los criterios heurísticos a
contestar por cada evaluador así como las puntuaciones y observaciones que pudieran realizar
cada uno de ellos. Las heurísticas incorporadas al sistema por defecto son las propuestas por
González et al.
Como se puede ver en la siguiente imagen (Figura 10), para cada criterio heurístico que se
tenía que evaluar aparecía a la parte superior la universidad en el cual se aplicaba el criterio, la
categoría de heurísticas con su pertinente criterio heurístico. El siguiente cuadro de texto
detalla los aspectos a considerar en cada uno de los criterios definidos, es decir, que debe
cumplir la página para puntuar este criterio positivamente.
A continuación aparece una leyenda como recordatorio del significado del rango de valores
que se utiliza para evaluar este proyecto y, finalmente, la puntuación real de cada criterio
heurístico. Además, en cada una de las puntuaciones aparece la posibilidad de añadir
observaciones.
El gestor está desarrollado con la herramienta Microsoft Office Access proporcionándole una
interfaz de usuario y un sistema de bases de datos. Por lo tanto, el sistema puede funcionar
únicamente en ordenadores con sistema operativo Windows y es necesario disponer de
conocimiento en el uso del software Microsoft Office Access para configurar o planificar la

58

realización de una evaluación heurística. Aun así, para la realización de la evaluación se
presenta una interfaz usable para poder puntuar cada una de las heurísticas sin necesidad de
conocer el funcionamiento de Access. La siguiente imagen presenta la pantalla de puntuación
de un criterio heurístico concreto.

Figura 10. Herramienta UsabAIPO-GestorHeurística.

Accusa
El grupo SQUaC (Software Quality Usability and Certification), que forma parte del Instituto
Tecnológico de Informática de la Universidad Politécnica de Valencia, diseñó un primer
prototipo de una herramienta denominada Accusa (Squac) que es capaz de gestionar los datos
relacionados con todo el proceso de la evaluación heurística.
Actualmente está diseñada en Microsoft Office Access aunque no descartan generar una
versión multiplataforma.
El prototipo de herramienta permite, siempre que se tengan conocimientos mínimos del
software de Microsoft Office Access, realizar el proceso de evaluación heurística completo.
Desde la definición de las heurísticas (recordando que se deben introducir mediante el entorno
de Access), creación de los perfiles de los evaluadores, realización de la evaluación puntuando
cada una de las heurísticas y teniendo la posibilidad de añadir observaciones y, finalmente,
Accusa es capaz de generar un informe o listado con los problemas de usabilidad que ha
detectado cada evaluador, basado en una plantilla de informe por defecto.


59

Como se puede apreciar, Accusa presenta unas características muy parecidas a la herramienta
UsabAIPO‐GestorHeuristicas. En la siguiente imagen se muestra la pantalla de evaluación de
una heurística en concreto.

Figura 11. Herramienta Accusa.

Gestor heurísticas
En septiembre del 2007 se presentó en un proyecto final de carrera de Ingeniería Técnica en
Informática de Gestión de la Universitat de Lleida, un gestor que permite realizar evaluaciones
heurísticas (Mur, 2007).
El objetivo principal de la herramienta es dar soporte en el proceso de realización de una
evaluación heurística. La herramienta se divide en dos bloques diferenciados: el módulo del
responsable y el módulo del evaluador.
El módulo del responsable (o administrador de la evaluación) permite crear un nuevo proyecto
de evaluación heurística y crear evaluadores para este proyecto. Una vez creado un proyecto,
es posible añadir o modificar tanto las categorías de heurísticas como las heurísticas
propuestas en cada una de las categorías ya propuestas (y que corresponden con las definidas
por González et al.). Después de definir un proyecto, sus evaluadores y de elegir manualmente
las heurísticas que se adecuan al sistema interactivo que corresponde, es posible enviar el
conjunto de heurísticas seleccionadas a los evaluadores expertos para que puedan realizar la
puntuación de cada una de ellas.
Otra función del módulo del responsable es extraer los resultados de la evaluación. Esta
funcionalidad solamente está disponible cuando alguno de los evaluadores a los que se ha

60

enviado el correo devuelve la evaluación heurística terminada. Por una parte, la herramienta
genera un gráfico con la cantidad de heurísticas que no se cumplen de cada categoría. Por otra
parte, aparece la posibilidad de imprimir los resultados de la evaluación.
Únicamente se puede acceder al módulo del evaluador si previamente el administrador de la
evaluación heurística ha definido en su módulo al experto evaluador y este recibe un correo
electrónico. El evaluador en cuanto accede a la aplicación puede ver los proyectos que debe
puntuar, la información básica para poder realizar la evaluación (como la puntuación que se
debe dar a cada heurística) y el proceso en sí de evaluación.
En la puntuación de las heurísticas  no se define el criterio de severidad que se puntúa, aun así
el rango de valores va de 0 (no es un problema) a 5 (No se aplica), y donde el 4 significa que es
un problema crítico de usabilidad. En la Figura 12 se muestra la pantalla de evaluación de las
heurísticas que conforman la categoría de “Claridad de los objetivos”.
Una vez realizadas todas las puntuaciones, el evaluador experto enviará su evaluación al
administrador de la evaluación mediante la opción que aparece en la pantalla.
La herramienta está desarrollada en tecnología .NET.

Figura 12. Herramienta Gestor de heurísticas.


61

CUTTER
La empresa Carlow International Incorporated ofrece una herramienta denominada CUTTER
(Carlow’s Usability Test Tool for Evaluation and Research) que mediante más de 1000 guías da
soporte en la evaluación de usabilidad de sistemas interactivos. Aun así, al tratarse de una
herramienta comercial, no se detallan en su portal web muchas características técnicas de la
misma.

4.1.5.

Otras herramientas

En este último grupo de herramientas se detalla una aplicación un tanto especial. Su principal
objetivo es realizar un análisis de usabilidad de un sistema interactivo pero utilizando una
metodología, según los autores, mejorada respecto la evaluación heurística. Además, enfatiza
la idea de agilizar la realización de este tipo de evaluaciones cambiando el uso de papel para la
realización de la evaluación y las reuniones posteriores a la evaluación por la utilización de esta
herramienta que permite realizar la evaluación en formato digital y la posterior puesta en
común de los resultados mediante un foro de debate.
La herramienta denominada SUIT (Systematic Usability Inspection Tool) (Ardito, et al., 2006),
así como su nuevo proceso de análisis de usabilidad, se detallan a continuación.
SUIT
La herramienta SUIT fue creada por el Departamento de Informática de la Universidad de Bari
(Italia) en el año 2006 (Ardito, et al., 2006). El objetivo principal de la aplicación es la
evaluación de usabilidad de sistemas interactivos mediante una técnica mejorada de la
evaluación heurística y denominada “SUE (Systematic Usability Evaluation) inspection”
(Matera, et al., 2002). Esta técnica se basa en el aprovechamiento de un conjunto de patrones
para guiar a los evaluadores por la interfaz para que detecten los problemas de usabilidad que
tiene el sistema que se está analizando.
El proceso que se realizará para la evaluación es muy parecido al que se utiliza de forma
convencional en una evaluación heurística. En la fase preparatoria de la evaluación, el
responsable de la evaluación debe escoger el conjunto de patrones que se analizaran en la
interfaz así como los evaluadores encargados de realizar el análisis. Para empezar la
evaluación, el responsable envía un correo electrónico a los evaluadores con los detalles a
considerar para realizar el análisis de usabilidad.
Para realizar el análisis, cada evaluador, individualmente, sigue cada uno de los patrones
seleccionados para localizar los problemas de usabilidad de la interfaz. En cuanto encuentra
uno debe añadirlo a la aplicación proporcionando los siguientes detalles: dónde se ha
encontrado el problema, qué principio de usabilidad se ha violado (el artículo no detalla cuales
son los principios de usabilidad que se usan, aun así parecen los definidos por Nielsen pues en
la imagen que aparece se observa que están predefinidos). La puntuación de cada problema
encontrado es la definida por Nielsen. Aparece la opción de describir el problema localizado así
como la posibilidad de añadir directamente una propuesta de mejora. Una vez finalizado el
debate, es posible listar el conjunto de problemas de usabilidad encontrados por todos los
evaluadores.


62

Una característica a destacar de la herramienta es la posibilidad de realizar el análisis en varias
etapas, es decir, empezar la evaluación en un momento concreto, parar y retomarla al cabo
del rato sin pérdida de datos.
Otra característica que ofrece es la posibilidad de debatir los resultados de la evaluación
mediante un foro. Con este foro se consigue que de forma asíncrona todos los evaluadores
puedan, durante un periodo de tiempo marcado por el responsable, discutir los puntos con
puntuaciones distintas entre evaluadores.
La herramienta está implementada mediante una página web dinámica que se sirve con un
servidor Apache y utiliza la tecnología de desarrollo php.

Figura 13. Herramienta SUIT.

4.2.

Análisis de las herramientas

En la sección anterior se han detallado las características más importantes de varias
herramientas que se utilizan para realizar alguna parte de una evaluación heurística. Como
hemos podido observar, cada una de las herramientas tiene unas características determinadas.
En la siguiente tabla se contemplan las principales características que cumplen o no cumplen
cada una de las herramientas propuestas anteriormente. Cabe remarcar que en esta sección
no se ha considerado la herramienta CUTTER por el hecho de no disponer de suficiente
información para poder realizar la comparación.
El significado de cada una de las columnas de la tabla es el siguiente:

63


•
•

Permite crear
heurísticas

Permite modificar
heurísticas

Permite eliminar
heurísticas

Presentan una
arquitectura
jerárquica

Autoria de las
heurísticas

Comparativa de las herramientas

Herramienta

Tabla 5.

Sierra

N/A 16

N/A

N/A

Sí

Smith y Mosier

Sherlock

N/A

N/A

N/A

Sí

N/A

Sí

Sí

Sí

Sí

No

No

No

Guide
Interactive
Heuristic
Evaluation
Toolkit

Magenta

Veeut
Auditoria
de la Guía
GEDIS
R-IDE
UsabAIPOGestorHeur
ística
ACCUSA
Gestor
heurísticas
SUIT

No

No

No

No

Sí

Sí

Sí

Sí

Sí

Sí

No

No

No

Sí

Sí

Sí

No

No

No

Sí

Sí

No

No

No

No

Smith y Mosier
Nielsen y
adaptaciones

Resultados

•

Tecnología de diseño

•

N/A

No

No

Visual Basic

Gráficos de los
resultados

Sí

Sí

html, java i
javascript

No

No

Sí

web

No

N/A

Java y XML

Cualitativos, informe
de resultados y
muestra el código
erróneo.

Sí

Java y
MySQL

Perfil
objetivo de
las guías
Evaluadores

•

Permite crear/modificar/eliminar heurísticas: significa la flexibilidad que tiene la
herramienta para permitir crear/modificar o eliminar una heurística sin necesidad de
tener conocimientos informáticos para realizarlo.
Presenta una arquitectura jerárquica: si el modelo de heurísticas propuesto está
organizado de acuerdo a una jerarquía o simplemente se representan mediante un
listado.
Autoría de las heurísticas: para conocer cuáles son las heurísticas utilizadas en el
diseño de este tipo de herramientas.
Perfil objetivo de las guías (Diseñadores y/o evaluadores): comparar el usuario
objetivo de los criterios heurísticos según cada herramienta.
Tecnología de diseño: tecnologías con las que ha estado desarrollada la herramienta.
Resultados: si la herramienta extrae algún tipo de resultado.

Diseñadores

•

Sí

Sí

Sí

N/A

Directrices para
discapacitados
visuales, las
WCAG 1,0 y las
que rigen la ley del
govierno italiano.

N/A

No

N/A

No

Sí

Guía GEDIS

No

N/A

Nielsen y
adaptación suya
para el comercio
electrónico

No

N/A

González

No

N/A

N/A

No

N/A

González

No

No

N/A

No

Sí

Sí

PHP,
HTML, y
MySQL
PHP,
HTML,
JavaScript y
MySQL

Observaciones de las
preguntas respuestas
Histórico de
evaluaciones con
resultados cualitativos
y cuantitativos
No

Sí

Aplicación
ACCESS

No

Sí

Aplicación
ACCESS

Informe con los
problemas detectados

.Net

Informe y gráfico

Apache y
Php

Cualitativos, informe
de principios violados.

Sí
Si

16 N/A: no se detalla en el artículo referente a esta herramienta


64

A continuación se detallan las observaciones más importantes que se extraen de la tabla
anterior:
•

•

•

•

•

•

Aunque algunas herramientas sí permiten crear/modificar/eliminar criterios
heurísticos, estas acciones están muy restringidas. Es decir, ninguna de las
herramientas propuestas está compuesta por un amplio conjunto de heurísticas.
La arquitectura que presentan para almacenar o presentar las heurísticas, en
ocasiones corresponde con una arquitectura jerárquica, aunque otras no presentan
ninguna arquitectura clara. Esto significa que, posiblemente, las heurísticas estén
almacenadas en una base de datos convencional sin ningún tipo de relación jerárquica.
Es de gran curiosidad observar que, aun y sabiendo que por convención y en la
mayoría de los casos se parte de las heurísticas de Nielsen, muy pocas herramientas
han considerado estas heurísticas prefiriendo implementar las propuestas por Smith y
Mosier o González, entre otras.
El perfil de usuario al que van destinadas las guías es al perfil evaluador, de modo que
se puede decir que se considera más la usabilidad en la etapa de evaluación del
sistema interactivo que no en la etapa de diseño. Sería necesario que todas las
directrices estén destinadas tanto a diseñadores/programadores como a evaluadores.
Seguramente con este enfoque se conseguirían sistemas interactivos usables más
fácilmente desde el principio del proceso de desarrollo.
En cuanto a la tecnología utilizada para implementar las herramientas se pueden
observar dos tipologías diferenciadas: por una parte las herramientas implementadas
para estar disponibles vía web y, por otra parte, las implementadas como aplicaciones
de escritorio. Las herramientas desarrolladas para la web, en general utilizan php,
html, Java y JavaScript bajo una base de datos MySQL. Las herramientas
implementadas sin necesidad de estar conectadas a internet para utilizarlas son
aplicaciones realizadas con el software Microsoft Office Access.
No todas las herramientas presentan los resultados de la evaluación. Aun así las
herramientas que sí que lo hacen se basan en imprimir los puntos disconformes con
sus pertinentes observaciones, junto a algún tipo de gráfico muy sencillo.

4.3.

Conclusiones

Una vez localizados los tipos de herramientas que se pueden utilizar para tener soporte o
realizar una evaluación heurística, se obtienen una serie de conclusiones:
No se ha localizado en la literatura ninguna herramienta que permita realizar una evaluación
heurística completa. Es decir, que permita realizar la planificación, realización y extracción de
resultados del análisis realizado.
Todas las herramientas o marcos de trabajo presentados en la sección anterior permiten
realizar, más o menos automáticamente, algunas de las partes que componen todo el proceso
de la evaluación. Se detallan herramientas que son capaces de gestionar heurísticas mediante
distintos métodos de clasificación e incluso de generar algún tipo de recomendación; como en
el caso de la herramienta “Interactive Heuristic Evaluation Toolkit” capaz de realizar una
recomendación para cada caso específico de interfaz y facilitar la modificación de la lista


65

generada para que sea el evaluador quien termine valorando la idoneidad del conjunto de
heurísticas recomendado.
Otras herramientas dan soporte durante el proceso de evaluación, de modo que permiten
elegir la puntuación que se utilizará y realizar cada una de las evaluaciones pero no permite
escoger las heurísticas. De este conjunto aparecen herramientas que permiten también
extraer resultados. Y también existen herramientas que son capaces de imprimir un listado de
problemas de usabilidad, una vez realizada la evaluación o son capaces de generar un gráfico
de acuerdo con la cantidad de heurísticas que se no se cumplen.
En resumen, aparecen una cantidad importante de herramientas que pueden facilitar el
proceso de realización de una evaluación heurística pero que presentan todas ellas unas u
otras carencias. Es preciso realizar una unificación de las funcionalidades de todas las
herramientas detectadas para conseguir una de nueva que englobe todas las funcionalidades
posibles para semiautomatizar todo el proceso de realización de una evaluación heurística,
desde su planificación hasta la presentación de resultados y/o propuestas de mejora.


66

Llúcia Masip Ardévol Severidad de las heurísticas

5. Severidad de las heurísticas
En la sección 2.3 ya se ha comentado cuales son las variables definidas hasta el momento a
tener en cuenta en la puntuación de severidad de cada una de las heurísticas, de acuerdo con
el proceso definido por Nielsen. En su libro “Usability Inspection Methods” (Nielsen, et al.,
(1994)) presenta el impacto, la frecuencia y la persistencia como factores para medir la
severidad de cada uno de los criterios heurísticos. Además define una escala de valores para
puntuar los factores de severidad. Esta escala de valores va del 0 (no es un problema de
usabilidad) a 4 (es un problema muy grave de usabilidad). En esta sección se hará referencia en
múltiples ocasiones a esta metodología de puntuación de la severidad denominándola como
factores de severidad de Nielsen y rango de puntuación de Nielsen.
Aun y disponer de esta metodología para evaluar la severidad de los problemas localizados, en
muchas ocasiones el proceso de puntuación difiere del definido por Nielsen. Hay veces que no
se utilizan todos los factores de severidad citados (impacto, frecuencia y persistencia) o que
simplemente se desestiman los 3 factores puntuando si se cumple o no la heurística. Otras
veces, la escala de puntuación del 0 al 4 se ve alterada por otros rangos de valores.
Dependiendo del objetivo concreto de cada una de las herramientas, del tiempo/presupuesto
del que se dispone para realizar todo el proceso de evaluación y, evidentemente, del
conocimiento del experto planificador de la evaluación sobre criterios de puntuación, se
utilizaran un tipo de parámetros y puntuaciones u otros. Otro aspecto a considerar para la
elección de unos u otros factores de severidad es el conocimiento de los evaluadores. En
ocasiones los evaluadores no tienen muy claro como puntuar factores de severidad como
puede ser la persistencia o simplemente no son capaces de evaluarlo por la falta de
información en la interfaz que se está analizando. Por esta razón, en ocasiones quedan valores
vacíos en la evaluación que provocan que se plantee una nueva metodología de evaluación.

5.1.

Puntuación de la severidad

Los resultados de las heurísticas están condicionados por el sistema de puntuación de cada
una de las heurísticas así como por el objetivo general de la evaluación. En cualquier caso, es
posible extraer de una evaluación heurística resultados cualitativos y/o cuantitativos. En la
siguiente tabla se muestra una comparativa entre los dos métodos de extracción de
resultados:


67

Tabla 6.

Comparativa entre resultados cualitativos y resultados cuantitativos 17

Qualitative
‘‘All research ultimately has a qualitative grounding” –
Donald Campbell
The aim is a complete, detailed description
Researcher may only know roughly in advance what
he/she is looking for
Recommended during earlier phases of research projects
The design emerges as the study unfolds
Researcher is the data-gathering instrument
Data is in the form of words, pictures or objects
Subjective – individuals’ interpretation of events is
important, e.g., uses participant observation, in-depth
interviews etc.
Qualitative data is more ‘rich’, time consuming, and less
able to be generalized
Researcher tends to become subjectively immersed in
the subject matter

Quantitative
‘‘There’s no such thing as qualitative data. Everything is
either 1 or 0” – Fred Kerlinger
The aim is to classify features, count them, and construct
statistical models in an attempt to explain what is
observed
Researcher knows clearly in advance what he/she is
looking for
Recommended during latter phases of research projects
All aspects of the study are carefully designed before
data is collected
Researcher uses tools, such as questionnaires or
equipment to collect numerical data
Data is in the form of numbers and statistics
Objective – seeks precise measurement & analysis of
target concepts, e.g., uses surveys, questionnaires etc.
Quantitative data is more efficient, able to test
hypotheses, but may miss contextual detail
Researcher tends to remain objectively separated from
the subject matter

5.2.

Experiencias de resultados

A continuación se presentan una relación de experiencias reales para las que se detalla el
proceso de realización de una evaluación heurística y, concretamente, los factores de
severidad considerados, su rango de puntuación y la metodología seguida para la posterior
extracción de resultados (tanto resultados cualitativos como cuantitativos).

5.2.1.

Evaluación de tiendas en línea

Chen et al. (Chen, et al., 2005) realizaron en 2005 un análisis de usabilidad mediante la técnica
de la evaluación heurística de cuatro supermercados electrónicos.
Durante la planificación del proceso seleccionaron las heurísticas de Nielsen, aunque fue
preciso considerar las definidas por Muller et al.(Muller, et al., 1998) ya que las de Nielsen no
cubrían todos los aspectos de usabilidad del tipo de interfaz a evaluar.
Para puntuar la severidad de las heurísticas utilizaron los factores definidos por Nielsen:
impacto, frecuencia y persistencia, y el rango de puntuación también definido por éste: escala
del 0 al 4.
El proceso seguido para realizar la puntuación de cada una de las heurísticas difiere del
proceso convencional. Primeramente, cinco evaluadores detectan los criterios heurísticos que
no se cumplen en la interfaz siguiendo el proceso de una evaluación de los criterios mediante
un análisis de flujo libre y un análisis por tareas. Una vez localizados todos los criterios que no
se cumplen se procederá a puntuar cada uno de ellos.
Por lo referente a la extracción de resultados, se aprecian resultados cualitativos y
cuantitativos. Por una parte, los resultados cualitativos se extraen de las observaciones y
expresiones realizadas por los evaluadores durante la detección de los problemas de

17 http://wilderdom.com/research/QualitativeVersusQuantitativeResearch.html (última visita : 15 de abril del 2010)


68

usabilidad. Por otra parte, los resultados cuantitativos se contabilizan de acuerdo al número de
criterios que se incumplen del listado de heurísticas seleccionado en la fase de planificación de
la evaluación.

5.2.2.

Heuristic evaluation of paperbased Web pages

En el año 2006, Allen et al. (Allen, et al., 2006) realizaron la evaluación heurística de un
prototipo de papel de un portal web de información médica. El objetivo principal del análisis es
demostrar que una evaluación en un prototipo de papel puede ser más eficiente que en
entorno web. Aun así, en este trabajo consideraremos solamente el proceso seguido para
realizar la evaluación más que los resultados en si del objetivo propuesto en el artículo.
En la planificación de la evaluación se decide utilizar las heurísticas de Nielsen
complementadas con las 8 reglas de oro de Shneiderman. Con todo, se consigue un listado de
14 criterios heurísticos a evaluar en el prototipo de papel.
El proceso utilizado para realizar el análisis de usabilidad es el usado por convención. La
puntuación de cada una de las heurísticas se realiza por 4 evaluadores: dos de ellos tienen
experiencia en términos cognitivos y los otros dos en términos médicos.
La puntuación de la severidad no sigue los factores por convención sino que puntúa
simplemente la violación o no de los criterios propuestos de acuerdo al rango de puntuación
definido por Nielsen (de 0 a 4). Los resultados se plasman en 100 comentarios o problemas de
usabilidad que sustituye directamente por porcentajes de acuerdo al número de heurísticas
que se incluyen en cada categoría de heurísticas. Por tanto, incluye porcentajes de
cumplimiento o incumplimiento de heurísticas dentro de cada una de las categorías que se han
utilizado para realizar el análisis de esta interfaz. Para facilitar la visualización de los resultados
se muestran gráficos donde se observa claramente la relación entre todos los problemas
encontrados en cada categoría de heurísticas y todos aquellos problemas que consideran que
son fácilmente subsanables.

5.2.3.

Proyecto  UsabAIPO

En el proyecto UsabAIPO (Pascual, 2006) se realizó una evaluación heurística utilizando un
conjunto de 25 heurísticas agrupadas en 4 categorías (Diseño, Navegación, Contenido y
Búsqueda), teniendo en cuenta que cada categoría se pondera de acuerdo a su peso
específico, proviniendo ese peso del porcentaje de heurísticas correspondiente a la categoría
(ver Tabla 7). Cabe destacar, que al realizar la puntuación de severidad en cada evaluación no
se tuvo en cuenta ninguno de los factores descritos en la sección 2, sino que por cada
heurística había definidas unas posibles respuestas, que a su vez tomaban los valores 0, 2 ó 4.


69

Tabla 7.

Porcentaje asignado a cada heurística en UsabAIPO-H

Categoría

Total Heurísticas

Diseño

7

Navegación

7

Contenido

5

Búsqueda

6

TOTAL HEURÍSTICAS

Peso de cada heurística

25

28%
28%
20%
24%
100%

La función UsabAIPO‐H(w) sintetiza en un solo valor los resultados correspondientes a la EH de
cada uno de los sitios web w analizados. Esta función facilita la comparación global del grado
de usabilidad detectado en cada caso y pondera a cada categoría con un peso específico, el
cual proviene del porcentaje de preguntas heurísticas asociadas a la categoría. La función
UsabAIPO‐H se define como:
0.28

0.28

0.20

0.24

donde D corresponde a la puntuación obtenida en la categoría Diseño (ponderada según el
porcentaje de heurísticas asociadas a esta categoría con respecto al total de heurísticas
consideradas, esto es 7*100/25=28%); N corresponde a la puntuación obtenida en la categoría
Navegación (ponderación similar a la anterior); C corresponde a la puntuación obtenida en la
categoría Contenido (ponderada según el porcentaje de heurísticas asociadas esta categoría
con respecto al total de heurísticas consideradas, esto es 5*100/25=20%); y B corresponde a la
puntuación obtenida en la categoría Búsqueda (ponderada según el porcentaje de heurísticas
asociadas a esta categoría con respecto al total de heurísticas consideradas, esto es
6*100/25=24%).

5.2.4.

Bell Laboratories Process

Los laboratorios Bell desarrollaron en el año 2007 (Coyle, et al., 2007) una metodología propia
de realización de una evaluación heurística.
Utilizaron las 10 definiciones de heurísticas de Nielsen para redefinirlas en 8 nuevas categorías
y las puntuaron mediante una calificación de la severidad cualitativa: severidad alta(es un
problema grave de usabilidad), severidad media, severidad baja (casi que no es un problema
de usabilidad). La puntuación de cada una de las heurísticas se realiza con la ayuda de una hoja
de cálculo. Una vez todos los evaluadores han realizado el análisis de forma individual, se
realiza una reunión para discutir los puntos en que difieren. Después de la reunión, el
evaluador principal (denominación que utilizan en el artículo que se referencia para el
coordinador de la evaluación) es quien se encarga de revisar todas las puntuaciones y
observaciones para redactar el informe que se entregará al cliente.
Como se puede observar, esta experiencia real no presenta resultados cuantitativos. Aun así,
modifica todos los factores de severidad personalizándolos a sus objetivos concretos y,
extrayendo, después de la evaluación, un conjunto de resultados cualitativos o propuestas de
mejora.


70


5.2.5.

Función de Porcentaje de Usabilidad

En el año 2009 González y su equipo realizaron unos análisis de usabilidad de webs de
ayuntamientos de localidades de menos de mil habitantes (González, et al., 2009).
En el proceso de evaluación se utilizaron las heurísticas de González et al. (González, et al.,
2008) y se puntuó tanto el impacto como la frecuencia de acuerdo a un rango de valores de 0 a
5 (que corresponde con no es un problema / no se aplica en el sistema interactivo).
En la extracción de resultados, aparte de obtener resultados cualitativos de acuerdo con las
observaciones realizadas, se definió un proceso de análisis de resultados cuantitativos. Para
ello se ponderó los 4 grupos de tal manera que los 3 primeros representaban un 80% y el
cuarto un 20%. Al tratarse de webs sencillas y simples, se definieron estos porcentajes, y el
último con un valor inferior, debido a que las webs analizadas no presentaban las diferentes
funcionalidades que se citan en las subheurísticas que forman parte de este último grupo.
En la Tabla 8, se muestra la ponderación utilizada para calcular el porcentaje total de
usabilidad de las webs:
Tabla 8.

Porcentaje adjudicado a cada grupo de heurísticas

Categoría

Total Heurísticas

Peso de cada heurística

Diseño de la interfaz
Navegación simple
Organización de los contenidos
Funcionalidades diversas
TOTAL

21
19
11
15
66

32,94%
29,80%
17,25%
20%
100%

Con esto, podemos concluir que la fórmula usada para calcular el porcentaje de usabilidad de
cada sitio web, denominada PU(x) es la siguiente:
0.3294

0.2980

0.1725

0.2

Donde D representa la puntuación obtenida en el grupo Diseño de la interfaz, N la de
Navegación simple, O Organización de los contenidos y F funcionalidades diversas. Cada una
de estas variables corresponde al valor f(x) siguiente, distinguiendo siempre las variables por
grupo:
∑

∑
∑

Donde el sumatorio de H corresponde a la suma de la puntuación de severidad
correspondiente a cada subheurística del grupo, P es el porcentaje aplicado al grupo que nos
encontramos, y el sumatorio Ht representa la suma de todo el grupo en el peor de los casos
(en caso que todas las puntuaciones fueran 4). Destacar que todos los resultados de
porcentajes de usabilidad obtenidos se han calculado, tanto según las puntuaciones de
severidad del factor impacto como el de frecuencia, sin considerar el factor de persistencia.


71


5.2.6.

Proceso analítico jerárquico

El proceso analítico jerárquico fue desarrollado por Kiliç y Gungor en el año 2009 (Kılıç Delice,
et al., 2009). El proceso trata de realizar una evaluación heurística convencional pero con
algunas modificaciones.
Durante la planificación de la evaluación se consideran los criterios heurísticos definidos por
Molich y Nielsen. Realizan la evaluación 5 evaluadores expertos que analizan, de forma
individual, el análisis de cada una de las heurísticas. En este proceso no se realiza la puntuación
de cada una de las heurísticas, simplemente se evalúa si una heurística se cumple o no en la
interfaz interactiva.
Una vez localizados todos los problemas de usabilidad, se procede a realizar la puntuación de
cada uno de los criterios. Los factores de severidad considerados en este análisis son los
definidos por Nielsen: el impacto, la frecuencia y la persistencia. El rango de valores que se
utilizan para puntuar cada uno de los factores de severidad coincide con los marcados por la
escala de Saaty (Saaty, 1980)(Isıklar, et al., 2007).
Después de realizar las puntuaciones pertinentes, cada evaluador rellena una matriz que,
posteriormente, se insertará en el software ExpertChoice (Choice, 1986) utilizado para
procesos de toma de decisiones. ExpertChoice permite, aparte de extraer resultados tanto
cualitativos como cuantitativos, detectar las incoherencias entre las respuestas puntuadas por
los evaluadores.

5.3.

Análisis de la severidad

En la sección anterior se detallan una serie de experiencias que siguen algún tipo de
metodología a la hora de extraer resultados una vez realizada una evaluación heurística.
Como ya se ha podido observar, las experiencias detalladas siguen de forma más o menos
estricta el proceso de realización de una evaluación heurística propuesto por Nielsen, aunque
en cada uno de los casos se pueden apreciar algún tipo de modificación, ya sea en la
realización de unas u otras fases dentro del proceso o en la forma de ejecutar cada una de las
fases propuestas por Nielsen.


72

En la siguiente tabla se muestran las características más importantes que se pueden destacar
de las experiencias anteriores y las diferencias que se presentan:
Tabla 9.
Sistema
interactivo

Heurísticas

Tiendas en
línea

Resumen de la severidad considerada

Factores de
severidad

Rango de
puntuación

Nielsen y
Muller

Impacto,
frecuencia y
persistencia

Webs médicas

Nielsen y
Shneiderman

UsabAIPO

Resultados
Fórmula
Cualitativos

Cuantitativos

0-4

Sí

Sí

Nº criterios

Incumplimiento

0-4

Sí

Sí

% de
cumplimiento
de los criterios

González et al.

Incumplimiento

0, 2, 4

Sí

Sí

Fórmula
estadística

Bell Lab
Process

Adaptación de
las de Nielsen

Incumplimiento

Alta, media,
baja

Sí

No

-

Localidades
menos de 1000
hab

González et al.

Impacto y
frecuencia

0-5

Sí

Sí

Fórmula
estadística

Proceso
analítico
jerárquico

Molich y
Nielsen

Impacto,
frecuencia y
persistencia

Saaty

Sí

Sí

ExpertChoice

A continuación se detallan las observaciones más importantes que se extraen de la tabla
anterior:
•

•

•

•

•

En 4 de los 6 casos presentados se utilizan las heurísticas de Nielsen para realizar la
evaluación (aunque estas se hayan ampliado o adaptado para cubrir todos los aspectos
de usabilidad). Cabe resaltar que esta característica es opuesta a la comentada en la
sección de “Análisis de las herramientas”  donde se remarca que no son precisamente
las heurísticas propuestas por Nielsen las más utilizadas.
Referente a los factores de severidad considerados se ve claramente que, en general,
no se utilizan los definidos por Nielsen sino que se simplifica la puntuación valorando
únicamente si el criterio se cumple o no se cumple.
Además para el rango de valores a utilizar para puntuar el factor o factores de
severidad concretos se puede decir que dependiendo del objetivo de la evaluación y
de la tipología de resultados que se pretendan extraer, se elige un rango u otro.
Como se puede apreciar en la tabla anterior, en todos los casos que se ha
proporcionado un resultado cuantitativo también se ha detallado un resultado
cualitativo. Pero no sucede lo mismo al revés, en ocasiones se detallan todos los
resultados cualitativos sin considerar la parte cuantitativa.
En los casos que se han presentado resultados cuantitativos, la metodología utilizada
para dar una puntuación de usabilidad no es la misma. Por una parte aparecen
fórmulas estadísticas, porcentajes de acuerdo al número de criterios que se cumplen o
se incumplen, e incluso aparece el uso de otro tipo de herramientas como son las


73

aplicaciones que existen para la toma de decisiones. Esta consideración al igual que la
del punto anterior ponen de manifiesto que todavía se precisa de un esfuerzo muy
importante para estandarizar la extracción de resultados cuantitativos de un análisis
de usabilidad mediante la técnica de la evaluación heurística.

5.4.

Conclusiones

La evaluación heurística fue definida con el objetivo de evaluar la usabilidad de un sistema
interactivo de modo que los resultados que se esperaban de su realización eran resultados
cualitativos. Es decir, los resultados del análisis tenían que ayudar a los diseñadores del
sistema interactivo a mejorar los aspectos de usabilidad del mismo por lo cual no era preciso
ni necesario obtener puntuaciones numéricas del “grado de usabilidad” que cumplía la interfaz
interactiva.
Con el paso del tiempo se ha extendido el uso de esta técnica para la evaluación de la
usabilidad. Así pues, además de utilizarla las personas que forman parte del proceso de
desarrollo de una interfaz, es posible que se presenten los resultados a otros perfiles de
usuario a los cuales solamente les interese saber si el sistema interactivo que se está
diseñando es o no usable, sin entrar en muchos detalles. Estos perfiles de usuario pueden ser
los altos cargos de empresas como directores o jefes de proyectos. Por lo tanto aparece la
necesidad de transformar a un valor numérico todos los aspectos cualitativos detectados en el
análisis de los criterios heurísticos.
También se detecta esta necesidad para facilitar la comparación entre distintos sistemas
interactivos. Por ejemplo, cuando se habla de accesibilidad se utiliza para comparar el grado
de accesibilidad los distintos niveles de validación establecidos por la normativa WCAG, de
modo que una interfaz es accesible a nivel A, AA o AAA. No se trata de un nivel cuantitativo
pero representa un resultado estandarizado y que todo el mundo es capaz de comprender si
su sistema interactivo es más o menos accesible. Es preciso encontrar algún tipo de medida
que ayude a cuantificar cuanto de usable es un sistema interactivo concreto.
De acuerdo con todo el contenido de esta sección, no existe todavía una metodología
estandarizada que permita extraer resultados cuantitativos de las puntuaciones realizadas en
un análisis heurístico. Por tanto, es preciso realizar muchos esfuerzos para conseguir tal
objetivo.


74

Llúcia Masip Ardévol Deficiencias tecnológicas del proceso

6. Deficiencias tecnológicas del proceso
La evaluación heurística, aun siendo una de las metodologías de evaluación más utilizadas
presenta, debido al avance tecnológico de toda la sociedad de la información, una deficiencia
técnica importante.
Desde hace ya algún tiempo se ve la necesidad de automatizar todo el proceso mediante algún
tipo de herramienta que facilite toda la realización del análisis de usabilidad mediante la
técnica de la evaluación heurística (González, et al., 2001). Se cree necesario detectar las
carencias más importantes que puedan surgir durante todo el proceso de realización de una
evaluación heurística y proponer una serie de propuestas de mejora para subsanar la falta de
tecnología en esta metodología de evaluación.
Este capítulo presenta para cada una de las fases de realización de una evaluación heurística,
las carencias tecnológicas que se han detectado de acuerdo con todos los capítulos expuestos
en este trabajo.

6.1.

Elección de las heurísticas a evaluar

Como ya se ha mencionado en secciones anteriores, la definición o elección del listado de
heurísticas a evaluar durante el proceso de evaluación heurística es uno de los pasos más
importantes ya que de la elección de estas heurísticas y de la experiencia de los evaluadores
dependerá que los resultados de la evaluación sean óptimos y objetivos.
Actualmente, el listado de heurísticas más utilizado es el que presentan Nielsen y Molich
(Nielsen, et al., 1990), aun así, aparecen en la literatura muchas referencias de experiencias
reales en las que se ha visto la necesidad de adaptar, modificar y/o ampliar estas heurísticas al
sistema interactivo al que se le va aplicar un análisis de usabilidad. A continuación se detallan
brevemente algunos ejemplos donde la adaptación de las heurísticas es imprescindible para
poder realizar un buen análisis de usabilidad del sistema interactivo seleccionado.
En 1998, Muller y su equipo (Muller, et al., 1998), de acuerdo con un nuevo enfoque para
realizar evaluaciones heurísticas con la contribución del usuario final, añaden a las ya
conocidas heurísticas de Nielsen una categoría nueva. Esta categoría denominada “Soporte en
las tareas y el trabajo” pretende ayudar a los evaluadores a detectar como el sistema
contribuye a conseguir los objetivos de los usuarios mediante:
-

Soporte y no sustitución de las habilidades humanas.
Proporcionar una experiencia de trabajo gratificante y respetuosa.
Ayudar al usuario en la extracción de resultados.
Ayudar al usuario en la metodología de protección de privacidad de datos.

Mankoff et al. (Mankoff, et al., 2003) presentaron las heurísticas de Nielsen modificadas con el
fin de evaluar el ambiente donde se ejecuta una situación de interacción. Afirman que el
entorno o contexto forma parte de la periferia de la interacción aunque es realmente
condicionante durante el proceso de interacción con el sistema. Además, justifican que no son
aplicables todas las heurísticas de Nielsen porque éstas están asociadas con la interacción y la
productividad. Por lo tanto, y teniendo en cuenta que se trata del contexto, y en consecuencia

75

de un ambiente pasivo, ven la necesidad de modificar las ya existentes para poder evaluar el
contexto.
Con la ayuda de 60 estudiantes que revisaron los dos ambientes que se presentan en su
artículo y distintas sesiones de brainstorming consiguieron definir un conjunto de heurísticas
que fusionadas con las de Nielsen permiten obtener la mayoría de problemas de usabilidad
que se pueden ocasionar a través de la realización de la interacción en un entorno poco
amigable para realizar el proceso.
Un año más tarde, Sutcliffe y Gault (Sutcliffe, et al., 2004) adaptan las heurísticas de Nielsen
para poder realizar evaluaciones de usabilidad de entornos de realidad virtual.
Mediante diferentes casos de estudio son capaces de detectar las características básicas de
esta tipología de sistema interactivo y adaptar modificando los principios propuestos por
Nielsen o añadiendo nuevos criterios a los ya existentes. Con todo, se consigue un conjunto de
criterios heurísticos adecuados para analizar la usabilidad de entornos  de realidad virtual.
Kirigin y sus compañeros (Kirigin, et al., 2006), al igual que Sutcliffe,  adaptaron las heurísticas
ya propuestas por Nielsen para que se tuviera en cuenta las características propias de las webs
colaborativas en el análisis de usabilidad de este tipo de interfaces.
Con los resultados del estudio de 3 herramientas que soportan el trabajo colaborativo
presentaron una serie de heurísticas para evaluar aspectos relacionados con estos entornos
como son la conexión, notificación, identificación, conservación del espacio compartido,
confirmación, sincronización, transmisión y elección.
Otro tipo de sistema interactivo son los videojuegos. Pinnelle y su equipo (Pinelle, 2008) han
desarrollado un listado de heurísticas a tener en cuenta para esta tipología de interfaces.
Mediante la evaluación utilizando los “criterios típicos” no detectaban todas las carencias de
usabilidad por lo que afirman que las heurísticas de Nielsen solo están pensadas para
aplicaciones de escritorio y que los videojuegos conforman una tipología de interfaz distinta a
las aplicaciones de escritorio tradicionales.
Además prueban la validez de dichas heurísticas propuestas realizando una evaluación
heurística con los nuevos criterios y formulando a los evaluadores al final del análisis un
cuestionario de satisfacción para probar las heurísticas en sí y no los resultados de la
evaluación. Evidentemente, los resultados fueron positivos y las heurísticas muy bien
aceptadas por los evaluadores.
Un estudio más reciente vuelve a adaptar las heurísticas de Nielsen en el ámbito de la
bioinformática. Mirel y Wright (Mirel, et al., 2009) consideraron que las herramientas
bioinformáticas que existen conforman un grupo de sistemas interactivos con unas interfaces
que requieren un análisis mucho más complejo que no otro tipo de interfaz. Teniendo en
cuenta que, según estos autores, las interfaces que requieren tareas complejas deben
incorporar algún tipo de característica cognitiva para facilitar todos los procesos, definieron un
conjunto de heurísticas cognitivas para solventar esta carencia.


76

Geerts y su equipo en 2009 presentaron un conjunto de heurísticos (Geerts, et al., 2009) a
tener en cuenta a la hora de analizar sistemas de televisión social 18 . Los heurísticos
presentados se extrajeron de la experiencia adquirida durante 3 años (2006‐2008) en la
realización de distintos test de usuarios a este tipo de aplicaciones interactivas.
De acuerdo con los resultados cualitativos de los test, profesionales expertos en usabilidad
analizaron todas y cada una de las observaciones que se pudieran extraer, tanto de los videos
como de las acciones realizadas en los test, para determinar 12 principios a tener en cuenta a
la hora de analizar la usabilidad de sistemas de televisión social.
También este mismo año, Singh y otros presentaron una serie de principios heurísticos a tener
en cuenta en el análisis de usabilidad de una tipología de software específico: los ERP
(Enterprise Resource Planning)(Singh, et al., 2009). Más concretamente, añadieron a los
principios propuestos por Nielsen 5 categorías más para ser capaces de evaluar todos los
aspectos específicos de este tipo de herramientas software.
Todas las experiencias aquí citadas utilizan unas u otras tecnologías para desarrollar el sistema
interactivo que se evalúa en cada caso, pero en ninguna de las experiencias detalladas aparece
el nuevo paradigma web denominado web 3.0. Después de realizar una intensa búsqueda en la
literatura para detectar análisis de heurísticas en este tipo de sistemas interactivos, podemos
decir que todavía queda mucho trabajo para lograr definir una serie de heurísticas que se
adapten a la nueva tecnología de la web 3.0. Aun así, se han localizado 3 experiencias en las
que se realiza una evaluación heurística de forma más o menos exhaustiva de un sistema
interactivo que se basa en el paradigma de web 3.0.
La primera experiencia localizada se realizó en 2005 por el equipo de Lausen et al. en la
Universidad de Innsbruck (Lausen, et al., 2005). Su experiencia se basa en la definición de una
arquitectura de tres capas para los sistemas de web semántica. Introducen la usabilidad en la
capa más externa denominándola “Capa de acceso a la información”. A parte de realizar una
evaluación de las demás capas, en esta última introducen distintos aspectos a tener en cuenta
en el análisis de usabilidad de un portal web 3.0. La evaluación se centra en aspectos
semánticos que aparecen en el acceso a la información de este tipo de sistemas interactivos
así como la efectividad de las funcionalidades que se ofrecen en este tipo de sistemas. Definen
como características a considerar, dentro de toda la evaluación de esta capa, la usabilidad y
una evaluación general de la tecnología web.
Referente a la usabilidad no detallan pautas a seguir pero hacen hincapié en los aspectos
básicos como relación entre el sistema y el usuario o facilidad de uso. La segunda
característica, la evaluación general de la tecnología, se subdivide en categorías que tienen en
cuenta aspectos de usabilidad para interfaces de web semántica. Estas son: la cobertura,
madurez de implementación, personalización y comunicación, fiabilidad de los recursos de la
información y ayuda y documentación.
Una vez definidos los parámetros para la evaluación realizan un análisis superficial de distintas
aplicaciones 3.0.

18

Se entiende televisión social como la televisión interactiva que incluye características como chatear con otros espectadores,
realizar recomendaciones o crear una lista de amigos. (Geerts, et al., 2009)


77

La segunda experiencia es presentada en 2008 por Todorov y Schandl (Todorov, et al., 2008)
cuando se pretende realizar una evaluación a pequeña escala de Semplorer, una aplicación
basada en web semántica que navegar, buscar y manipular unidades de información.
Utilizando las heurísticas de Nielsen, realizan una evaluación de usabilidad que combina la
evaluación heurística con el thinking aloud.
La última experiencia fue desarrollada por García et al. (García, et al., 2010) mediante la ayuda
de las heurísticas definidas por González et al.. Utilizaron como factores de severidad el
impacto y la frecuencia y como rango de severidad utilizaron el definido por Nielsen. Debido a
que el objetivo principal de la publicación no era el análisis de usabilidad, no se detallan más
características sobre la metodología utilizada para la realización de la evaluación.
Todos estos ejemplos justifican la necesidad de disponer de algún sistema de repositorio que
permita a los evaluadores obtener las heurísticas más adecuadas dependiendo del tipo de
sistema interactivo que se quiera evaluar.
Esta idea viene reforzada por la experiencia que se ha adquirido en GRIHO al realizar
evaluaciones de usabilidad mediante la técnica de la evaluación heurística de sistemas
interactivos diferentes a los de un portal web clásico.

6.1.1.

Casos de estudio

En el Grupo de Investigación en Interacción Persona‐Ordenador e Integración de datos
(GRIHO) también hemos realizado esfuerzos para adaptar las heurísticas propuestas hasta el
momento a distintos sistemas interactivos con unas características muy distintas a una interfaz
web convencional. Más concretamente, se realizaron dos experiencias reales de evaluación de
usabilidad mediante la técnica de la evaluación heurística donde se adaptaron, ampliaron y/o
modificaron las heurísticas preestablecidas por Nielsen y Molich para que los evaluadores
fueran capaces de detectar con más precisión todos los problemas de usabilidad que
presentaban. A continuación se presentan los dos casos de estudio realizados:
Evaluación de los PICs
La primera experiencia práctica y real fue durante el segundo
semestre del año 2008 cuando el Ayuntamiento de Lleida, que
tenía un convenio con el grupo de investigación GRIHO de la
Universidad de Lleida, encargó un análisis de usabilidad de los
“Puntos de Información Ciudadana” (PICs).
Como se indica en el portal web de “La Paeria” 19
(denominación local del Ayuntamiento de Lleida), los PICs (ver
Figura 14) son terminales de uso público, conectados mediante
Internet a los servicios web del Ayuntamiento de Lleida y que
están instalados en dependencias municipales, pudiendo ser
utilizados por todos los ciudadanos y ciudadanas. Permiten
acceder tanto a la información municipal como a la
información propia de cada ciudadano, así como realizar todo

Figura 14. Uno de los Puntos de
Información Ciudadana instalados en la
ciudad de Lleida.


19

http://www.paeria.es/


78

tipo de gestiones y obtener certificados y volantes.
Todos los terminales están provistos de lectores de firma digital, tanto con tarjeta criptográfica
como con el DNI electrónico o con los lápices USB de IdCat que distribuye gratuitamente el
Ayuntamiento. Además, están equipados con impresoras para ofrecer mayor servicio al
ciudadano, de esta forma se pueden imprimir mapas, documentos del tablón de anuncios,
volantes de empadronamiento, copias de recibos de pago, etc.
El objetivo principal de la evaluación de usabilidad de los PICs no era la interfaz de las webs en
las que se podía consultar información sino que lo que se pretendía era evaluar la facilidad de
acceso y uso del terminal de acuerdo con su localización física en cada caso concreto.
Para conseguir este objetivo fue preciso establecer unos criterios heurísticos distintos a los que
se utilizan por convención. Para ello se tuvo en cuenta literatura relacionada con el diseño y
evaluación de quioscos públicos (Maguire, 1997)(Nieto, 2002)(Evolucy, 2004)(Gutiérrez, 2007)
y de diseño y evaluación en general (Granollers, et al., 2005)(Fun09), así como información
relevante extraída de algunos blogs de Internet de contrastada referencia (2009)(Usa09). Todo
ello, manteniendo de forma prioritaria las pautas establecidas en las normativas vigentes
UNE139801: 2003 y UNE139802: 2003 relacionadas con la accesibilidad digital.
Para más detalles sobre la experiencia realizada se puede consultar la referencia (Oliva, et al.).
Evaluación de la Berta
El segundo caso práctico donde se detectó la necesidad de
personalizar o adaptar las heurísticas debido a que se trataba de
una interfaz no tan común fue para la evaluación de usabilidad de
un asistente virtual de la Paeria: la Berta. Este estudio se realizó
durante el primer semestre del 2009 de acuerdo con otro
convenio firmado entre el Ayuntamiento de Lleida y el grupo de
investigación GRIHO.
Los asistentes virtuales ayudan a los usuarios a encontrar la
información que deseen pero en ocasiones los usuarios no saben
cómo utilizar estos avatares e incluso ni se percatan de la
existencia de ellos. Por lo tanto, es necesario tener en cuenta la
usabilidad en este tipo de interfaces para asegurarse que los
usuarios encuentran a través de ella la información que están
buscando y además lo realizan de forma eficiente y satisfactoria.
Pero no solamente es importante que la interfaz sea usable sino
que, por el hecho que se trata de una aplicación que intenta
asemejarse a un humano, debe considerar como se comporta un
humano y transmitirlo adecuadamente a través de sus
expresiones y gesticulaciones. Con esto se puede llegar a
conseguir que el usuario que utiliza un asistente virtual crea que
realmente está hablando o "chateando" con una persona de la
empresa o organización propietaria de la web.

Figura 15. Asistente virtual de
la Paeria: la Berta.

79

En este caso práctico y para que no se omitiera ningún aspecto de usabilidad, se utilizaron para
la evaluación las heurísticas de Nielsen las cuales se ampliaron con otras de específicas para
que cubrir el factor emocional debido a la tipología de interfaz que se presentaba. Así pues, se
tuvo en cuenta literatura relacionada con los asistentes virtuales (Rodrigo, et al., 2002)(de
Lera, et al.) para los aspectos emocionales del avatar y también un portal web de una empresa
reconocida que trabaja con esta tipología de sistemas interactivos (SitePal, 2008).
Estas dos experiencias del grupo junto con la literatura citada hicieron que surgiera la duda
sobre la validez y/o adecuación de las heurísticas que se utilizan ya por convención para
cualquier tipología de sistema interactivo y se planteara la posibilidad de automatizar todo el
proceso de realización de una evaluación heurística y más concretamente se pensara en la
posibilidad de semiautomatizar, mediante un consejero, el proceso de elección de las
heurísticas a evaluar para un sistema interactivo concreto.

6.2.

Soporte durante la evaluación

La segunda fase del proceso de realización de una evaluación heurística corresponde con la
puntuación de cada uno de los criterios heurísticos elegidos en la primera fase. Pero, ¿Qué
soporte, herramienta, framework se utilizaba, se utiliza y/o se tendría que utilizar para llevar a
cabo toda la evaluación? Las ayudas o soportes para realizar una evaluación heurística han
sido desde sus inicios muy precarios. Básicamente se puede decir que la ayuda básica es
manual (mediante lápiz y papel), mediante algún tipo de ayuda software muy sencilla (como
por ejemplo una hoja de cálculo) o con el soporte de algunas herramientas muy sencillas que
algunos grupos o empresas han desarrollado para facilitar alguna de las fases de una
evaluación heurística.
La técnica manual se basa en imprimir en papel una copia para cada evaluador de todos los
criterios heurísticos y escribir las puntuaciones y observaciones pertinentes en la hoja. Esta
técnica requiere un esfuerzo adicional a la hora de extraer los resultados ya que es imposible
realizar ningún tipo de cómputo o comparación de resultados de forma automática. Debe ser
el responsable de la evaluación quien se debe encargar de revisar todas las heurísticas
puntuadas por todos los evaluadores y extraer de forma manual los resultados de la
evaluación.
Una técnica también utilizada para llevar a cabo la puntuación de las heurísticas es la que
utiliza una hoja de cálculo mediante distintos software (entre los más conocidos se puede
destacar el de Microsoft Office Excel, el OpenOffice Calc o el Lotus Notes). Las hojas de cálculo
no permiten una edición simultánea de los evaluadores pero dan más flexibilidad a la hora de
unir todas las puntuaciones realizadas y, sobretodo, facilita mucho (comparado con la técnica
manual) el proceso de comparación de resultados para extraer los problemas encontrados y
proponer mejoras. El proceso de realización y extracción de datos de una evaluación heurística
es mucho más fácil si se utiliza una hoja de cálculo como herramienta de soporte que no
siguiendo un proceso manual.
La realidad es que hoy en día todavía no existe una herramienta o framework lo
suficientemente estandarizado como para ser utilizado en cualquier tipo de evaluación
heurística. Es decir, no existe una herramienta donde ya se puedan escoger de forma

80

semiautomatizada las heurísticas a analizar, que se pueda utilizar simultáneamente por
distintos evaluadores los cuales puedan acceder a la herramienta desde distintos tipos de
dispositivos. Y una vez realizada la evaluación extraiga los resultados o propuestas de mejora
de forma automática.
Como ya se ha detallado en el capítulo 4, existen algunas herramientas que permiten realizar
algunas de las fases de todo el proceso de una evaluación heurística. Existen herramientas que
permiten gestionar los criterios heurísticos, otras que permiten realizar las distintas
puntuaciones de estos criterios y guardan los datos e incluso en algunos casos, la herramienta
es capaz de extraer algún tipo de resultado. También se han descrito otro tipo de herramientas
que facilitan la evaluación de los criterios semiautomatizando su valoración.
Con todo se puede decir que no se ha encontrado en la literatura una herramienta que
englobe todos los requisitos necesarios para dar soporte a todo el proceso de realización de
una evaluación heurística. Es decir, que aparte de proponer una serie de heurísticas a evaluar,
permita la realización simultánea de la evaluación de las heurísticas por varios evaluadores,
guarde los resultados y sea capaz de generar algún tipo de listado de resultados tanto
cualitativamente como cuantitativamente. Este último punto es el que se trata en la siguiente
sección.

6.3.

Extracción de resultados

La extracción de resultados, de forma semejante a la puntuación de las heurísticas, es un
proceso manual. Es evidente que si la puntuación se realiza de forma manual y en formato
papel u hoja de cálculo la extracción de resultados no puede ser muy automática.
Aun así, dependiendo del tipo de resultados que se requieran y del soporte utilizado para
puntuar cada uno de los criterios es posible obtener un mínimo de soporte en la obtención de
resultados.
Es evidente que si el soporte utilizado es papel será imposible obtener automáticamente algún
resultado. Pero si el formato utilizado es digital aunque sencillo, por ejemplo hacer uso de una
hoja de cálculo, será más fácil realizar algún tipo de cómputo así como la generación de
gráficos comparativos. Aunque será más dificultosa la extracción de datos cualitativos.
Si se dispone de algún tipo de aplicación software un poco más sofisticada como una
aplicación Access ya es posible extraer un listado de problemas encontrados considerando este
listado como los resultados cualitativos de la evaluación. Y también es posible programar la
extracción  cuantitativa de resultados mediante alguna fórmula estadística muy sencilla.
El uso de aplicaciones software más avanzadas pueden ayudar a extraer, dependiendo de sus
funcionalidades, unos resultados tanto cuantitativos como cualitativos más óptimos y precisos.
No obstante, aparte de las herramientas detalladas en secciones anteriores, no se ha
encontrado ninguna aplicación que permitiera extraer un conjunto de propuestas de mejora
conformando los resultados cualitativos de la evaluación. Ni tampoco que utilizara ninguna
metodología estadística óptima para obtener el grado de usabilidad del que goza el sistema
interactivo evaluado.


81

De acuerdo con todo, se ve la necesidad de definir una metodología de extracción de
resultados que permitiera la obtención de dos factores distintos. Por una parte, el factor
cualitativo que se puede representar por un conjunto o listado de propuestas de mejora a
incorporar directamente en el sistema interactivo que se esté analizando. Y por otra parte, el
factor cuantitativo que permita conocer mediante una única cifra el nivel o grado de usabilidad
que tiene la interfaz.


82

Llúcia Masip Ardévol Definición del framework

7. Definición del framework
La propuesta de definición de un framework o herramienta que solucione o mejore las
deficiencias tecnológicas del proceso de realización de una evaluación heurística parece
indispensable en este punto del trabajo.
En los capítulos anteriores se han remarcado de forma específica las necesidades o carencias
existentes en el proceso de realización de un análisis empírico debido a la escasa tecnología
utilizada para realizar este tipo de evaluaciones de usabilidad.
En este capítulo se presenta un esquema de herramienta que reúne todas las características
necesarias para cubrir las necesidades que puedan tener los evaluadores expertos en
usabilidad cuando realizan una evaluación heurística. La herramienta consta de 3
componentes interdependientes y el repositorio donde se almacenará toda la información:
•
•
•
•

Repositorio general.
Componente consejero de heurísticas.
Componente ayudante evaluador.
Componente procesador de resultados.

En los siguientes apartados se detallan las características principales de estos 3 componentes y
del repositorio general.

7.1.

Repositorio general

El reposito general es la parte del framework que almacenará toda la información necesaria
para poder realizar la evaluación heurística de un sistema interactivo.
Se hace necesario el desarrollo de varios repositorios con información diferenciada aunque
interrelacionada entre sí dentro del repositorio general. A continuación se detallan los
repositorios más destacados pudiéndose observar su esquema arquitectónico en la siguiente
imagen:
•

Repositorio de heurísticas: para alimentar este repositorio, es preciso reunir todas las
heurísticas que existen en las experiencias de evaluaciones heurísticas que aparecen
en la literatura.

•

Repositorio de sistemas interactivos: donde se englobarán todas las tipologías de
sistemas interactivos que puedan ser susceptibles de una evaluación de usabilidad.

•

Repositorio de características: para realizar la unión entre heurísticas y sistemas se
utilizarán las características que definirán a los productos y clasificarán a las
heurísticas.

•

Factores de severidad: permitiendo escoger las características de usabilidad a valorar
en cada una de las evaluaciones.

•

Rango de severidad: Proporcionando un baremo de puntuaciones a escoger para
puntuar cada uno de los factores de severidad.

Con la unión de los tres repositorios junto con los factores y rango de severidad se constituye
el repositorio general. El cual da soporte a los demás repositorios y engloba toda la

83

información necesaria para realizar la evaluación. El resto de componentes utilizarán la
información que almacena el repositorio general para realizar la evaluación heurística.
Por lo tanto, sería necesario dotar al repositorio general de toda la información necesaria para
poder obtener la recomendación de las heurísticas más adecuadas al sistema predefinido a
evaluar, así como de todos los sistemas interactivos que son susceptibles de una evaluación de
usabilidad y las características comunes entre heurísticas y sistemas interactivos.
Dicha información se obtendrá de la literatura existente referente a la definición de heurísticas
para sistemas interactivos específicos y/o con la creación o definición de nuevos conjuntos
heurísticos para distintos sistemas interactivos.

Repositorio general

Repositorio de
heurísticas

Rango de
severidad

Repositorio de
características

Factores de
severidad

Resultados
cualitativos

Repositorio de
sistemas
interactivos

Resultados
cuantitativos

Figura 16. Repositorio general.

7.2.

Consejero de heurísticas

La elección de las heurísticas adecuadas para evaluar la usabilidad de un sistema interactivo
sigue siendo, todavía hoy en día, un agujero negro (Mirel, et al., 2009). Además, es imposible
aplicar todas las directrices existentes a un mismo diseño por dos razones (Smith, et al., 1986).
La primera razón es la posible entrada en conflicto de algunas directrices para algunas
aplicaciones en concreto. La segunda razón, la que en la mayoría de los casos rige todo el
proceso de evaluación de usabilidad, son las restricciones presupuestarias y de tiempo que
pueden obligar al diseñador o evaluador a aplicar solamente las heurísticas más importantes,
repercutiendo evidentemente en los resultados generales de usabilidad.
Así pues, en la fase de elección de las heurísticas a evaluar se deben tener en cuenta dos
factores para determinar la cantidad y la calidad del listado de heurísticas a puntuar: el
solapamiento entre criterios y la cobertura de todas las necesidades de usabilidad que
requiere la interfaz interactiva que se va a analizar.


84

Para subsanar la carencia en la elección de heurísticas se pretende desarrollar un componente
dentro del framework que a partir de la definición del tipo de producto a evaluar, su contexto
de uso y sus principales características, genere automáticamente el listado de
recomendaciones de heurísticas que mejor se adapte a la tipología de sistema interactivo que
se deba evaluar. Aun así, y debido a la subjetividad del proceso de elección, dicho resultado
debería ser revisado por un experto en usabilidad para determinar la necesidad de añadir o
extraer alguna heurística más. Además en este punto es preciso elegir tanto los factores como
rango de severidad que serán utilizados posteriormente los evaluadores para puntuar cada
una de las heurísticas propuestas.
La ventaja, que mediante el framework se obtendría, se caracteriza por pasar de un proceso
totalmente manual y de experiencia propia del evaluador en cuanto a elegir las heurísticas más
adecuadas, a un proceso semiautomático dónde solamente sería necesario realizar una simple
revisión para dar conformidad a que las heurísticas propuestas sean las que realmente deben
utilizarse para llevar a cabo una evaluación heurística en concreto.

Componente Consejero heurístico

Repositorio general

Repositorio de
heurísticas

Rango de
severidad

Repositorio de
características

Factores de
severidad

Resultados
cualitativos

Repositorio de
sistemas
interactivos

Listado de
heurísticas
recomendadas y
factores y rango
de severidad

Resultados
cuantitativos

Figura 17. Consejero heurístico.

Otras características a tener en cuenta en esta herramienta son las siguientes:
•
•

•

Gestión de las heurísticas de acuerdo a distintos perfiles de usuarios que las utilizarán:
para diseñadores y para evaluadores.
Gestión de las heurísticas con distintos niveles: Permitiendo mostrar solamente los
criterios heurísticos de los niveles más altos de la jerarquía (por ejemplo mostrando
solo las categorías de heurísticas) o permitiendo acceder a niveles más bajos
(mostrando, por ejemplo, las heurísticas concretas a considerar en la evaluación).
Control del solapamiento y/o contradicciones entre las heurísticas definidas para un
mismo sistema interactivo.


85

En resumen, para resolver el problema de elección de las heurísticas se propone la
implementación de un consejero de heurísticas que liste el conjunto de criterios más
adecuados para un sistema interactivo concreto de acuerdo a una serie de características
predefinidas.

7.3.

Ayudante evaluador

El ayudante evaluador está compuesto por una herramienta auxiliar de usuario necesaria para
la realización de la evaluación de cada uno de los criterios definidos en el componente
anterior. Esta herramienta auxiliar partirá de las heurísticas que se han recomendado en el
consejero heurístico y de los factores y rango de severidad escogidos en el consejero heurístico
permitiendo al evaluador la puntuación de cada uno de los criterios y la posibilidad de realizar
anotaciones u observaciones respecto la puntuación realizada o las características del
producto. Además, dicha herramienta registrará todos los inputs de los evaluadores para
poder, posteriormente, gestionar la información y extraer todos los resultados posibles.
En la siguiente figura se muestra el esqueleto básico de este componente.

Listado de
heurísticas
recomendadas y
factores y rango
de severidad

Ayudante evaluador

Repositorio general

Resultados de la
evaluación
Repositorio de
heurísticas

Rango de
severidad

Repositorio de
características

Factores de
severidad

Repositorio de
sistemas
interactivos

Resultados
cuantitativos

Resultados
cualitativos

Figura 18. Ayudante evaluador



86

Como conclusión, se puede decir que el componente ayudante evaluador, de acuerdo con las
heurísticas, factores y rango de severidad propuestos por el consejero de heurísticas, da
soporte durante el proceso de puntuación de cada uno de los criterios y almacena todos los
datos necesarios para poder extraer posteriormente resultados tanto cualitativos como
cuantitativos.

7.4.

Procesador de resultados

El último componente pretende ayudar en la obtención de los resultados de todo el proceso
de evaluación heurística. Se pretende generar un listado de resultados cualitativos conformes
con las observaciones realizadas por todos los evaluadores y un resultado cuantitativo que
muestre el grado o nivel de usabilidad del que dispone el sistema interactivo que se está
analizando, tal y como se aprecia en la Figura 19.
Referente a los resultados cualitativos cabe decir que se pretende no simplemente listar un
conjunto de observaciones aportadas por los evaluadores sino proporcionar directamente un
conjunto de propuestas específicas de mejora para aumentar la usabilidad de la interfaz.
Aunque es preciso estudiar más en detalle la forma de extraer estas propuestas de mejora,
una primera idea que se deberá considerar es la posibilidad de proporcionar para cada
heurística introducida en la herramienta, posibles técnicas a utilizar para mejorar la usabilidad.
De forma semejante a las pautas WCAG 20 , proporcionar información adicional para
comprender la pauta y ser capaz de mejorarla. Otra posibilidad para poder proporcionar
propuestas de mejora es hacer uso de los patrones existentes para cada tipo de interfaz que se
evalúa. Es decir, dependiendo del tipo de interfaz y de las heurísticas que se hayan
considerado presentar como propuestas de mejora los patrones más adecuados a utilizar para
cumplir con los criterios heurísticos que son susceptibles de una mejora.
Referente al resultado cuantitativo, que está directamente relacionado con los factores de
severidad y rangos de puntuación elegidos en el componente consejero de heurísticas,
pretende ser una forma objetiva de obtener los resultados. Pretende definir mediante
distintos parámetros extraídos de los resultados de las evaluaciones, el grado o nivel de
usabilidad del producto evaluado. Así como dar la posibilidad de realizar algún tipo de gráfico
con los resultados numéricos que se puedan recoger del proceso de evaluación.
En resumen, el procesador de resultados realizará las funciones necesarias para extraer
directamente un listado de propuestas de mejora y un valor que represente el grado o nivel de
usabilidad del sistema interactivo. Estos resultados se almacenarán en el repositorio general y
se mostrarán al usuario mediante dos informes distintos: un informe con los resultados
cualitativos y otro con los cuantitativos.



20

http://www.w3.org (última visita 7 de mayo del 2010)


87


Resultados de la
evaluación


Repositorio general

Repositorio de
heurísticas

Rango de
severidad

Repositorio de
características

Factores de
severidad

Resultados
cualitativos

Repositorio de
sistemas
interactivos

Resultados
cualitativos

Resultados
cuantitativos

Resultados
cuantitativos

Figura 19. Presentador de resultados

7.5.

Esquema de la herramienta

El proceso de realización de una evaluación heurística a través de la herramienta descrita
anteriormente es igual al definido en su día por Nielsen.
A continuación se detallan los pasos a realizar de acuerdo con el funcionamiento de la
herramienta planteada.
Paso 1. Conexión a la herramienta: El acceso a la herramienta se realizará vía internet para
facilitar el acceso desde múltiples localizaciones y dispositivos distintos.
Paso 2. Planificación de la evaluación: Una vez conectados a la herramienta, el administrador
de la evaluación elegirá las heurísticas a analizar ayudándose del consejero heurístico. En este
punto se podría también considerar la opinión de los evaluadores expertos para determinar la
adecuación de las heurísticas propuestas por el consejero. El resultado de este paso consiste
en un listado de heurísticas que el administrador podrá modificar a su gusto consiguiendo
cubrir todos los aspectos de usabilidad de la interfaz.
Ejemplo: Se pretende analizar la usabilidad de un mando a distancia de una televisión
convencional. El administrador de la evaluación preguntará al módulo consejero


88

heurístico qué heurísticas son las más apropiadas para evaluar la usabilidad de un
dispositivo físico y móvil repleto de teclas.
Paso 3. Configurar la severidad: El administrador determinará los factores de severidad a
considerar y el rango de puntuaciones que se utilizará para puntuar cada uno de los factores
de severidad.
Ejemplo: Siguiendo el anterior y teniendo en cuenta que solamente nos interesa
conocer si se cumplen o no un conjunto de características, el administrador decide
solamente evaluar el cumplimiento o no del criterio heurístico y mediante una escala
del 0 (es un desastre) al 4 (no es un problema de usabilidad).
Paso 4. Advertir a los evaluadores: El administrador alertará a los evaluadores de que ya
pueden conectarse al sistema para realizar la evaluación heurística.
Paso 5. Realizar la evaluación: Los evaluadores ya pueden conectarse a la herramienta para
poder puntuar las heurísticas, factores y rango de severidad determinados por el
administrador de la evaluación. Todo el proceso será realizado con la ayuda del componente
evaluador ayudante. Cuando los evaluadores hayan terminado de realizar sus oportunas
puntuaciones se enviarán los resultados al procesador de resultados.
Paso 6. Obtención de resultados: Del procesador de resultados se obtendrá un listado de
propuestas de mejora y un grado o nivel de usabilidad. Estos resultados podrán ser discutidos
por todos los evaluadores que hayan participado en la evaluación.
A parte de las características descritas en el proceso anterior, cabe remarcar otros aspectos a
considerar a la hora de diseñar la herramienta:
•
•
•
•
•

Proporcionar un entorno multiusuario y multiidioma.
Proporcionar un entorno independiente del sistema interactivo donde se ejecute la
herramienta.
Existencia de un histórico de evaluaciones.
Existencia de un foro para realizar la discusión postevaluación de forma asíncrona.
Evidentemente, disponer de una herramienta usable.

En el siguiente esquema se muestra de forma general el proceso detallado en los 6 pasos
anteriores.
La flecha azul corresponde con el proceso descrito en los pasos 1, 2 y 3 correspondiente a la
elección de las heurísticas y factores y rangos de severidad. La flecha roja refleja el proceso
descrito en los pasos 4, 5 y 6 referentes a la puntuación de los criterios por parte de los
evaluadores y la posterior extracción de resultados. Las flechas punteadas significan traspaso
de información.


89


Evaluadores

Administrador
y evaluador

FRAMEWORK
Componente Consejero heurístico

Listado de heurísticas
recomendadas y
factores y rango de
severidad

Repositorio general

Repositorio de
heurísticas

Rango de
severidad

Repositorio de
características

Factores de
severidad

Resultados
cualitativos

Repositorio de
sistemas
interactivos

Resultados
cuantitativos


Resultados
cualitativos

Ayudante
evaluador

Resultados de la
evaluación

Resultados
cuantitativos
Figura 20. Esquema de la nueva herramienta.


90

Llúcia Masip Ardévol                                                                             Conclusiones y trabajo futuro

8. Conclusiones y Trabajo futuro
La usabilidad es una característica a tener en cuenta en el diseño de cualquier sistema
interactivo. Considerar la usabilidad permite que cualquier sistema interactivo pueda ser
utilizado con efectividad, eficiencia y satisfacción por cualquier usuario. Hoy en día, aun y la
cantidad de nuevas tecnologías que surgen y la diversidad de sistemas interactivos que
aparecen, la preocupación por la usabilidad todavía es insuficiente.
Un factor que influye en el poco interés demostrado por la usabilidad es el factor legal. La
usabilidad, a diferencia de la accesibilidad, no está regulado por la ley lo que provoca que en
muchos casos no se considere en el diseño de nuevos sistemas interactivos.
Aun así, hay personas que han apostado por la usabilidad como característica diferencial
considerando que uno de los beneficios que conlleva es un aumento de la cuota de mercado y,
en consecuencia un aumento de los beneficios generales de la compañía, puesto que se
consigue mayor satisfacción de los usuarios/clientes.
Con todo, las personas que se preocupan de diseñar aplicaciones interactivas usables tienen
muchas dificultades para realizar un análisis de usabilidad rápido, económico y con un esfuerzo
mínimo.
En este trabajo se han presentado las carencias técnicas de un método de inspección de
evaluación de la usabilidad: la evaluación heurística.
La primera necesidad localizada es la elección de las heurísticas a utilizar para realizar un
análisis de usabilidad de un sistema interactivo. Queda plasmado que aun y la cantidad de
autores que se han esforzado para definir conjuntos de principios heurísticos a tener en cuenta
para evaluar una interfaz interactiva, aparecen muchas ocasiones en que no se adaptan
completamente a la aplicación que se quiere evaluar y es preciso realizar una adaptación de
los criterios para que éstos cumplan con las necesidades de usabilidad de la aplicación.
La segunda necesidad es la implementación de un framework que dé soporte durante el
proceso de realización que, actualmente, es manual (con la ayuda de lápiz y papel) y/o
mediante algún tipo de software muy sencillo como una hoja de cálculo o una aplicación de
Microsoft Office Acces.
La tercera y última necesidad es la obtención automática y de forma objetiva y óptima de
resultados tanto cualitativos como cuantitativos.
En resumen, de acuerdo con el proceso de realización de una evaluación heurística definido y,
hoy en día estandarizado, se ha intentado localizar qué partes son susceptibles de una posible
automatización y qué partes deben continuar siendo manuales. Con todo se propone una
herramienta que cubra las necesidades técnicas detectadas y facilite la realización de un
análisis de usabilidad mediante esta técnica de inspección.
El trabajo futuro a realizar es evidente: implementar la herramienta. Aunque para
implementarla será imprescindible valorar una serie de características.


91

Llúcia Masip Ardévol Conclusiones y trabajo futuro
Por una parte, escoger la tecnología más adecuada para almacenar la información dentro del
repositorio de heurísticas, de sistemas interactivos y de características. Existen varias
posibilidades aunque posiblemente se apueste por las tecnologías web más nuevas y se cree
una ontología de heurísticas, sistemas interactivos y características.
Por otra parte, será necesaria una interfaz gráfica que, junto con la ontología anterior, dé
soporte a la realización de la evaluación. Esta parte de la implementación vendrá condicionada
de acuerdo con la herramienta que se elija para gestionar la ontología y de características
como la portabilidad o la independencia de dispositivos y sistemas interactivos.
Por último, se debe estudiar la metodología más adecuada para la extracción de resultados,
tanto cualitativos como cuantitativos. Es posible que sea necesaria la utilización de métodos
estadísticos para resolver esta parte del desarrollo de la herramienta.
Finalmente, una vez realizada la implementación de la herramienta se conseguirá facilitar el
trabajo que deben realizar las personas que utilizan la evaluación heurística como método de
evaluación de la usabilidad y obtener recomendaciones a la hora de empezar a diseñar un
sistema interactivo usable.


92

Llúcia Masip Ardévol Referencias

9. Referencias
Allen M. [et al.] Heuristic evaluation of paper‐based Web pages: A simplified inspection
usability methodology [Journal] // Journal Biomedics Informatic. ‐ 2006. ‐ 4 : Vol. 39. ‐ pp. 412‐
423. ‐ doi=10.1016/j.jbi.2005.10.004] .
Ardito C. [et al.] A tool to support usability inspection [Journal] // In Proceedings of the
Working Conference on Advanced Visual interfaces. ‐ Venezia, Italy : AVI '06. ACM, New York,
NY, May 23 ‐ 26, 2006. ‐ DOI= http://doi.acm.org/10.1145/1133265.1133322.
Brown C. M. Human‐Computer Interface Design Guidelines [Book]. ‐ [s.l.] : Ablex Publishing
Corp., 1988.
Chen Sherry Y. and Macredie Robert D. The assessment of usability of electronic shopping: A
heuristic evaluation [Journal] // International Journal of Information Management. ‐ 2005. ‐ 6 :
Vol. 25. ‐ pp. 516‐532. ‐ DOI: 10.1016/j.ijinfomgt.2005.08.008.
Choice Expert VA: Decision Support Software [Report]. ‐ [s.l.] : Mclean, 1986.
Collazos C.A. [et al.] Colaboratorio de usabilidad: un mecanismo para la evaluación
colaborativa de la usabilidad [Conference] // Interacción 2009. ‐ Armenia : [s.n.], 2009. ‐ pp.
163‐172.
Constantine L. What do users want? Engineering usability into software [Journal] // Windows
Tech Journal. ‐ 1995.
Coyle C. L. [et al.] Evolution of a heuristic evaluation process at Bell laboratories. [Journal] // In
Proceedings of the Second IASTED international Conference on Human Computer interaction. ‐
Chamonix, France : D. Cunliffe, Ed. International Association Of Science And Technology For
Development. ACTA Press, Anaheim, CA,, March 14 ‐ 16 2007. ‐ pp. 211‐215.
de Lera E. and Garreta M. 10 heurísticos emocionales: pautas para evaluar la dimensión
afectiva de los usuarios de forma fácil y económica. [Journal] // Faz. ‐ pp. 68‐81. ‐
http://www.revistafaz.org/articulos_2/06_diezheuristicos_delera_garreta.pdf.
Dix A. [et al.] Human‐Computer Interaction [Book]. ‐ Madrid : Prentice Hall, 2009.
Evolucy Evaluación heurística de un quiosco de autoservicio de fotografía digital: caso práctico.
[Journal] //
Evolucy
. ‐
2004. ‐
http://www.evolucy.com/esp/projects/evaluacion_heuristica_kiosk.html.
Facilusar.com [Online]. ‐ 2009. ‐ http://facilusar.blogspot.com/.
Fundación SIDAR [Online] // Principios del Diseño Universal o Diseño para Todos. ‐ 2009. ‐
http://www.sidar.org/recur/desdi/usable/dudt.php.
García R. [et al.] Building a Usable and Accessible Semantic Web Interaction Platform.
[Journal] // World Wide Web. ‐ [s.l.] : Springer Netherlands, Marzo 2010. ‐ Vol. 13. ‐ pp. 143‐
167. ‐ DOI= http://dx.doi.org/10.1007/s11280‐009‐0076‐2.


93

Geerts D. and De Grooff D Supporting the social uses of television: sociability heuristics for
social tv [Journal] // CHI '09. ACM. ‐ New York : [s.n.], 2009. ‐ In Proceedings of the 27th
international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 ‐
09, 2009).. ‐ DOI= http://doi.acm.org/10.1145/1518701.1518793 .
González [et al.] La interacción persona‐ordenador [Book Section] // La interacción persona‐
ordenador / ed. Lorés J.. ‐ Lleida : [s.n.], 2001.
González M. [et al.] Quantitative analysis in a heuristic evaluation experiment [Journal] //
Advances in Engineering Software. ‐ Diciembre 2009. ‐ 12 : Vol. 40. ‐ pp. 1271‐1278 .
González M. P., Lorés J. and Granollers A. Enhancing usability testing through datamining
techniques: A novel approach to detecting usability problem patterns for a context of use
[Journal] // Inf. Softw. Technol.. ‐ Mayo 2008. ‐ 50 : Vol. 6. ‐ pp. 547‐568. ‐ DOI=
http://dx.doi.org/10.1016/j.infsof.2007.06.001 .
González M.O [et al.] Evaluación heurística de sitios web academicos Latinoamericanos dentro
de la iniciativa UsabAIPO. [Conference] // Interacción. ‐ 2006. ‐ pp. 143‐153.
González M.P. [et al.] Testing website usability in Spanish‐speaking academia through heuristic
evaluation and cognitive walkthroughs. [Journal] // J Universal Comput Sci (JUCS). ‐ 2008. ‐ pp.
1513‐29. ‐ Special Issue ‘‘Designing the Human–Computer Interaction: Trends and Challenges”.
In: Bravo C, Redondo MA, Ortega M, editors. Graz University of Technology, ISSN: 0948‐69.
Grammenos D., Akoumianakis D. and Stephanidis C. Integrated support for working with
guidelines: the Sherlock guideline management system [Journal] // Interacting with
Computers. ‐ Heraklion, Greece : [s.n.], Enero 2000. ‐ 3 : Vol. 12. ‐ pp. 281‐311(31). ‐
http://10.1016/S0953‐5438(99)00015‐6.
Granollers T., Lorés J. and Cañas J. Diseño de sistemas interactivos centrados en el usuario
[Book]. ‐ Barcelona : Editorial UOC, 2005. ‐ ISBN: 84‐9788‐320‐9.
Gutiérrez M. ¡Larga vida de los cajeros! [Journal] // Faz. ‐ Noviembre 2007. ‐ 1. ‐
http://www.revistafaz.org/numero1/cajeros.pdf.
Henninger S. A methodology and tools for applying context‐specific usability guidelines to
interface design [Journal] // Interacting with Computers. ‐ [s.l.] : Elsevier, 2000. ‐ 3 : Vol. 12. ‐
pp. 225‐243. ‐ DOI: 10.1016/S0953‐5438(99)00013‐2.
Isıklar G. and Büyüközkan G. Using a multi‐criteria decision making approach to [Journal] //
Computer Standards&Interfaces. ‐ 2007. ‐ Vol. 29. ‐ pp. 265–274.
ISO 13407. International Standard.ISO 13407. // Human‐centered design, 1999 processes for
interactive systems.. ‐ 1999.
ISO International Standard ISO/IEC 9126. // Information technology ‐‐ Software product
evaluation ‐‐Quality characteristics and guidelines for their use, International Organization for
Standardization, International Electrotechnical Commission. ‐ Geneva : [s.n.], 1991.


94

ISO/IEC 25010 Software engineering‐ Software product Quality Requirements and Evaluation
(SQuaRE)‐ Software and quality in use models.. ‐ 2008.
Ivory M. Y. and Hearst M. A. The state of the art in automating usability evaluation of user
interfaces [Journal] // ACM Comput. Surv. ‐ Diciembre 2001. ‐ 4 : Vol. 33. ‐ pp. 470‐516. ‐ DOI=
http://doi.acm.org/10.1145/503112.503114 .
Kemp E. and Setungamudalige D. T. A resource support toolkit (R‐IDE): supporting the DECIDE
framework [Journal] // ACM. ‐ New York : [s.n.], 2006. ‐ Vol. 158. ‐ pp. 61‐66. ‐ Proceedings of
the 7th ACM SIGCHI New Zealand Chapter's international Conference on Computer‐Human
interaction: Design Centered HCI (Christchurch, New Zealand, July 06 ‐ 07, 2006).. ‐ DOI=
Kılıç Delice E. and Güngör Z. The usability analysis with heuristic evaluation and analytic
hierarchy process [Journal] = Int.J.Ind.Ergonomics // International Journal of Industrial
Ergonomics. ‐ 2009. ‐ 6 : Vol. 39. ‐ pp. 934‐939. ‐ DOI: 10.1016/j.ergon.2009.08.005.
Kirigin A., Klein G. and Adelman L. Heuristic Evaluation Techniques for Collaborative Software
[Journal] // MITRE Corporation, 2005. CSCW 2006 conference. ‐ 2006.
Lausen H. [et al.] Semantic Web Portals ‐‐ State of the Art [Journal] // Journal of Knowledge
Management / ed. Limited Emerald Group Publishing. ‐ 2005. ‐ 5 : Vol. 9. ‐ pp. 40‐49. ‐ DOI:
10.1108/13673270510622447.
Leporini B., Paternò F. and Scorcia A. Flexible tool support for accessibility evaluation
[Journal] // Interacting with Computers. ‐ [s.l.] : Elsevier, 2006. ‐ Vol. 18. ‐ pp. 869‐890. ‐ DOI:
10.1016/j.intcom.2006.03.001.
Maguire M.C. A Review of User‐Interface Design Guidelines for Public Information Kiosk
Systems [Journal] // Electronic Proceedings of the 3rd ERCIM Workshop on "User Interfaces for
All" / ed. Stephanidis C and Carbonell N.. ‐ 1997. ‐ http://ui4all.ics.forth.gr/UI4ALL‐
97/maguire.pdf.
Mankoff J. [et al.] Heuristic evaluation of ambient displays [Journal] // In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems (Ft. Lauderdale, Florida, USA,
April 05 ‐ 10, 2003).. ‐ New York : CHI '03. ACM, 2003. ‐ pp. 169‐176. ‐ DOI=
http://doi.acm.org/10.1145/642611.642642.
Marshall C., Nelson C. and Gardiner M.M. Applying Cognitive Psychology to User‐Interface
Design [Book]. ‐ Wiley, Chichester and New York : In: Gardiner, M.M. and Christie, B., Editors,
1987. ‐ Vol. Design guidelines : pp. 221–278.
Martin J. Design of Man‐Computer Dialogues [Book]. ‐ Englewood Cliffs, NJ : Prentice Hall,
1973.
Matera M. [et al.] SUE Inspection: an Effective Method for Systematic Usability Evaluation of
Hypermedia [Journal] // IEEE Transactions on Systems, Man and Cybernetics‐ Part A. ‐ 2002. ‐
1 : Vol. 32. ‐ pp. 93‐103.


95

Mayhew D.J. Principles and Guidelines in Software User Interface Design [Book]. ‐ New York :
Prentice Hall, Inc, 1992.
Mirel B. and Wright Z. Heuristic Evaluations of Bioinformatics Tools: A Development Case
[Journal] // Lecture Notes In Computer Science. ‐ Berlín : Springer‐Verlag, 2009. ‐ Vol. 5610. ‐
pp. 329‐338. ‐ DOI= http://dx.doi.org/10.1007/978‐3‐642‐02574‐7_37.
Molich R. and Nielsen J. Improving a human‐computer dialogue. [Journal] // Commun. ACM . ‐
Marzo 1990. ‐ 3 : Vol. 33. ‐ pp. 338‐348. ‐ DOI= http://doi.acm.org/10.1145/77481.77486.
Muller M. J. [et al.] Methods & tools: participatory heuristic evaluation [Article] //
Iinteractions. ‐ New York : [s.n.], Septiembre 1998. ‐ 5 : Vol. 5. ‐ pp. 13‐18. ‐ DOI=
Mur C. Diseño e implementación de un gestor para realizar evaluaciones heurísticas [Report] :
TFC / Departamento de Informática e Ingenieria Industrial ; Universitat de Lleida. ‐ 2007.
Nielsen J. and Mack R.L. Usability Inspection Methods [Book]. ‐ New York : John Wiley & Sons,
(1994). ‐ ISBN: 0‐471‐01877‐5.
Nielsen J. and Molich R. Heuristic evaluation of user interfaces [Conference] // CHI ’90:
Proceedings of the SIGCHI conference on human factors in computing systems / ed. Press
ACM. ‐ New York ( USA) : [s.n.], 1990. ‐ pp. 249–56.
Nielsen J. and Thair M. Usabilidad de páginas de inicio: Analisis de 50 sitios web [Book]. ‐
Madrid : Prentice Hall, 2002. ‐ ISBN: 9788420532028 .
Nielsen J. Enhancing the explanatory power of usability heuristics. [Journal] // CHI '94. ACM. ‐
New York : B. Adelson, S. Dumais, and J. Olson, 1994a. ‐ pp. 152‐158. ‐ In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems: Celebrating interdependence. ‐
DOI= http://doi.acm.org/10.1145/191666.191729.
Nieto M. La usabilidad de los terminales táctiles [Journal] // Evolucy. ‐ 2002. ‐
http://www.evolucy.com/esp/columns/20020515_usabilidad_tactil.html.
Norman D. The Design of Everyday Things [Book]. ‐ New York : Basic Books, 1988.
Oliva M., Masip L. and Granollers T. Evaluación de usabilidad y accesibilidad de un conjunto
de dispositivos interactivos denominados Puntos de Información Ciudadana. [Journal] // Scire:
representación y organización del conocimient. ‐ Vol. 202212 . ‐ Artículo en premsa. ‐ ISSN:
1135‐3716.
Pascual A. Evaluación Heurística de la Iniciativa UsabAIPO mediante técnicas de
Descubrimiento de Conocimiento en Bases de Datos. [Report] : TFC / Departamento de
Informática e Ingenieria Industrial ; Universitat de Lleida. ‐ 2006.
Pierotti D. Heuristic Evaluation ‐ A System Checklist. [Journal] // Xerox Corporation.. ‐ 2004. ‐
http://www.stcsig.org/usability/topics/articles/he‐checklist.html .


96

Pinelle D., Wong, N., and Stach, T. Heuristic evaluation for games: usability principles for video
game design. [Conference] // In Proceeding of the Twenty‐Sixth Annual SIGCHI Conference on
Human Factors in Computing Systems (Florence, Italy, April 05 ‐ 10, 2008). CHI '08 / ed. ACM. ‐
New York : [s.n.], 2008. ‐ pp. 1453‐1462. ‐ DOI= http://doi.acm.org/10.1145/1357054.1357282.
Ponsa P. and Díaz M. Creación de guía ergonómica para el diseño de interfaz de supervisión
[Conference] // VII Congreso Internacional de Interacción Persona‐Ordenador. ‐ Puertollano
(Ciudad Real) : [s.n.], 2006.
Rodrigo L., García A. and Martínez P. Planteamiento semántico y pragmático para gestión de
diálogos en asistentes virtuales [Journal] // Procesamiento del Lengiaje Natural. ‐ 2002. ‐ 28. ‐
pp. 81‐88.
Saaty T.L. The Analytic Hierarchy Process [Book]. ‐ [s.l.] : McGraw‐Hill International Book, 1980.
Shneiderman B. Designing the User Interface: Strategies for Effective Human‐Computer
Interaction [Book]. ‐ [s.l.] : Addison‐Wesley Publ. Co., 1987. ‐ p. 448. ‐ ISBN:0201165058.
Singh A. and Wesson J. Evaluation criteria for assessing the usability of ERP systems
[Journal] // SAICSIT '09. ACM. ‐ New York : [s.n.], 2009. ‐ pp. 87‐95. ‐ In Proceedings of the 2009
Annual Research Conference of the South African institute of Computer Scientists and
information Technologists (Vanderbijlpark, Emfuleni, South Africa, October 12 ‐ 14, 2009).. ‐
DOI= http://doi.acm.org/10.1145/1632149.1632162 .
SitePal
Speaking
avatar.
Best
practice
http://www.sitepal.com/pdf/bestpractice_2008.pdf.

guide.

[Online]. ‐

2008. ‐

Smith S. and Mosier J. Guidelines for designing user interface software [Book]. ‐ Bedford :
Mitre corp., 1986. ‐ Report ESD‐TR‐ 86‐278.
Squac Grupo Accusa [Online] // Herramienta de soporte para las evaluaciones herurísticas. ‐
02 12, 2010. ‐ http://squac.iti.upv.es/blog/2009/accusa‐una‐herramienta‐de‐soporte‐a‐la‐
ingenieria‐de‐usabilidad‐y‐accesibilidad/.
Sussex Universidad de Interactive Heuristic Evaluation [Online] // Interactive Heuristic
Evaluation. ‐ 02 11, 2009. ‐ http://www.id‐book.com/catherb/.
Sutcliffe A. and Gault B. Heuristic evaluation of virtual reality applications [Journal] //
Interacting with Computers. ‐ 2004. ‐ 4 : Vol. 16. ‐ doi:10.1016/j.intcom.2004.05.001.
Todorov Dd. and Schandl B. Small‐Scale Evaluation of Semantic Web‐based Applications
[Journal] // University of Vienna. ‐ 7 2008. ‐ CS.UNIVIE, http://www.cs.univie.ac.at.
Tognazzini B. First principles of interaction design [Journal] // Interaction design solutions for
the real world. ‐ [s.l.] : AskTog, 2003. ‐ http://asktog.com/basics/firstPrinciples.html.
Usable y accesible [Online]. ‐ 2009. ‐ http://olgacarreras.blogspot.com/ .
Vanderdonckt j. Accessing guidelines information with SIERRA [Conference] // Interact'95 / ed.
K. Nordbyn P.H. Helmersen, D.J. Gilmore and S.A. Arnesen. ‐ London : [s.n.], 1995. ‐ pp. 311‐

97

316. ‐ in Proceedings of Fifth IFIP TC 13 International Conference on Human‐Computer
Interaction, Chapman & Hall.


98

Masip

Más contenido relacionado

Más de Universidad Tecnológica del Perú (20)

Último (20)

Masip