12 de outubro de 2007

Métodos de avaliação em design #08



> métodos e técnicas:

Uma das estratégias, mais óbvias, para quem pretende avaliar a usabilidade de um produto, é observar o seu uso. A observação é uma técnica objectiva, que faz parte das metodologias da Ergonomia, para a análise da actividade. As técnicas subjectivas já foram abordadas em post anteriores e incluem os questionários e as entrevistas, entre outras. O investigador pode decidir usar estas técnicas individual ou conjuntamente, de acordo com os propósitos do estudo. Porém, para a obtenção, através da observação, de dados rigorosos e válidos é preciso que esta obedeça a regras científicas bem definidas.

A observação podem ser directa, se o investigador estiver presente durante a ocorrência da actividade (observação visual, observação remota por circuito interno de vídeo) em tempo real, ou, indirecta, se a observação for feita pela visualização posterior de vídeos ou fotografias.

A observação pode ser passiva, se o investigador se limitar a observar e registar, passivamente, o desempenho da actividade pelos sujeitos. Este é um processo pouco intrusivo mas, que pode ser muito incompleto. Esta fragilidade poderá ser ultrapassada com o recurso à análise, posterior, de registos vídeo. Por oposição, a observação poderá ser activa, se o investigador participar, conjuntamente com o operador, na actividade. Esta alternativa pode ser muito útil em situações repletas de automatismos, onde os operadores sentem dificuldades em verbalizar a forma como desempenham as suas tarefas. Também é muito útil nos casos onde se procura investigar o trabalho de uma equipa, para compreender a forma como o grupo se organiza e como se comporta.

Nas fases mais embrionárias do estudo, a observação pode ser realizada de forma livre e aberta, para permitir que o investigador se familiarize com a situação. Em alguns casos, a observação pode ser auxiliada por formulários/fichas ou diagramas previamente elaborados. Esta documentação facilitará, sobretudo, o tratamento estatístico, posterior, dos dados recolhidos (frequências, transições, duração, etc.). Normalmente, este procedimento é usado em observações pontuais, efectuadas em momentos pré-definidos e focando aspectos muito específicos da actividade, como as posturas, os movimentos, para detecção de problemas musculo-esqueléticos. As técnicas mais comuns, deste tipo de observação, são o Posturegram [1] ou OWAS [2]. Contudo, estes são processos de validade limitada e muito dependentes da experiência do investigador.

Porém, para quem pretende realizar uma observação sistemática e em tempo real estes procedimentos não são viáveis. Como alternativa, o investigador, pode recorrer ao vídeo. Com alguma facilidade uma tarefa poderá ser registada em vídeo e áudio, para posterior análise laboratorial. Muito embora, o vídeo possa ser uma ferramenta muito útil, especialmente porque pode captar imensa quantidade de informação sem a presença do investigador, é necessário ter alguns cuidados no seu uso.

A observação recorrendo ao vídeo permitirá estudar a forma como as diferenças individuais condicionam a resolução de problemas, quais são os problemas decorrentes de situações de emergência. Também permitirá identificar as condições em que ocorrem os erros, compreender como reagem os trabalhadores sob stress e avaliar as condições responsáveis pelo aparecimento de problemas músculo-esqueléticos. O vídeo permitirá, ainda, a confrontação dos sujeitos observados com o seu comportamento, servindo para auto-avaliação, treino ou formação. O vídeo oferece bastantes garantias e também pode ajudar a evitar enviasementos relativos à avaliação subjectiva.

Contudo, a primeira ressalva, no uso do vídeo, é que este não deve ser o único processo de registo, deve ser sempre complementado com uma observação paralela feita pelo investigador. Existem, também, aspectos éticos a considerar no seu uso, como a liberdade pessoal e a confidencialidade dos dados. Também não podemos ignorar que, o simples facto de os sujeitos se sentirem observados, produzirá modificações nos seus comportamentos, o que poderá provocar distorções nos dados recolhidos.

Independentemente de qual o tipo de observação que se irá escolher, as etapas gerais a percorrer podem ser:

1) Definição dos Objectivos: o que se pretende estudar; qual a hipótese que está em cima da mesa e que queremos testar;

2) Registo da Actividade de Trabalho: como vamos proceder para registar a actividade (formulários, vídeo, áudio, etc.);

3) Definição de Categorias Comportamentais: em que sub-componentes, ou indicadores observáveis, vamos dividir a actividade (ex.: posturas, movimentos, deslocamentos/percursos, transporte de cargas, ângulos de visão, movimentos oculares, comunicações, tempos/frequências, etc.);

4) Quantificação das Frequências de Ocorrência: quais são as variáveis a monitorizar (duração/tempo, frequências, distâncias, etc) e como se expressarão.

Apesar de, comparativamente com técnicas como questionários, entrevistas ou checklists, a observação ser muito popular entre os investigadores, é preciso ponderar cuidadosamente as suas vantagens e desvantagens.

As suas vantagens mais interessantes são:
_ permite a recolha de dados que não seria possível recolher de outra forma;
_ é muito útil numa fase exploratória inicial, onde o investigador procura identificar o problema a observar, facilitando a familiarização com a actividade;
_ permite identificar e comparar diferenças individuais de desempenho;
_ permite a comparação de dados obtidos por outros investigadores e por outros processos.

Algumas das suas desvantagens são:
_ a realização de uma observação em tempo real requer um profissional treinado;
_ os dados recolhidos são muitos e complexos, pelo que, o seu tratamento e análise irão implicar um grande o investimento;
_ a observação directa pode ser uma técnica intrusiva, levando a que comportamento possa ser influenciado pela presença do observador;
_ os dados obtidos podem ser imprecisos, incompletos, inconsistentes ou até impraticáveis;
_ não fornece informação sobre os processos que sustentam, ou estão na génese dos procedimentos humanos, por isso, serão de pouca utilidade em actividades com elevada complexidade cognitiva;
_ os equipamentos usados para recolha de dados podem ser dispendiosos e de aplicação difícil nos locais;

Como tivemos oportunidade de ver, apesar da observação nos permitir recolher imensa informação detalhada, poderá não ser suficiente para compreendermos a globalidade do processo de trabalho que está envolvido. Podemos aumentar a quantidade e qualidade da informação recolhida se usarmos o “think aloud”, ou seja, se estimularmos o sujeito observado a ir falando sobre aquilo que está a fazer. Para terminar, podemos constatar que desenvolvimento de softwares específicos para análise de vídeos, como o “Vídeo Behavior” [3] está a tornar a observação mais eficaz, mais rigorosa e mais atractiva para o investigador.

Referências:
[1] Priel, V.Z.: A numerical den̈ition of posture. Hum. Factors 16, 576–584 (1974)
[2] Karhu, O., Kansi, P., Kuorinka, I.: Correcting working postures in industry: a practical method for analysis. Appl. Ergon. 8(4), 199–201 (1977)
[3] Filgueiras, E. & Rebelo, F. (2007). An Interactive System to Measure the Human Behaviour: An Analysis Model for the Human-Product-Environment Interaction. Proceedings of the 12th International Conference, HCI International 2007. Beijing, China, July 22-27, 2007

.

Sem comentários: