Sabiam que # o uso de "personas" aumenta a usabilidade das soluções?

Um estudo recente, conduzido por Frank Long, sugere que o uso de "personas" (personagens/cenários), como método para comunicar requisitos, numa abordagem de design colaborativo, resulta em soluções com maior usabilidade.

Abstract "The use of personas as a method for communicating user requirements in collaborative design environments is well established. However, very little research has been conducted to quantify the benefits of using this technique. The aim of this study was to investigate the effectiveness of using personas. An experiment was conducted over a period of 5 weeks using students from NCAD. The results showed that, through using personas, designs with superior usability characteristics were produced. They also indicate that using personas provides a significant advantage during the research and conceptualisation stages of the design process (supporting previously unfounded claims). The study also investigated the effects of using different presentation methods to present personas and concluded that photographs worked better than illustrations, and that visual storyboards were more effective in presenting task scenarios than text only versions."

Ler o resto do artigo no frontend.com.

Nota: Na sequência de uma observação feita por um leitor, gostaria de adicionar alguma informação a esta mensagem.

Não foi dito que a novidade, contida no artigo que estamos a citar, não é a descoberta das vantagens do uso de "personas", o que já se sabia anteriormente, mas antes alguns dados que quantificam o efeito do uso desse método. Este estudo dá-nos uma ideia de qual a verdadeira dimensão desse efeito. O que pode ser um argumento importante para justificar a adopção de uma metodologia.

Existem diversos casos similares a este. Os especialistas sabem, por experiência própria, ou por relatos partilhados com colegas, que estas metodologias são vantajosas mas, por falta de pesquisas experimentais controladas, não possuem dados que sustentem a sua opinião.

Referência:
Long, F (2009) 'Real or Imaginary; The effectiveness of using personas in product design', Proceedings of the Irish Ergonomics Society Annual Conference, May 2009, pp1-10 Dublin.
.

Métodos para avaliar as emoções

A emoção é parte essencial da qualidade da nossa interacção com produtos/serviços. Por vezes, é graças a ela que tomamos as nossas decisões de consumo/uso dos produtos e fazemos as nossas avaliações sobre eles. Este factor é muito relevante porque, nos dias de hoje, a tecnologia já não é considerada como o principal factor de decisão e de distinção entre fabricantes/marcas. Por isso, não é de estranhar o grande investimento da Ergonomia e do Design nesta questão.

Tratando-se de um aspecto subtil e, de certa forma, pouco óbvio ou evidente, têm vindo a ser desenvolvidos diversos métodos e técnicas com o objectivo de facilitar a avaliação das emoções dos utilizadores.

O processo tradicional para fazer tal avaliação consiste na realização de questionários, normalmente usando escalas subjectivas de resposta, que levam as pessoas a fazer avaliações, de base verbal, sobre aspectos relacionados com as emoções associadas a um produto/serviço. Os dados obtidos podem, posteriormente, ser tratados de forma gráfica. Um exemplo é o Emotional Mapping, descrito por Daniel Formosa da Smart Design.

Diversos programas informáticos foram desenvolvidos, nos últimos anos, com este mesmo propósito. Bons exemplos, que resultaram da investigação realizada pelo professor Pieter Desmet, da Universidade Técnica de Delft, são o PrEmo (Product Emotion Measurement) e o LEMtool (Layered Emotion Measurement tool), comercializados pelo SusaGroup.


Figura 1 - ilustrações das emoções disponíveis no PrEmo.

O PrEmo recorre a ilustrações animadas, para representar diferentes emoções, em vez de se basear no uso de palavras, tal como acontece com os questionários. O que torna a avaliação bastante interactiva e muito divertida.

O LEMtool foi pensado para avaliar, especificamente, as emoções face a páginas Web.


Figura 2 - Ilustração das diferentes emoções (felicidade, desejo, fascínio, satisfação, tristeza, desgosto, aborrecimento e insatisfação), que os utilizadores podem escolher como estando associadas a diferentes aspectos da interface (atracção, estética, usabilidade), do LEMtool.

Ler mais:
# The Product Emotion Measurement Instrument (PrEmo) by Pieter Desmet, Delft University of Technology (PDF).
# Measuring Emotion by Pieter Desmet (PDF).
# Affective experiences in the Home: measuring emotion by Claire Dormann (PDF)
.

Sabiam que... # há um fato que vos torna velhos?

# sabiam que há um fato que vos pode tornar velhos num ápice?

Não, não é um fato mágico nem de ficção científica e os efeitos são totalmente revertíveis!

Estamos a falar de um equipamento usado em pesquisas relacionadas, sobretudo, com a ergonomia/design de produtos destinados a utilizadores idosos.


O "aging suit" (fato da terceira idade) é um fato que faz sentir, quem o veste, como se fosse uma pessoa idosa. Há um ditado que diz, "não é o hábito que faz o monge" que, neste caso não se aplica. O fato inclui, entre diversos componentes possíveis, sapatos especiais que desequilibram os utilizadores, óculos que distorcem as cores e replicam os efeitos de cataratas e outras deficiências visuais, luvas que reduzem o tacto e limitam a mobilidade dos dedos e limitadores do movimento (joelhos, cotovelos, pescoço, etc.), entre outros.

Para que serve esse fato?


Em alguns casos pode não ser benéfico, aconselhável, ou possível ter potenciais utilizadores idosos a participar nos projectos de investigação, ou, de desenvolvimento de produtos. Os motivos podem ser diversos e estão relacionados, sobretudo, com a segurança, bem-estar e questões éticas. A alternativa poderá ser, nestes casos, transformar os designers, ergonomistas, engenheiros, ou, outros técnicos em idosos. Dessa forma, todos os envolvidos na concepção podem experimentar o uso dos seus produtos, tal como será feito pelos idosos. O objectivo será facilitar a usabilidade e acessibilidade dos mesmos.

O fato tem sido usado em diversos produtos e para os mais diversos fins.
Aqui ficam alguns "links" para saber um pouco mais sobre este equipamento.

‘Aging suit’ helps develop cars for older drivers.
Ford Drives a Mile In an Older Person's Suit
Instant Aging with a Wearable Time Machine
"Mobilistrictor"
The suit that makes you feel old
.

Sabiam que... # Chindogu Design

# Sabiam que o Chindogu é o termo atribuído a um tipo de actividade criativa, que pode ser enquadrada no âmbito de design de produto, criada no Japão e que se dedica a criar soluções estapafúrdias para problemas do quotidiano?

A tradução literal da palavra Chindogu reforça essa noção de design desnecessário: “Chin” significa estranho, ou pouco comum, e “dogu” significa ferramenta.

O pai do termo Chindogu foi Kenji Kawakami, um inventor e escritor Japonês, autor de diversos livros sobre esta questão como, por exemplo, “ 101 Unuseless Japanases Inventions: The Art of Chindogu”. Contudo, soluções idiotas e loucas sempre existiram, a novidade aqui é a ideia de conceber, com intencionalidade, soluções que irão criar mais problemas do que aqueles que se propõem resolver.

Na verdade, as soluções criadas, segundo a filosofia do Chindogu, são tão absurdas que ninguém, no seu perfeito juízo, se atreverá a usá-las. E, se o fizer, irá experimentar, certamente, grandes dificuldades. No entanto, apesar de o Chindogu não se destinar a ser usado com o mero propósito da sátira, essa, parece ser a sua função natural mais óbvia.

Apesar de ser conceptualmente livre e de se dedicar a ridicularizar o mais simples bom-senso, o Chindogu assenta em 10 princípios básicos, que devem ser respeitados:

1) Um Chindogu não se destina a uso real;

2) Um Chindogu tem que existir;

3) O espírito de anarquia é inerente a cada Chindogu;

4) Os Chindogus são ferramentas para a vida quotidiana;

5) Os Chindogus não são para venda;

6) O humor não deve ser a única razão para criar um Chindogu;

7) Um Chindogu não é propaganda;

8) O Chindogu não pode ser um taboo;

9) Um Chindogu não pode ser patenteado;

10) Um Chindogu é-o sem preconceitos.

Na minha opinião, o Chindogu, pode ser uma excelente forma de criticar o consumismo, a obsolescência, o design fácil e inconsequente, assim como, a ideia de que é possível facilitar a vida comprando mais uma engenhoca qualquer. Por isso, apesar de algumas das soluções criadas no espírito Chindogu serem verdadeiramente hilariantes, eu não considero esta questão um mero divertimento. Se levada a sério, esta forma de encarar o design, pode ser muito produtiva. Especialmente como ferramenta para estimular a imaginação e a criatividade dos designers, ou, para salientar aspectos ridículos da nossa vida, que nem sempre são criticados como merecem.

O Chindogu é, por isso, uma ferramenta com bastante potencial educativo…

Para saber mais:

http://www.designboom.com/history/useless.html

http://www.chindogu.com/

http://www.japaninc.com/article.php?articleID=762

http://website.lineone.net/~sobriety/

http://www.chindogugallery.com/

Métodos de avaliação em design #10

> métodos e técnicas:

9) Análise da tarefa

Antes de falar sobre a análise da tarefa (task analysis), propriamente dita, é importante entendermos a diferença entre os termos tarefa e actividade. Muito embora sejam usados, na linguagem corrente, de forma indistinta, são diferentes. Sumariamente, a tarefa é o trabalho teórico, ou seja, aquilo que é suposto / previsto ser efectuado. Por outro lado, a actividade é a forma como o indivíduo realiza esse trabalho, ou seja, as estratégias e os conhecimentos que ele põe em marcha para alcançar os objectivos que lhe foram estipulados. Naturalmente, as condições colocadas à disposição do indivíduo (ambientais, físicas, técnicas e organizacionais, etc.), condicionarão o seu desempenho.

A análise da tarefa visa conhecer, de forma detalhada, como é composta a tarefa a ser desempenhada. Dito de outra forma, é a análise de como a tarefa é efectuada.

Podemos esperar obter, de uma análise da tarefa, diversas informações úteis ao projecto:

> detectar eventuais discrepâncias, entre a forma como foi pensada / planeada a tarefa e como esta é executada na realidade (Qual é a adequação entre as sequência previstas e as efectivamente seguidas? Qual é o grau de adequação? Qual é a melhor forma para o fazer?);

> conhecer os quadros mentais e comportamentos dos envolvidos no processo de concepção. Muitas vezes, aquilo que é óbvio e fácil para um especialista (ex. engenheiro, designer, etc.) não é nada fácil nem óbvio para o utilizador leigo;

> compreender quais são os objectivos dos utilizadores, ou seja, aquilo que estão a tentar alcançar, ou, querem fazer com este produto/sistema;

> identificar aquilo que eles fazem para alcançar esses objectivos (Quais são os passos que eles percorrem para o fazer - como é que as pessoas fazem isto?) e a forma como raciocinam sobre o sistema;

> determinar quais são as características pessoais, sociais e culturais que os utilizadores trazem consigo para a realização das tarefas;

> perceber de que forma, os utilizadores, são influenciados pelo envolvimento físico e pelos conhecimentos prévios que possuem;

Entre as vantagens associadas ao uso desta técnica estão a possibilidade de antecipar, com rigor, as condições físicas, ambientais e os tempos necessários para execução das tarefas; seleccionar / remover, com consciência, componentes da tarefa; estipular sequências de acção; identificar as etapas onde ocorrem mais erros, incidentes e acidentes; compreender os mecanismos de recuperação desses mesmos erros e detectar quais etapas de maior/menor dificuldade para os utilizadores, etc.

Esta análise poderá incluir uma descrição detalhada das actividades físicas e cognitivas, bem como detalhes da tarefa (tempos, frequências, recursos mobilizados, grau de complexidade, condições ambientais, requisitos específicos de vestuário e/ou equipamento), entre outras variáveis envolvidas, ou necessárias, para o desempenho bem sucedido da tarefa.

A análise pode ser efectuada para tarefas de carácter maioritariamente físico e, nesses casos, iremos prestar mais atenção a aspectos como os tempos, os movimentos, as forças, etc. Mas, também pode ser efectuada para tarefas de carácter sobretudo informacional / cognitivo, onde ocorre pouco trabalho físico, e as tarefas dependem mais de aspectos como a tomada de decisão, a aprendizagem, os erros, a compreensão, etc.

Os dados resultantes desta análise podem ser usados como restrições / constrangimentos para novas soluções / propostas de design e na avaliação dos seus conceitos de base.

Importa salientar que, não temos que efectuar a análise, obrigatoriamente, com produtos já existentes, ou sistemas já implementados, ela pode ser feita usando maquetas, protótipos funcionais ou simulações. Também pode ser efectuada em ambiente laboratorial, com condições controladas e, não apenas em campo.

Diversos problemas podem ser alvo desta análise. Tradicionalmente, ela foi concebida para avaliar sistemas produtivos complexos (linhas de montagem, sistemas complexos, etc), mas pode ser usada para avaliar aspectos mais específicos, como um simples posto de trabalho, ou o uso de um determinado produto. Foi, também, aplicada com sucesso ao design de interfaces e ao design de aplicações para a Web. A análise da tarefa também pode ser usada no contexto escolar, pelos professores, para fazerem uma análise da adequação dos seus curricula ás capacidades dos alunos.

Esta análise da tarefa, de que estamos a falar no post de hoje, pode complementar a análise de que falámos na semana passada, o “think aloud” (TA), ou análise de protocolo. Por exemplo, numa situação em que se verificam distorções nos dados obtidos pelo TA esta análise da tarefa pode ajudar a clarificar as sequências de operação. O recurso ás imagens de vídeo, de que falámos a propósito das técnicas de observação pode ser usada para determinar os componentes da tarefa. As restantes técnicas, faladas noutros posts, como as entrevistas, questionários, gravações de conversas mantidas com os diversos trabalhadores, são também possíveis de serem usadas conjuntamente com esta análise.

Com frequência, este trabalho de análise termina com uma representação hierárquica dos passos / etapas necessárias para desempenhar a tarefa (hierarchical task analysis) e/ou uma representação do fluxo de trabalho [ver imagem de cabeçalho]. A melhor forma de representar estes dados é recorrendo a diagramas, fluxogramas ou outros gráficos semelhantes, muitas vezes divididos em camadas (layers). Da leitura dos dados deve ficar muito claro qual é objectivo principal da tarefa, as sub-tarefas que poderão estar envolvidas e a sequência de acções que a tarefa precisa para ser realizada.

Uma forma simples de começar a análise é definir o objectivo da tarefa e, de seguida, listar todos os passos envolvidos para o obter, ou seja, o conjunto de eventos que terão que ocorrer para que seja alcançado o objectivo proposto de forma satisfatória. O nível de detalhe desta decomposição depende do projecto em questão.

Para iniciarmos a decomposição da tarefa podemos colocar, a nós próprios, a pergunta: como é que esta tarefa é realizada? Noutros casos, quando iniciamos a análise a partir de um elemento localizado num nível hierárquico inferior, podemos perguntar – porque é que isto é efectuado? De seguida, passaremos para a decomposição a tarefa em grande blocos, que possam ser, por sua vez, decompostos em sub-tarefas e operações (gráfico hierarquizado). Esta fase revelará a estrutura principal da tarefa global. É desejável que, num grau maior de detalhe, sejam construídos os fluxogramas, identificados os momentos e os processos de decisão, bem como efectuados layouts rudimentares.

Muito importante, para a qualidade da análise, é que sejam evidentes as sequências entre os elementos da tarefa. Uma forma, relativamente fácil, de avaliar se a decomposição está correcta é verificar se a soma dos sub-objectivos, atribuídos a cada sub-tarefa, completa o objectivo da tarefa global. Pode ser muito útil pedir a um terceiro elemento, estranho ao processo, que faça uma avaliação global da análise (avaliação da consistência da descrição).

Gostaria de terminar alertando para a existência de diferentes análises que, podem sem confundidas entre si, mas que têm objectivos distintos: job or performance analysis; learning analysis; cognitive task analysis; content or subject matter analysis; activity analysis.

Com este post termino a série dedicada aos métodos de avaliação da usabilidade em design. Espero que sejam úteis...

Referências:

_Hackos, J. & Redish, J. (1998). User and Task Analysis for Interface Design. Chichester: Wiley.

_Kirwan, B. & Ainsworth, L.K. (Eds.) (1992). A Guide to Task Analysis. London: Taylor and Francis.

_Kirwan, B. and Ainsworth, L. (Eds.) (1992). A guide to task analysis. Taylor and Francis.

_Nielsen, J (1994) Extending Task Analysis to Predict Things People May Want to Do

_Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S. & Carey, T. (1994). Human-Computer Interaction. Reading MA: Addison-Wesley.

_Shepherd, A. (1985). Hierarchical task analysis and training decisions. Programmed Learning and Educational Technology, 22, 162-176.

_Shepherd, A. (1989). Analysis and training in information technology tasks. In D. Diaper, Ed. Task Analysis for Human-Computer Interaction, pp.15-55. Chichester: Ellis Horwood.

Links:

usabilityfirst
usabilitynet.org
usability.gov
classweb.gmu.edu

Métodos de avaliação em design #09

> métodos e técnicas:
8) Análise de protocolo

A técnica de avaliação por protocolo é mais conhecida como “Think-aloud”, em português – “Pensar alto”. Este procedimento consiste em estimular os participantes a verbalizarem, durante o uso do produto/sistema, todos os seus pensamentos. Ou seja, a tornar “visível”, para o investigador, aquilo que está oculto dentro da mente do participante. Dessa forma, o investigador terá acesso, em tempo-real, a informação importante sobre o mapa mental dos utilizadores, suas dúvidas, suas dificuldades, seus raciocínios, para onde estão a olhar, o que estão a sentir, etc. É uma óptima técnica, amplamente usada em diferentes domínios e com diferentes objectivos, para avaliar o comportamento humano.

A técnica do “Think-aloud” foi descrita, inicialmente, por Ericsson & Simon [1] em 1993. Mais tarde, foi desenvolvida por Someren et al [2]. Hoje em dia é muito popular, entre os investigadores e surge em imensas metodologias de investigação. A informação que resulta deste procedimento é muita e rica mas, pouco estruturada e caótica. No entanto, podemos recorrer a diversos métodos para a analisar.

Habitualmente, esta técnica é usada conjuntamente com o registo em vídeo/áudio, de que falámos no post da semana passada. Esses registos são, posteriormente, transcritos, segmentados e sujeitos a interpretação, para se poder fazer a análise do seu conteúdo. Durante a observação, o investigador deve limitar-se a tomar notas, sem fazer quaisquer interpretações do que está a observar.

Existem algumas críticas sobre esta técnica. As preocupações estão, sobretudo, relacionadas com a possibilidade de os participantes não falarem sobre tudo o que é importante, ou, poderem agir segundo automatismos difíceis de verbalizar. Para além disso, há ainda a possibilidade de a exigência cognitiva, afecta à verbalização, poder interferir na execução da tarefa. Porém, mesmo considerando as críticas, esta técnica continua a ser uma boa fonte de informação sobre o que as pessoas pensam sobre as soluções de design. Com a vantagem de poder ser aplicada em qualquer fase do percurso projectual.

Um procedimento muito semelhante é designado por “talk-aloud”. Este, envolve, igualmente, participantes a falar, mas com a diferença de estes se concentrarem apenas em descrever as suas acções, sem darem mais explicações. É um procedimento mais objectivo, porque os participantes limitam-se a informar do que irão fazer de seguida, antes de a acção ser efectuada.

Referências:
[1] Ericsson, K., & Simon, H. (1993). Protocol Analysis: Verbal Reports as Data, 2nd ed., Boston: MIT Press.
[2] Someren et al - http://staff.science.uva.nl/~maarten/Think-aloud-method.pdf

Métodos de avaliação em design #08

> métodos e técnicas:

Uma das estratégias, mais óbvias, para quem pretende avaliar a usabilidade de um produto, é observar o seu uso. A observação é uma técnica objectiva, que faz parte das metodologias da Ergonomia, para a análise da actividade. As técnicas subjectivas já foram abordadas em post anteriores e incluem os questionários e as entrevistas, entre outras. O investigador pode decidir usar estas técnicas individual ou conjuntamente, de acordo com os propósitos do estudo. Porém, para a obtenção, através da observação, de dados rigorosos e válidos é preciso que esta obedeça a regras científicas bem definidas.

A observação podem ser directa, se o investigador estiver presente durante a ocorrência da actividade (observação visual, observação remota por circuito interno de vídeo) em tempo real, ou, indirecta, se a observação for feita pela visualização posterior de vídeos ou fotografias.

A observação pode ser passiva, se o investigador se limitar a observar e registar, passivamente, o desempenho da actividade pelos sujeitos. Este é um processo pouco intrusivo mas, que pode ser muito incompleto. Esta fragilidade poderá ser ultrapassada com o recurso à análise, posterior, de registos vídeo. Por oposição, a observação poderá ser activa, se o investigador participar, conjuntamente com o operador, na actividade. Esta alternativa pode ser muito útil em situações repletas de automatismos, onde os operadores sentem dificuldades em verbalizar a forma como desempenham as suas tarefas. Também é muito útil nos casos onde se procura investigar o trabalho de uma equipa, para compreender a forma como o grupo se organiza e como se comporta.

Nas fases mais embrionárias do estudo, a observação pode ser realizada de forma livre e aberta, para permitir que o investigador se familiarize com a situação. Em alguns casos, a observação pode ser auxiliada por formulários/fichas ou diagramas previamente elaborados. Esta documentação facilitará, sobretudo, o tratamento estatístico, posterior, dos dados recolhidos (frequências, transições, duração, etc.). Normalmente, este procedimento é usado em observações pontuais, efectuadas em momentos pré-definidos e focando aspectos muito específicos da actividade, como as posturas, os movimentos, para detecção de problemas musculo-esqueléticos. As técnicas mais comuns, deste tipo de observação, são o Posturegram [1] ou OWAS [2]. Contudo, estes são processos de validade limitada e muito dependentes da experiência do investigador.

Porém, para quem pretende realizar uma observação sistemática e em tempo real estes procedimentos não são viáveis. Como alternativa, o investigador, pode recorrer ao vídeo. Com alguma facilidade uma tarefa poderá ser registada em vídeo e áudio, para posterior análise laboratorial. Muito embora, o vídeo possa ser uma ferramenta muito útil, especialmente porque pode captar imensa quantidade de informação sem a presença do investigador, é necessário ter alguns cuidados no seu uso.

A observação recorrendo ao vídeo permitirá estudar a forma como as diferenças individuais condicionam a resolução de problemas, quais são os problemas decorrentes de situações de emergência. Também permitirá identificar as condições em que ocorrem os erros, compreender como reagem os trabalhadores sob stress e avaliar as condições responsáveis pelo aparecimento de problemas músculo-esqueléticos. O vídeo permitirá, ainda, a confrontação dos sujeitos observados com o seu comportamento, servindo para auto-avaliação, treino ou formação. O vídeo oferece bastantes garantias e também pode ajudar a evitar enviasementos relativos à avaliação subjectiva.

Contudo, a primeira ressalva, no uso do vídeo, é que este não deve ser o único processo de registo, deve ser sempre complementado com uma observação paralela feita pelo investigador. Existem, também, aspectos éticos a considerar no seu uso, como a liberdade pessoal e a confidencialidade dos dados. Também não podemos ignorar que, o simples facto de os sujeitos se sentirem observados, produzirá modificações nos seus comportamentos, o que poderá provocar distorções nos dados recolhidos.

Independentemente de qual o tipo de observação que se irá escolher, as etapas gerais a percorrer podem ser:

1) Definição dos Objectivos: o que se pretende estudar; qual a hipótese que está em cima da mesa e que queremos testar;

2) Registo da Actividade de Trabalho: como vamos proceder para registar a actividade (formulários, vídeo, áudio, etc.);

3) Definição de Categorias Comportamentais: em que sub-componentes, ou indicadores observáveis, vamos dividir a actividade (ex.: posturas, movimentos, deslocamentos/percursos, transporte de cargas, ângulos de visão, movimentos oculares, comunicações, tempos/frequências, etc.);

4) Quantificação das Frequências de Ocorrência: quais são as variáveis a monitorizar (duração/tempo, frequências, distâncias, etc) e como se expressarão.

Apesar de, comparativamente com técnicas como questionários, entrevistas ou checklists, a observação ser muito popular entre os investigadores, é preciso ponderar cuidadosamente as suas vantagens e desvantagens.

As suas vantagens mais interessantes são:
_ permite a recolha de dados que não seria possível recolher de outra forma;
_ é muito útil numa fase exploratória inicial, onde o investigador procura identificar o problema a observar, facilitando a familiarização com a actividade;
_ permite identificar e comparar diferenças individuais de desempenho;
_ permite a comparação de dados obtidos por outros investigadores e por outros processos.

Algumas das suas desvantagens são:
_ a realização de uma observação em tempo real requer um profissional treinado;
_ os dados recolhidos são muitos e complexos, pelo que, o seu tratamento e análise irão implicar um grande o investimento;
_ a observação directa pode ser uma técnica intrusiva, levando a que comportamento possa ser influenciado pela presença do observador;
_ os dados obtidos podem ser imprecisos, incompletos, inconsistentes ou até impraticáveis;
_ não fornece informação sobre os processos que sustentam, ou estão na génese dos procedimentos humanos, por isso, serão de pouca utilidade em actividades com elevada complexidade cognitiva;
_ os equipamentos usados para recolha de dados podem ser dispendiosos e de aplicação difícil nos locais;

Como tivemos oportunidade de ver, apesar da observação nos permitir recolher imensa informação detalhada, poderá não ser suficiente para compreendermos a globalidade do processo de trabalho que está envolvido. Podemos aumentar a quantidade e qualidade da informação recolhida se usarmos o “think aloud”, ou seja, se estimularmos o sujeito observado a ir falando sobre aquilo que está a fazer. Para terminar, podemos constatar que desenvolvimento de softwares específicos para análise de vídeos, como o “Vídeo Behavior” [3] está a tornar a observação mais eficaz, mais rigorosa e mais atractiva para o investigador.

Referências:
[1] Priel, V.Z.: A numerical den̈ition of posture. Hum. Factors 16, 576–584 (1974)
[2] Karhu, O., Kansi, P., Kuorinka, I.: Correcting working postures in industry: a practical method for analysis. Appl. Ergon. 8(4), 199–201 (1977)
[3] Filgueiras, E. & Rebelo, F. (2007). An Interactive System to Measure the Human Behaviour: An Analysis Model for the Human-Product-Environment Interaction. Proceedings of the 12th International Conference, HCI International 2007. Beijing, China, July 22-27, 2007
.

Métodos de avaliação em design #07

> métodos e técnicas:
6) Entrevistas com utilizadores

Conversar com os utilizadores dos produtos que concebemos pode ser uma óptima forma de descobrir o que eles pensam das nossas propostas. É uma maneira, entre outras, de conhecer as suas necessidades, capacidades, limitações e cultura mas, também, o contexto onde esses produtos serão usados.

Estas conversas podem ser mais ou menos formais, mais estruturadas ou mais livres, em função do tipo de informação que desejamos obter e dos objectivos do nosso estudo. Nesse sentido, podemos optar por entrevistas livres, semi-estruturadas ou estruturadas. Numa entrevista livre, o investigador deixará a conversa fluir livremente, ao sabor da corrente. Muito embora, desta forma, seja possível ficar a conhecer aquilo que os utilizadores pensam, é preciso ter consciência de que os dados que daí resultam são especialmente difíceis de analisar e que, em alguns casos até podem nem tocar nos pontos mais quentes da questão. As entrevistas semi-estruturadas e estruturadas, que implicam questões previamente pensadas, permitem abordagem mais sistematizadas. Em alguns casos, o uso de um questionário pode ser mais fácil de implementar e permitir, ainda assim, a obtenção de informação suficiente. Apesar das desvantagens, as entrevistas são um método muito versátil para obter informação e podem ser usadas a qualquer altura do processo projectual. No entanto, também são demoradas e requerem a presença do investigador que, por si só, pode representar uma grande influência sobre as respostas dos participantes.

Em alguns tipos de estudos pode se justificar a realização de um estudo preliminar. Este estudo é realizado em pequena escala e tem por objectivo obter informação relevante para a entrevista principal. Este estudo preliminar também pode ser efectuado realizando entrevistas.

Uma questão, sempre sensível, é a selecção da amostra que irá participar no estudo. Sempre que possível, esta amostra deve ser representativa do universo, caso contrário, pode produzir enviesamentos. A dimensão da amostra depende do tipo de estudo e da importância do trabalho. Mas, essa é uma questão para outro dia, assim como a importância da redacção correcta das perguntas a colocar.

Livro recomendado:

Hill, Manuela & Hill, Andrew (2005). Investigação por questionário. Edições Sílabo. ISBN: 972-618-273-5

Links úteis:

Nondirected Interviews: How to Get More Out of Your Research Questions. by Mike Kuniavsky

Face to Face With Your Users: Running a Nondirected Interview. by Mike Kuniavsky

Métodos de avaliação em design #06

> métodos e técnicas:

5) Focus group

O focus group, em português "discussões de grupo", consiste, basicamente, em recorrer a um grupo de utilizadores (entre 6 a 12), reunidos em painel, para discutir determinado assunto. As sessões de discussão de grupo costumam durar, em média, 90 minutos ou, no máximo, 2 horas e devem ser coordenadas por um moderador experimentado, que ajudará o grupo a interagir e facilitará a discussão.

O focus group é usado, com frequência, para avaliar o impacto de campanhas publicitárias, para avaliar novos conceitos de produtos, ou em fases embrionárias de concepção e geração de ideias, onde importa saber a opinião do público.

Quanto à classificação do focus group, como método ou técnica, existe alguma diversidade de argumentos pelo que, é ainda uma discussão em aberto. Sendo método ou técnica, este procedimento pode ser usado nas mais variadas áreas, desde as pesquisas de mercado, ao design e à ergonomia ou na investigação científica em geral. É um processo de pesquisa qualitativa, onde o investigador recorre a uma estratégia de investigação indutiva para compreender o fenómeno. O seu protocolo inspira-se em entrevistas não direccionadas, privilegiando a observação e o registo das experiências, assim como das reacções dos indivíduos e do grupo. É frequente filmar-se as sessões para análise posterior.

O focus group poderá ser usado em qualquer fase do projecto, mais do que uma vez se necessário e será muito útil, sobretudo, na identificação dos aspectos que são muito importantes para os utilizadores e que, eventualmente, podem passar despercebidos, ou serem negligenciados, pelos designers. Com este intuito, o procedimento passa por pedir aos potenciais utilizadores que discutam os aspectos relativos à usabilidade das propostas em causa.

As principais vantagens, associadas ao focus group, são as sinergias que se criam entre o grupo, permitindo alcançar resultados mais ricos do que se conseguiria entrevistando as pessoas individualmente; a estimulação à participação e discussão dos temas; a espontaneidade e naturalidade das participações; a flexibilidade na introdução de novos tópicos interessantes que, não tenham sido previstos inicialmente; a profundidade que a discussão poderá alcançar; o amplo leque de dados possíveis; a rapidez e a facilidade em obter informação.

Contudo, o focus group também tem algumas desvantagens, que devem ser consideradas. A principal desvantagem reside no facto de ser estar a lidar com interpretações subjectivas de dados, logo, mais difíceis de analisar. Por outro lado, o investigador tem um menor controlo sobre os dados que são gerados pelo grupo, a não ser que recorra a questões predefinidas, podendo vir a obter dados que fogem ao âmbito do tema em questão. Existe, também, a possibilidade de alguns membros, com personalidades mais dominadoras, exercerem influência sobre as opiniões dos restantes, levando a que estes expressem uma opinião que não é a sua, só para serem coerentes com o grupo. Consequentemente, não é possível saber se a interacção do grupo reflecte, ou não, o comportamento individual. Também não é de descurar a dificuldade inerente ao conseguir reunir grupos de indivíduos para participar nas diversas sessões de trabalho.

Quanto a este último aspecto, é importante tomar alguns cuidados na selecção e organização dos participantes dos painéis. Por exemplo, os participantes podem ser agrupados de acordo com o seu nível de conhecimentos ou de experiência prévia, sobre sistemas similares, entre outros critérios pertinentes ao estudo. Para isso, é imprescindível que o problema em estudo esteja muito claro, na mente do investigador, antes do início dos trabalhos. Portanto, só com os critérios e variáveis bem definidas é recomendável seleccionar os participantes. O critério geral, a adoptar na selecção dos participantes, deverá ser o de garantir o equilíbrio, a homogeneidade e a heterogeneidade do grupo. Estas variáveis serão definidas de acordo com a natureza do problema em estudo. No entanto, os membros do grupo deverão ter alguma variável em comum.

Os trabalhos de avaliação podem ser realizados em diversas sessões, onde poderão ser aplicadas diferentes técnicas. Apesar de não haver um protocolo rígido, convém que estas reuniões sejam organizadas e controladas, de forma a garantir que os trabalhados sejam úteis e as discussões não se afastem dos aspectos importantes. É, também, vital garantir a participação de todos os membros do grupo, evitando que a influência de alguns, mais activos, acabe por abafar a opinião de outros, mais tímidos. Por essa razão, nos grupos de trabalho existirá sempre um líder, cuja função é semelhante à do presidente da mesa. Este líder deverá levar consigo, para as sessões, algumas questões pertinentes previamente preparadas. Estas questões serão úteis, quer para iniciar a discussão de aspectos que estejam a escapar aos participantes, quer para trazer a discussão de volta aos aspectos centrais.

Mais informação pode ser encontrada em:

The Use and Misuse of Focus Groups, by Jakob Nielsen.
233 Tips and Tricks for Recruiting Users as Participants in Usability Studies. Nielsen Norman Group Report.
How to conduct a focus group, by Judith Sharken Simon. (pdf)
Structured focus groups
Six Sigma. Artigos diversos sobre focus group
Langford, J. & McDonagh, D. (2003), Focus Groups: Supporting Effective Product Development.

Métodos de avaliação em design #05

> métodos e técnicas:

4) Check-lists;

As checklists, ou listas de verificação em Português, são tão úteis quanto polémicas. Na verdade, muitos especialistas são absolutamente contra o uso destas listas porque, como é óbvio, cada situação é uma situação e é necessário ter cuidado com o uso destes procedimentos mais ou menos generalistas. Para além disso, muitas delas carecem da devida validação para poderem ser usadas sem reservas. Mas, na minha opinião, quando usadas com algum cuidado e de forma controlada, estas listas podem ser um precioso auxiliar à memória humana. São especialmente úteis na definição das operações de um produto/sistema e na identificação das necessidades dos utilizadores. Por isso, muito úteis numa avaliação da usabilidade de um produto. Podem, também, ser úteis para comparar diferentes soluções e detectar deficiências entre propostas semelhantes. Por vezes, são usadas para verificar a qualidade com que as variáveis, previamente definidas, estão tratadas naquela situação específica. A sua maior vantagem é poderem ser usadas, por quem não é especialista, para detectar, de forma rápida, problemas que possam ser resolvidos pela intervenção ergonómica. Contudo, em trabalhos de maior exigência, não devem substituir o recurso a outras técnicas para avaliar as experiências dos utilizadores pois a informação, que delas resulta, não é muito rica. Devem sim, ser usadas conjuntamente com técnicas como a observação ou inquéritos, no âmbito da análise da actividade.

Alguns exemplos de checklists apliacadas na área da ergonomia podem ser encontradas nos seguintes sites: accel-team; osha; office-ergo; hse; rmlibrary, entre outros…

Métodos de avaliação em Design #04

> ferramentas:

3) Avaliação de protótipos funcionais

Ao contrário do que foi dito para as maquetas não funcionais, os protótipos funcionais já permitem a avaliação das soluções em condições reais de uso. Isto porque, estes protótipos, como o nome indica, já funcionam, ou seja, já permitem a realização das tarefas para as quais foram concebidos. Na verdade, esta é a melhor forma de avaliar a usabilidade de um produto ou sistema pois, as tarefas executadas diferem bastante quando se usa uma maqueta rudimentar ou um protótipo funcional. No entanto, devemos considerar que nem sempre um protótipo é uma réplica absolutamente fiel do produto final. Existem protótipos que são réplicas rigorosas do ponto de vista visual mas que, na realidade, não têm as suas funcionalidades activas. Por razões económicas, nem todos os protótipos são realizados à escala real. Ou então, existem protótipos que são semi-funcionais, ou seja, nem todas as funções estão activas ou disponíveis. Existem, ainda, outros protótipos que funcionam na absoluta perfeição mas, cujo aspecto é rude, tosco ou inacabado. Em qualquer um dos casos mencionados, devemos tomar alguns cuidados metodológicos para evitar que este facto prejudique a avaliação da solução.

Sempre que seja possível devemos preferir os protótipos funcionais aos não funcionais. O uso de protótipos funcionais permite que recorramos a diversas técnicas e métodos de avaliação da usabilidade. A sua maior vantagem é que, a avaliação, pode ser feita em campo, com potenciais utilizadores a desempenhar tarefas prováveis. Dessa forma, os designers podem obter informação sobre como determinada solução é usada e como se integra no seu sistema envolvente, ou contexto de uso. Mas, infelizmente, como não há bela sem senão, esta ferramenta também tem as suas desvantagens. A principal, são os elevados custos associados à sua produção. Também, não podemos ignorar a sua complexidade construtiva e o tempo de construção. Outra grande desvantagem é o facto de, os protótipos funcionais, só surgirem numa fase muito avançada do processo de design. Isto implica que não seja muito viável produzir grandes modificações ao projecto, ou, caso elas sejam necessárias, se tenha de deitar para o lixo grande parte do investimento feito até à data, com todos os problemas que isso acarreta para o projecto. O surgimento de técnicas de prototipagem rápida veio reduzir, não só os custos de produção, como também os tempos envolvidos na produção do protótipo. Isto pode, em alguns casos, permitir que o protótipo esteja disponível mais cedo do que era habitual. E, como é lógico, isso aumenta a usabilidade do produto.

continua...

Métodos de avaliação em Design #03

> ferramentas:

2) Avaliação de maquetas não funcionais;

No processo de design a ante-visão do produto e a antecipação do seu uso são necessários. Mas como, nas fases iniciais, o produto não está ainda disponível recorremos a diversas técnicas para o tornar visível e palpável. Ao fazê-lo, estamos a construir modelos. De salientar que, as técnicas de modelação podem ir, desde os esboços rápidos, até aos protótipos funcionais. A sua escolha depende, sobretudo, dos objectivos de cada fase, das verbas e tempos disponíveis. Porém, como é esperado, cada uma delas tem as suas vantagens e desvantagens, assim como o seu momento apropriado de uso. Todos os designers estarão familiarizados com o uso das maquetas. Contudo, nem todos sabem como tirar o máximo proveito desta ferramenta. Isto porque, a maqueta poderá aumentar muito a sua utilidade se for inserida nos métodos de avaliação da usabilidade, vulgarmente usados em ergonomia.

Uma maqueta rudimentar é um modelo físico a três dimensões, não funcional, do produto que estamos a conceber. Ela pode simular as características físicas dos produtos, a interface e a interacção prevista, ou, simular o contexto do produto. O seu uso poderá ser muito útil sobretudo na fase de desenvolvimento conceptual. No entanto, devido ás suas características, a maqueta não reproduz, na totalidade, o verdadeiro uso do produto. Contudo, mesmo assim, ela permite a participação de potenciais utilizadores e permite a avaliação da usabilidade do produto. Inclusivamente, com a maqueta, podemos avaliar a interacção do produto com o ambiente de uso.

Como é óbvio, a maqueta poderá ser usada em diversos métodos e técnicas de avaliação. Cabe ao designer escolher o tipo de maqueta que lhe poderá ser mais útil, assim como escolher o tipo de avaliação mais pertinente. A gama de técnicas de avaliação da usabilidade que podem ser usadas com a maqueta é vasta, podendo ir das análises de tarefa ou protocolo, até ás entrevistas e checklists. No entanto, o designer deverá estar consciente que existem diferenças entre o uso do produto real e o uso de uma maqueta. Diferenças ao nível perceptivo, cognitivo e físico. Deverá ter a noção clara de que partes do uso não ocorrerão no uso da maqueta, nem serão sequer mencionadas pelos utilizadores, porque a maqueta não permite a sua ocorrência. Nesse sentido, as nossas conclusões deverão levar essas limitações em conta.

Continua...

Métodos de avaliação em Design #02

> ferramentas:

1) Simulação (computorizada ou Realidade Virtual).

A simulação computorizada, recorrendo a modelos em CAD, pode ser usada para avaliar o design e o seu uso potencial em diferentes fases do processo projectual mas, especialmente nas fases de desenvolvimento conceptual. Esta simulação, realizada usando softwares específicos, permite visualizar e modificar representações realistas (com detalhes, cor, textura, luz-sombra, etc) e a 3D do produto. Depois de dominado o software o processo restante é relativamente simples. A principal vantagem, associada ao uso dos modelos CAD, é a possibilidade de comparar diferentes alternativas antes de a decisão final ser tomada. Contudo, esta ferramenta não é suficientemente poderosa para nos permitir interagir com o produto simulado. Por isso, poderemos não ficar suficientemente esclarecidos, para tomar a decisão final, antes da avaliação de um protótipo físico. Dependendo do grau de realismo da simulação, quando muito, será possível avaliar a percepção geral sobre o produto, mas não a sua usabilidade.

A Realidade Virtual (RV), por outro lado, consiste num mundo gerado por computador, que poderá possuir um elevado grau de realismo, com o qual poderemos interagir e o qual deverá reagirá às nossas acções. Contudo, apesar de esta poder ser uma alternativa com mais potencial, será de aplicação mais difícil e complexa. Isto porque é preciso desenvolver uma plataforma específica, ou produzir modificações a uma já existente. Também serão necessários equipamentos mais ou menos dispendiosos, que podem ir desde os simples óculos, luvas, passando pelos trackings ou recorrendo ao sofisticado CAVE. Obviamente, a escolha da tecnologia terá consequências sobre a sensação de presença experimentada pelo visitante do mundo virtual. Esta sensação de presença (mais correctamente será telepresença), ou seja, de estar realmente naquele ambiente, é fundamental para a RV. Seja qual for o nível de interacção, de telepresença ou de imersão oferecidos, será necessário possuir bastante poder de computação para correr tais aplicações com elevado grau de qualidade gráfica. Contudo, potencialmente, a possibilidade de colocar pessoas reais a interagir com produtos simulados em ambientes virtuais, mas realistas, permitirá avaliar a usabilidade e a qualidade da interacção. No entanto, esta é uma área ainda em desenvolvimento e com custos relativamente elevados de implementação. As principais vantagens da RV são a avaliação da interacção com produtos dispendiosos, de dimensões extremas (muito grandes ou muito pequenos), de acesso difícil (no espaço, submarinos, etc.), que envolvam perigo para a integridade das pessoas.

continua...

Métodos de avaliação em Design #01

A evolução tecnológica tem impulsionado o aumento da complexidade da maioria dos produtos. Mas atenção, não se deve confundir complexidade com complicação ou dificuldade. Aliás, a complicação é um dos factores mais negativos na avaliação da qualidade de um produto. Tomemos, como exemplo, um vulgar telefone móvel. Anteriormente ele só fazia chamadas de voz, hoje ele manda SMS, tira fotografias, faz vídeos, é leitor de mp3 e rádio FM, consola de jogos, terminal de acesso à Internet, agenda, processador de texto, calculadora, navegador por GPS e mais uma interminável lista de funções, tudo num aparelho pequenote mas, cujo uso, não deve ser de dificuldade elevada. No entanto, apesar de complexo, não deve ser complicado de usar. Esta realidade tem uma consequência directa sobre o trabalho do designer: aumenta, incomensuravelmente, a dificuldade da fase conceptual do projecto. Pois, sabemos que é na fase conceptual que são tomadas a maioria das decisões relativas ao produto. Para que o projecto chegue a bom porto, o designer tem que se socorrer de métodos, técnicas ou simples ferramentas que o ajudem a prever e a analisar a interacção entre o Homem e o produto. Para isso, nada melhor do que se aliar à Ergonomia. Entre muitas outras vantagens, a Ergonomia pode ajudar a incorporar, no processo de design, uma rotina de avaliação do produto que é essencial ao decorrer do projecto. O designer deve antever e avaliar a interacção do utilizador com o produto a conceber recorrendo à investigação, à análise de produtos similares/concorrentes, à análise do produto ou sistema alvo, ou à análise de produtos simulados/virtuais. Na realidade, o mais importante é que faça mesmo avaliações do produto/uso, desde as fases embrionárias do processo de concepção até ao fim e não apenas no fim, como defendem algumas metodologias do design. A lista de técnicas e métodos de avaliação mais comuns é extensa e a sua escolha deverá ser feita em função da natureza do projecto. Estas são as opções, mais comuns, que estão ao dispor dos designers, para a avaliação da interacção:

> ferramentas:

1) Simulação (computorizada ou Realidade Virtual);
2) Avaliação de maquetas não funcionais;
3) Avaliação de protótipos funcionais.

> métodos e técnicas:

4) Check-lists;
5) Focus-group;
6) Entrevistas com utilizadores;
7) Técnicas de observação;
8) Análise de protocolo;
9) Análise da tarefa.

Após este breve enquadramento inicio, com este post, uma série de pequenos textos que visam, de forma concisa, expor cada uma destas possibilidades de avaliação ao dispor dos designers. Não é minha intenção fazer uma abordagem exaustiva de cada uma delas. O objectivo é apenas divulgar este conhecimento, alertando os designers para a necessidade, vantagens e limitações da avaliação da interacção. Muitos outros aspectos essenciais, relativos aos métodos, técnicas e ferramentas aqui indicados, serão necessários para habilitar o uso correcto destes procedimentos, pelo que, recomendo a realização de uma cuidada revisão da literatura sobre esta temática.

Continua…

Análise sistémica

A análise sistémica é de grande utilidade para o design, por isso, gostava de chamar a atenção para esta abordagem...

O conceito de sistema tem assumido uma importância cada vez maior em diferentes áreas do saber, onde se incluem o design e a ergonomia. Mas, para melhor compreendermos a verdadeira importância do pensamento sistémico importa salientar que, este é radicalmente diferente da tradicional abordagem cartesiana. A visão de Descartes assenta em 4 grandes princípios que, resumida e genericamente, são: a evidencia, a redução, a causalidade e a exaustividade. Ao invés, a visão sistémica assenta nos princípios da pertinência (face ao investigador), da globalidade/totalidade, da teleologia (comportamento do sistema) e da agregação.

Muito importantes, na visão sistémica, são os conceitos de:

_Interacção: para um sistema, uma importante forma de interacção é a retroacção ou feedback.

_Globalidade: um sistema é composto por elementos mas, não necessariamente um soma de elementos. O todo é mais do que uma forma global já que implica a manifestação de qualidades que as suas partes não possuem em si mesmas.

_Organização: o termo organização implica, ao mesmo tempo, um estado e um processo, um aspecto estrutural e um funcional. A organização manifesta-se ao nível das relações entre elementos do sistema, ao nível da disposição da energia, da matéria e da informação, para garantir o funcionamento do sistema.

_Complexidade: num sistema, a complexidade tem que ser mantida, admitindo que nunca se poderá compreender o sistema em toda a sua riqueza. Mas, complexidade não deve ser confundida com complicação.

Mas, o que se entende por sistema?

Estruturalmente, um sistema inclui 4 componentes: uma fronteira, elementos, rede de ligação-transporte-comunicação e reservatórios. Funcionalmente, um sistema comporta fluxos, centros de decisão, canais de retroacção, prazos de resposta, inputs (entradas) e outputs (saídas). As entradas e saídas são de 3 grandes tipos: matéria, energia e informação.

Os sistemas podem ser abertos ou fechados, em função do nível de trocas que efectuam com o meio em que se inserem. Na prática apenas existem sistemas abertos, uma vez que todos os sistemas fazem trocas com o meio em que se inserem. Os sistemas fechados são conceitos meramente teóricos. Associada a esta ideia de trocas vulgarizou-se outro conceito – a interface, ou local de trocas entre sistemas distintos.

Todos os sistemas, para subsistirem, precisam de organização. Esta organização poderá ser feita sob o aspecto funcional, em subsistemas e módulos, ou, hierarquicamente, em níveis.

Para se manterem em funcionamento os sistemas necessitam de conservação. Sobre este aspecto é preciso falar de estado estacionário e de homeostasia. O estado estacionário caracteriza-se por uma estabilidade entre entradas e saídas, invariantes, inalteradas nos seus componentes, mas com equilíbrio ao nível dos fluxos. Quanto à homeostasia, este é um processo de auto-regulação em funcionamento, característica dos sistemas vivos mas que pode ser reproduzida artificialmente.

O grande boom da sistémica ocorreu nas décadas de 60 e 70 do Sec. XX, muito graças aos trabalhos de autores como: Von Bertalanfy que propôs, antes da II Grande Guerra a “teoria geral do sistema”, Norbert Wiener, professor do MIT e autor do livro “Cybernetics”, Shanon, engenheiro de telecomunicações, autor do livro “Teoria Matemática da Comunicação”, McCulloch, neuropsiquiatra, fundador da nova ciência biónica e Forrester, engenheiro electrotécnico, que elaborou uma dinâmica geral dos sistemas.

A análise dos problemas projectuais, à luz da sistémica é de extrema utilidade para o designer. Mas nada como comprovar isso na prática. Por isso, sugiro que tentem analisar qualquer um dos projectos, que tenham entre mãos, segundo esta forma de pensar e vejam se vos traz, ou não, vantagens...

Voltaremos a falar deste assunto que, dificilmente, se esgota aqui...
.