O conceito de humanização não tem uma definição simples, e as percepções pessoais da humanidade são bastante subjetivas. Quando se trata de chatbots, a percepção de humanidade deve estar atrelada à resolução das tarefas propostas. Nesse contexto, um chatbot deve atender às expectativas dos usuários para sua respectiva finalidade. Existe um desafio na construção de chatbots, que consiste em estabelecer formas de manter os usuários dispostos a desenvolver um diálogo com o chatbot, responder as solicitações de informações e manter a confiança na eficácia do software na resolução de seus problemas. Devido ao sentimento de empatia, os seres humanos tendem a confiar mais em atendentes humanos do que em máquinas. Parecer de um ser humano é parte crucial da percepção de credibilidade e satisfação do consumidor final em relação ao chatbot.
Algumas características geralmente são esperadas de um chatbot, como naturalidade, diálogos significativos, personalizados e amigáveis por meio de um sistema de conversação. Tal sistema conversacional, deve evoluir a cada interação e oferecer respostas alternativas para perguntas semelhantes, respondendo às perguntas do interlocutor como outra pessoa humana atenderia às expectativas do usuário de forma mais natural e fluida. O chatbot deve se relacionar cordialmente com o consumidor, fazendo com que ele se sinta confortável, satisfeito e valorizado. Assim, o objetivo foi desenvolver uma metodologia para avaliar o nível de humanização para diferentes estilos de chatbots, e propor métricas de humanização para avaliação de chatbots.
Visamos investigar e estabelecer uma metodologia para avaliar o nível de humanização em chatbots. Nosso objetivo é respeitar as peculiaridades e os propósitos do sistema (contexto do sistema) e oferecer formas de identificar aspectos de humanização que sejam adequados no chatbot analisado. Nossa metodologia é baseada na geração de uma métrica de humanização que pode ajudar designers e desenvolvedores a refinar esses fatores de impacto no sistema em construção.
Figura 3: Método para avaliar a humanização em chatbots
Um dos principais objetivos do projeto é desenvolver e aplicar um método para avaliar o nível de humanização em chatbots, utilizando as percepções de usuários reais. O método deve adaptar-se aos diferentes contextos de chatbots, finalidades e públicos-alvo, por meio de um sistema de ponderação dinâmico para os diversos fatores de impacto em humanização que podem estar presentes nos chatbots analisados. A Figura 3 apresenta nossa metodologia, bem como seu desenvolvimento e aplicação, que é composto por três grandes fases: análise bibliográfica, desenvolvimento do instrumento de avaliação e aplicação do método de avaliação. Tais fases serão detalhadas nas próximas subseções. Assumimos, que as métricas são geradas através do método desenvolvido, para retratar a evolução dos aspectos relacionados à humanização dos chatbots.