Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/36418| Título: | Tesutã: um guia para apoiar a condução de testes metamórficos em chatbots |
| Título(s) alternativo(s): | Tesutã: a guide to support conducting metamorphic testing in chatbots |
| Autor(es): | Santos, Gabriel Alves dos |
| Orientador(es): | Valle, Pedro Henrique Dias |
| Palavras-chave: | Software - Validação Processamento de linguagem natural Software de aplicação Computer software - Validation Natural language processing (Computer science) Application software |
| Data do documento: | 19-Dez-2024 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Cornelio Procopio |
| Citação: | SANTOS, Gabriel Alves dos. Tesutã: um guia para apoiar a condução de testes metamórficos em chatbots. 2024. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2024. |
| Resumo: | Contexto: com o aumento no uso de agentes conversacionais (chatbots), os usuários podem interagir com máquinas por meio da linguagem natural. Sendo assim, surge a necessidade de desenvolver um guia que apoie as atividades de teste nesse domínio de aplicação. Além disso, os testes metamórficos em emergido como uma abordagem eficaz para tratar os desafios únicos desse domínio, oferecendo formas automatizadas de identificar falhas em agentes conversacionais. Problema: o aumento progressivo na demanda por chatbots tem gerado dilemas de natureza complexa quanto ao design e implementação desses agentes conversacionais, assim como a condução de testes nesse domínio de aplicação. Objetivo: propor um guia que oferec¸a diretrizes claras e praticas para a realização de testes em chatbots, ajudando os profissionais a escolherem as melhores ferramentas e métodos para suas necessidades específicas. Método: para isso, foi conduzido um mapeamento sistemático para identificar o estado da arte em relação ao teste de ˜ chabots. Em seguida, foram analisadas características específicas de chatbots que os diferenciam do teste para sistemas tradicionais. Nesse sentido, foi definido um conjunto de diretrizes para apoiar o teste em chabots. Para validar a efetividade dessas diretrizes, uma avaliação com estudantes foi conduzida para analisar a completude e a corretude dos testes gerados. Durante o mapeamento sistemático, os testes metamórficos foram identificados como uma técnica relevante devido a sua capacidade de validar casos de teste mesmo na ausência de resultados esperados explícitos. Essa tecnica foi incorporada ao guia Tesuta como uma diretriz específica para lidar com os desafios de teste em chatbots, especialmente em cenarios que envolvem processamento de linguagem natural. Resultados: este trabalho desenvolveu o guia Tesuta, que apresenta uma visão das ferramentas e métodos utilizados para testar chatbots. A avaliação do guia, por meio de experimentos com estudantes, revelou que ele facilita a seleção de abordagens adequadas, aumentando a eficacia dos testes. Os resultados mostraram que o Tesuta contribuiu para a revelação de falhas e melhorias para a qualidade dos chatbots, evidenciando seu potencial para ser uma ferramenta util em um domínio em constante evolução. Conclusões: a avaliação do guia Tesutã demonstrou seu potencial na aplicação de testes metamórficos em chatbots. Os resultados mostraram que, embora o Tesuta tenha alcançado uma completude significativa de 75,70% para os requisitos identificados, a variabilidade nos desempenhos dos participantes indicou que o guia necessita de ajustes para melhorar sua acessibilidade. |
| Abstract: | Context: With the increasing use of conversational agents (chatbots), users can interact with machines through natural language. This rise highlights the need for a guide to support testing activities in this domain. Furthermore, metamorphic testing has emerged as an effective approach to address unique challenges in this area by offering automated ways to identify flaws in conversational agents. Problem: The growing demand for chatbots has created complex challenges in designing, implementing, and testing these conversational agents. Objective: To propose a guide that provides clear and practical guidelines for testing chatbots, helping professionals select the best tools and methods for their specific needs. Method: A systematic mapping study was conducted to identify the state of the art in chatbot testing. Subsequently, specific chatbot characteristics that differentiate their testing from traditional systems were analyzed. Based on this analysis, a set of guidelines was defined to support chatbot testing. To validate the effectiveness of these guidelines, an evaluation with students was conducted to analyze the completeness and correctness of the generated tests. Metamorphic testing was identified as a relevant technique during the systematic mapping due to its ability to validate test cases without explicit expected results. This technique was incorporated into the guide, Tesuta, as a specific guideline to address the challenges of chatbot testing, especially in natural language processing scenarios. Results: This work developed the Tesuta guide, which provides an overview of tools and methods for testing chatbots. The evaluation of the guide, through experiments with students, revealed that it facilitates the selection of suitable approaches, increasing testing effectiveness. The results showed that Tesuta contributes to fault detection and improves chatbot quality, highlighting its potential as a valuable tool in an ever-evolving domain. Final Remarks: The evaluation of the Tesuta guide demonstrated its potential in applying metamorphic testing to chatbots. While Tesuta achieved a significant completeness rate of 75.70% for the identified requirements, the variability in participants’ performance indicated the need for adjustments to improve its accessibility. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/36418 |
| Aparece nas coleções: | CP - Programa de Pós-Graduação em Informática |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| guiatestesmetamorficoschatbots.pdf | 6,06 MB | Adobe PDF |  Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.