Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/34394
Registro completo de metadados
Campo DC | Valor | Idioma |
---|---|---|
dc.creator | Favero, Daniel Gustavo | - |
dc.date.accessioned | 2024-08-09T15:40:23Z | - |
dc.date.available | 2024-08-09T15:40:23Z | - |
dc.date.issued | 2024-06-14 | - |
dc.identifier.citation | FAVERO, Daniel Gustavo. Reconhecimento e personalização de gestos das mãos para interação com páginas web por meio de visão computacional e aprendizado de máquina. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2024. | pt_BR |
dc.identifier.uri | http://repositorio.utfpr.edu.br/jspui/handle/1/34394 | - |
dc.description.abstract | This paper presents the Hand Mouse browser extension, developed to enable mouse control on web pages through the user’s hand gestures, using Computer Vision and Machine Learning techniques. This approach aims to enhance flexibility and ergonomics, offering a natural alternative to the traditional use of the mouse, potentially reducing the risk of repetitive strain injuries. The main innovation of this paper is the development of the gesture customization feature, allowing the user to define and train new gestures to perform actions such as moving the mouse cursor, clicking, scrolling up, scrolling down, going back a page, going forward a page, and free movement. To achieve this objective, a set of gesture images was created, which served as input for the TensorFlow.js Convolutional Neural Network (CNN) Hand Pose Detection model to extract hand key points (landmarks). These data were then used to test two classification models based on K-Nearest Neighbors (KNN) and Support Vector Machines (SVM) algorithms, selected for their application in related works and their tested results in gesture classification. During the classifier selection phase, tests were conducted to determine the minimum number of images needed to maximize the model’s accuracy, the influence of the distance between the hand and the camera, and the similarity between the gestures in the recognition process. The results show that the KNN model achieved satisfactory accuracy and F1 score values in gesture recognition, even under conditions with a reduced training set, variable distances, and gesture similarities. Within the Hand Mouse extension, a web page interface was developed that allows the user to register new gestures and retrain the KNN classifier. It is concluded that this paper not only achieved its goals of developing a functional tool to control the mouse using gestures but also paved the way for future research and improvements in the field of human-computer interaction, especially regarding the customization and usability of gesture-based interfaces. | pt_BR |
dc.language | por | pt_BR |
dc.publisher | Universidade Tecnológica Federal do Paraná | pt_BR |
dc.rights | openAccess | pt_BR |
dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | pt_BR |
dc.subject | Aprendizado do computador | pt_BR |
dc.subject | Visão por computador | pt_BR |
dc.subject | Interação homem-máquina | pt_BR |
dc.subject | Redes neurais (Computação) | pt_BR |
dc.subject | Machine learning | pt_BR |
dc.subject | Computer vision | pt_BR |
dc.subject | Human-computer interation | pt_BR |
dc.subject | Neural networks (Computer science) | pt_BR |
dc.title | Reconhecimento e personalização de gestos das mãos para interação com páginas web por meio de visão computacional e aprendizado de máquina | pt_BR |
dc.title.alternative | Recognition and personalization of hand gestures for interaction with web pages through computer vision and machine learning | pt_BR |
dc.type | bachelorThesis | pt_BR |
dc.description.resumo | Este trabalho apresenta a extensão de navegador Hand Mouse, desenvolvida para possibilitar o controle do mouse em páginas web por meio dos gestos das mãos do usuário, utilizando técnicas de Visão Computacional e Aprendizado de Máquina. Esta abordagem visa aumentar a flexibilidade e ergonomia, oferecendo uma alternativa natural ao uso tradicional do mouse, potencialmente reduzindo o risco de lesões por esforços repetitivos. A principal inovação do trabalho é o desenvolvimento da funcionalidade de personalização de gestos, permitindo que o usuário defina e treine novos gestos para executar ações de mover o cursor do mouse, clique, scroll up, scroll down, voltar uma página, avançar uma página e movimento livre. Para atingir esse objetivo, foi construído um conjunto de imagens de gestos, que serviram de entrada para o modelo de Rede Neural Convolucional (CNN) Hand Pose Detection do TensorFlow.js para extrair os pontos-chave (landmarks) das mãos. Esses dados foram então pré-processados e utilizados para testar dois modelos de classificação baseados nos algoritmos K-Nearest Neighbors (KNN) e Support Vector Machines (SVM), selecionados por sua aplicação nos trabalhos relacionados e nos resultados testados na classificação de gestos. Durante a fase de seleção do classificador, foram realizados testes para determinar a quantidade mínima de imagens necessárias para maximizar a precisão do modelo, a influência da proximidade da mão em relação à câmera e a similaridade entre as imagens de gestos no reconhecimento dos gestos. Os resultados demonstraram que o modelo KNN atingiu valores de acurácia e score F1 satisfatórios na identificação de gestos, mesmo em condições com um conjunto de treino reduzido, variáveis de distância e gestos similares. Dentro da extensão Hand Mouse, foi desenvolvida uma interface web que permite ao usuário cadastrar novos gestos e treinar novamente o classificador KNN. Conclui-se que o trabalho não apenas alcançou seu objetivo de desenvolver uma ferramenta funcional para o controle do mouse via gestos, mas também abriu caminho para futuras pesquisas e aprimoramentos na área de interação ser humano-computador, especialmente no que tange à personalização e usabilidade de interfaces baseadas em gestos. | pt_BR |
dc.degree.local | Pato Branco | pt_BR |
dc.publisher.local | Pato Branco | pt_BR |
dc.contributor.advisor1 | Ascari, Soelaine Rodrigues | - |
dc.contributor.advisor-co1 | Ascari, Rúbia Eliza de Oliveira Schultz | - |
dc.contributor.referee1 | Rodrigues, Érick Oliveira | - |
dc.contributor.referee2 | Oliva, Jefferson Tales | - |
dc.contributor.referee3 | Ascari, Soelaine Rodrigues | - |
dc.contributor.referee4 | Ascari, Rúbia Eliza de Oliveira Schultz | - |
dc.publisher.country | Brasil | pt_BR |
dc.publisher.department | Departamento Acadêmico de Informática | pt_BR |
dc.publisher.program | Engenharia de Computação | pt_BR |
dc.publisher.initials | UTFPR | pt_BR |
dc.subject.cnpq | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO | pt_BR |
Aparece nas coleções: | PB - Engenharia de Computação |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
personalizacaogestosinteracaoweb.pdf | 5,06 MB | Adobe PDF | ![]() Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons