Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/25098| Título: | Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| Título(s) alternativo(s): | Study of influence of segmentation, feature extraction, and classification stages for recognition of brazilian sign language alphabet from surface electromyography signal |
| Autor(es): | Mendes Junior, Jose Jair Alves |
| Orientador(es): | Pichorim, Sergio Francisco |
| Palavras-chave: | Lingua de sinais - Brasil Processamento de sinais Sistemas de reconhecimento de padrões Eletromiografia Surdos - Meios de comunicação Percepção de padrões Sign language - Brasil Signal processing Pattern recognition systems Electromyography Deaf - Means of communication Pattern perception |
| Data do documento: | 25-Nov-2020 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Curitiba |
| Citação: | MENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020. |
| Resumo: | Sistemas de Reconhecimento de Linguagem de Sinais são desenvolvidos para facilitar a comunicação entre pessoas com deficiência auditiva e falantes, identificando os sinais e traduzindo-os para linguagem local. Dentre as técnicas utilizadas para essa finalidade, destacase a Eletromiografia de superfície (sEMG). A sEMG consiste da aquisição de sinais provenientes das ações musculares e tem apresentado alta confiabilidade e robustez para aplicações de reconhecimento de gestos em geral. Nessa premissa, essa tese apresenta um estudo das influências das etapas de processamento de sinal de sEMG para o reconhecimento de gestos da Linguagem Brasileira de Sinais (Libras). Sinais das 26 letras do alfabeto de Libras foram adquiridos por 12 indivíduos utilizando uma armband comercial MyoTM. Posteriormente, foram avaliadas as etapas de segmentação, extração de características e classificação e as suas influências em cada um dos seus estágios do processo de reconhecimento de padrões. Na etapa de segmentação, o comprimento da janela e a taxa de sobreposição foram os parâmetros avaliados. No estágio de extração de características, foram avaliadas as contribuições de cada característica e de conjuntos de características (tanto da literatura quanto de novos conjuntos propostos). Foram avaliados diferentes classificadores e o comportamento destes na análise dos dados para todos os voluntários, para as contribuições dos voluntários individualmente e para as sequências de aquisição. Técnicas de redução de dimensionalidade foram propostas para diminuir a quantidade de atributos na entrada dos classificadores. Foram obtidas acurácia acima de 90%, chegando até 99% com as seguintes combinações: comprimento de segmento de 1,75 s, 12,5% de taxa de sobreposição com o conjunto de características composto por MFL, RMS, TTP e MNP, classificador baseado em Random Forests e até 6 dimensões obtidas pelo método t-SNE e por redução entre canais e características. |
| Abstract: | Sign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/25098 |
| Aparece nas coleções: | CT - Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| linguagembrasileirasinaiseletromiograficos.pdf | 5,47 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
