Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/32124| Título: | Sumarização e análise de atividades práticas de direção para detecção e avaliação de estresse e ansiedade de motoristas |
| Título(s) alternativo(s): | Summarization and analysis of practical driving activities for detection and assessment of stress and anxiety in drivers |
| Autor(es): | Ortoncelli, André Roberto |
| Orientador(es): | Bellon, Olga Regina Pereira |
| Palavras-chave: | Motoristas Emoções Segurança no trânsito Visão por computador Motor vehicle drivers Emotions Traffic safety Computer vision |
| Data do documento: | 2-Jul-2021 |
| Editor: | Universidade Federal do Paraná |
| Câmpus: | Dois Vizinhos |
| Citação: | ORTONCELLI, André Roberto. Sumarização e análise de atividades práticas de direção para detecção e avaliação de estresse e ansiedade de motoristas. 2021. Tese (Doutorado em Informática) - Universidade Federal do Paraná, Curitiba, 2021. |
| Resumo: | Esta tese de doutorado apresenta uma abordagem para detecção e análise de estados emocionais de estresse/ansiedade em motoristas a partir de dados coletados durante atividades práticas de direção. O método proposto tem o objetivo de identificar esses estados emocionais e agilizar o suporte necessário a ser prestado aos motoristas. Para isso, o método combina técnicas de priorização e sumarização de vídeos gravados durante atividades práticas de direção. Com os sumários produzidos, profissionais da área da psicologia podem identificar e compreender o comportamento do motorista com estresse/ansiedade de forma mais rápida, sem precisar assistir aos vídeos na sua integralidade, muito menos estar presente durante as atividades. Isso porque, com a técnica de priorização, é gerada uma lista de atividades práticas de direção, ordenadas pelo nível de estresse/ansiedade do motorista, possibilitando que sejam propostas medidas individuais para auxiliar motoristas a lidarem ou corrigirem esses estados. A técnica de priorização contribui com a abordagem de sumarização, pois agiliza o atendimento aos motoristas que mais precisam desse suporte. Ambas as técnicas propostas utilizam dados de Expressões Faciais (EF’s), frequência cardíaca e movimentos do motorista — essas características foram selecionadas por já terem sido exploradas com sucesso em trabalhos relacionados. A maioria dos trabalhos correlatos focam na classificação automática de situações de estresse ou ansiedade em motoristas, portanto, a abordagem proposta nesta tese se diferencia por apresentar técnicas para sumarizar e priorizar atividades práticas de direção. A técnica de sumarização proposta utiliza também coordenadas de GPS, permitindo identificar o local no qual os comportamentos foram observados e, com isso, verificar gatilhos para estresse/ansiedade em cada motorista. A frequência cardíaca foi mensurada em termos de batimentos do coração por minuto. Quanto às EF’s, um conjunto de 18 Action Units foi reconhecido com a ferramenta Open Face 2.0. Como movimentos, foram considerados hábitos do motorista que podem ocorrer em situações de estresse/ansiedade: pressionar, morder e lamber os lábios, roer as unhas e esfregar o rosto e/ou o cabelo. A técnica de priorização proposta combina um algoritmo clássico de ordenação com uma função comparativa baseada em uma Rede Neural Artificial. A função comparativa recebe uma lista de parâmetros extraídos de duas atividades de direção e identifica em qual delas o motorista apresentou maior nível de estresse/ansiedade. Quanto à sumarização, a abordagem proposta é apoiada por uma ferramenta desenvolvida para permitir a visualização de cada uma das atividades de direção em três perspectivas diferentes, exploradas para facilitar e organizar a análise dos dados: i) vídeos; ii) relatórios; e iii) sumários. Além das técnicas de priorização e sumarização, essa tese também apresenta um método para detecção automática dos movimentos das mãos dos motoristas, associados ao estresse/ansiedade. O método proposto para detecção desses gestos combina morfologia matemática com a detecção automática do rosto do motorista. Para avaliar a abordagem proposta, foram coletados dados em 60 atividades práticas de direção de alunos de uma autoescola. Os eventos de interesse foram rotulados manualmente na base de dados, que também foi priorizada, em relação ao nível de estresse/ansiedade dos motoristas, por uma psicóloga especializada no atendimento a motoristas. O resultado do método de priorização foi avaliado quanto à coesão e similaridade com o conjunto de referência que foi priorizado manualmente pela especialista. A ferramenta de suporte à sumarização de vídeo foi avaliada qualitativamente por profissionais ligados à autoescola na qual a base de dados foi produzida. Os resultados do método proposto para detecção automática de movimentos foram avaliados quanto à acurácia, revocação, precisão e F1-score, indicando que o suporte a motoristas pode ser agilizado, especialmente a aqueles com alto nível de estresse/ansiedade. Deve-se destacar que a abordagem proposta é particularmente relevante no contexto de autoescolas com grande fluxo de alunos, nas quais é difícil que um especialista em Psicologia analise, em tempo hábil, todos os dados das atividades de direção realizadas. Nesse contexto, essa tese contribui diretamente para melhorar a formação de motoristas e consequentemente para a segurança no trânsito. |
| Abstract: | This doctoral thesis presents an approach for detecting and analyzing the emotional states of drivers’ stress/anxiety from data collected during practical driving activities. The proposed method aims to identify these emotional states and streamline the necessary support to be provided to drivers. For this, the method combines techniques of prioritization and summarization of videos recorded during practical activities of direction. With the summaries produced, professionals in the field of psychology can identify and understand the behavior of the driver with stress/anxiety more quickly, without having to watch the videos in their entirety, let alone being present during the activities. This is because, with the prioritization technique, a list of practical driving activities is generated, ordered by the driver’s stress/anxiety level, enabling individual measures to be proposed to help drivers deal with or correct these states. The prioritization technique contributes to the summarization approach, as it speeds up the service to drivers who need this support the most. Both of the proposed techniques use data from Facial Expressions (EF’s), heart rate and driver movements — these characteristics have been selected because they have already been successfully explored in related works. Most related works focus on the automatic classification of stress or anxiety situations in drivers, therefore, the approach proposed in this thesis differs by presenting techniques to summarize and prioritize practical driving activities. The proposed summarization technique also uses GPS coordinates, allowing to identify the place where the behaviors were observed and, with this, to verify triggers for stress/anxiety in each driver. Heart rate was measured in terms of heartbeats per minute. As for EF’s, a set of 18 Action Units recognized with the Open Face 2.0 tool. As movements, it was considered driver’s habits that can occur in stress/anxiety situations: pressing, biting and licking his lips, biting his nails, and rubbing his face and/or hair. The proposed prioritization technique combines a classic ordering algorithm with a comparative function based on an Artificial Neural Network. The comparative function receives a list of parameters extracted from two driving activities and identifies in which one the driver had the highest level of stress/anxiety. As for summarization, the proposed approach is supported by a tool developed to allow the visualization of each of the management activities in three different perspectives, explored to facilitate and organize the analysis of the data: i) videos; ii) reports; and iii) summaries. In addition to the prioritization and summarization techniques, this thesis also presents a method for automatic detection of drivers’ hand movements, associated with stress/anxiety. The proposed method for detecting these gestures combines mathematical morphology with automatic detection of the driver’s face. To assess the proposed approach, data were collected in 60 practical driving activities for students at a driving school. The events of interest were manually labeled in the database, which was also prioritized, in relation to the level of stress/anxiety of the drivers, by a psychologist specialized in assisting drivers. The result of the prioritization method was assessed for cohesion and similarity with the reference set that was prioritized manually by the specialist. The video summarization support tool was qualitatively evaluated by professionals linked to the driving school in which the database was produced. The results of the proposed method for automatic movement detection were evaluated for accuracy, recall, precision, and F1-score, indicating that support for drivers can be streamlined, especially for those with a high level of stress/anxiety. It should be noted that the proposed approach is particularly relevant in the context of driving schools with a large flow of students, in which it is difficult for a specialist in Psychology to analyze, in a timely manner, all the data of the direction activities performed. In this context, this thesis contributes directly to improving the training of drivers and, consequently, to traffic safety. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/32124 |
| Aparece nas coleções: | PCS - Teses |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| sumarizacaoanalisedeteccaoestresseansiedademotorista.pdf | 18,3 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
