Behavior understanding of vulnerable road users by 2D pose estimation

Abstract

Anticipar les intencions dels usuaris vulnerables (VRU, per les sigles en anglès), com a vianants i ciclistes, pot ser crític per a una conducció segura i confortable. Aquest és el cas quan condueix una persona i, per tant, aquestes intencions també s’han de tenir en compte pels sistemes que brinden qualsevol nivell d’assistència a la conducció, és a dir, des dels sistemes avançats d’assistència al conductor (ADAS, en anglès) fins als vehicles totalment autònoms (AVs, en anglès). En aquesta tesi doctoral, mostrem com els últims avenços en l’estimació de la postura humana mitjançant visió monocular, és a dir, aquells que depenen de xarxes neuronals convolucionals (CNN, en anglès) profundes, permeten reconèixer les intencions de tals VRU. En el cas dels ciclistes, assumim que segueixen els codis de trànsit establerts per indicar, mitjançant senyals amb el braç, futurs girs a l’esquerra o la dreta, així com la intenció de parar-se. En el cas dels vianants, no es pot suposar a priori cap indicació. En canvi, suposem que el patró de caminar d’un vianant pot permetre determinar si ell / ella té la intenció de creuar la carretera al camí del vehicle (parcialment) automatitzat, de manera que aquest vehicle hagi de maniobrar en conseqüència (per exemple, reduir la velocitat o aturar-se). En aquesta tesi doctoral, mostrem com es pot fer servir la mateixa metodologia per reconèixer les intencions dels vianants i ciclistes. Per als vianants, vam realitzar experiments amb dades de Daimler i JAAD, disponibles públicament. Per als ciclistes, no hem trobat dades anàlogues, per tant, hem creat les nostres pròpies dades mitjançant l’adquisició i anotació de seqüències de vídeo de ciclistes que pretenem compartir amb la comunitat científica. En conclusió, el mètode proposat en aquesta tesi proporciona nous resultats d’avantguarda en el reconeixement de la intenció dels VRU.

Anticipating the intentions of vulnerable road users (VRUs) such as pedestrians and cyclists can be critical for performing safe and comfortable driving maneuvers. This is the case for human driving and, therefore, should be taken into account by systems providing any level of driving assistance, i.e. from advanced driver assistant systems (ADAS) to fully autonomous vehicles (AVs). In this PhD work, we show how the latest advances on monocular vision-based human pose estimation, i.e. those relying on deep Convolutional Neural Networks (CNNs), enable to recognize the intentions of such VRUs. In the case of cyclists, we assume that they follow the established traffic codes to indicate future left/right turns and stop maneuvers with arm signals. In the case of pedestrians, no indications can be assumed a priori. Instead, we hypothesize that the walking pattern of a pedestrian can allow us to determine if he/she has the intention of crossing the road in the path of the egovehicle, so that the ego-vehicle must maneuver accordingly (e.g. slowing down or stopping). In this PhD work, we show how the same methodology can be used for recognizing pedestrians and cyclists’ intentions. For pedestrians, we perform experiments on the publicly available Daimler and JAAD datasets. For cyclists, we did not found an analogous dataset, therefore, we created our own one by acquiring and annotating corresponding video-sequences which we aim to share with the research community. Overall, the proposed pipeline provides new state-of-the-art results on the intention recognition of VRUs.