背景

駕駛員情緒在駕駛中起著重要作用，因為它會影響駕駛安全性和舒適性。在每年發生的20-50百萬例非致命傷害和124萬例致命道路交通事故中，駕駛員無力控制情緒已被視為安全的關鍵因素之一。智能汽車的快速發展也要求在駕駛員與自動化交互與協作的集成方面出現新的需求，從而進一步提升駕駛舒適性，其中駕駛員情緒是關鍵狀態之一。因此識別駕駛員情緒對于提升來智能汽車的安全性和舒適性至關重要。

面部表情對駕駛員來說是表達情感的有力渠道。基于面部表情的情緒識別的新進展促使人們創建了多個面部表情數據集。公開可用的數據集是加速面部表情研究的基礎，如表1所示，我們總結了到目前為止所有包含面部表情的數據集，這些數據集已被用于面部表情來情緒識別，并獲得了不同程度的成功。這些數據集的共同特征之一是在靜態等場景下采集參加者的面部表情數據。

盡管靜態場景下采集到的面部表情數據可以研究通過面部表情識別情緒狀態，但是它將所提出的算法的應用局限到了靜態生活場景下。結果，如果將此類算法應用到動態的駕駛場景下，可能無法得到可靠的識別效果。相對地，駕駛汽車是是一個復雜的認知過程，需要駕駛員動態地對視覺提示，危害評估，決策，戰略規劃等同時做出反應，從而占用駕駛員大量的認知資源，而認知過程對引起情緒反應來說是必須的，顯然，駕駛會影響駕駛員的情緒表達，這種情緒表達和生活場景中相比是有差異的。

表1. 基于面部表情的情緒識別公開數據集小結

DEFE數據集

為了解決現有駕駛員情緒分析數據集的局限性，我們建立了一個駕駛員情緒面部表情數據集（DEFE），以研究基于面部視覺數據的駕駛員情緒識別。在表2中，我們描述了收集駕駛員真實面部表達的實驗細節，以及數據集中的情感標簽。DEFE數據集共有60位參加者（43位男性），每位參加者在觀看完經選擇的刺激材料后，在相同的駕駛場景下完成駕駛任務，并分別從維度情緒和離散情緒兩方面評價了他們在這一駕駛過程中的情緒反應，這些度量包括喚醒，效價和掌控力以及情感類別和強度，實驗數據采集及駕駛場景如圖1所示。

表2. DEFE數據集小結

圖1. DEFE實驗數據集實驗采集及駕駛場景

我們還比較了使用DEFE數據集進行駕駛員情緒識別的結果。DEFE數據集可以分別從維度情緒（喚醒，效價和掌控力）和離散情緒（情感類別和強度）兩方面對駕駛員情緒進行識別，以準確度和F1分數建立了數據集的基線結果。除了DEFE數據集的情緒識別外，我們還選擇了DEAP和CK+數據集作為靜態生活場景下的比較數據集，比較結果如表3所示（DEAP數據集因為采集過程中面部存在隨機電極片遮擋，可能是造成識別結果較低的主要原因）。

表3.DEFE數據集情緒識別結果

圖2顯示了DEFE數據集的樣例圖片。我們觀察到面部表達隨情感的種類而變化，但是在駕駛中這種變化是特別微弱的。例如，消極情緒（憤怒）和中性狀態的差異非常小。在大多數視頻剪輯中我們很難觀察到峰值表情，這種現象很可能是因為情緒的面部表達受到了駕駛任務的影響。

圖2. DEFE數據集中3種情緒類別的樣例圖像：一行憤怒，第二行快樂和第三行中性。

動態駕駛場景和靜態生活場景下面部表情的差異

進一步的，我們基于DEFE和JAFFE數據集對動態駕駛和靜態生活條件之間的面部表情進行了差異分析。圖3顯示了在面部動作編碼系統（FACS）中憤怒和開心的動作單元（AU）編碼以及描述。通過比較兩個數據集中不同情緒的動作單元出現（AU presence），如表4所示，我們發現兩種場景下AU presence存在顯著差異。

圖3. FACS可用于描述成人的面部表情。（a）和（b）分別顯示常見的FACS憤怒和快樂編碼，（c）呈現AU的憤怒和快樂的內容描述

表4.動態駕駛和靜態生活場景下的AU presence差異分析

對于邏輯回歸結果，動態駕駛和靜態生活場景下也有顯著性差異。對于憤怒情緒，動態駕駛場景下的邏輯回歸結果顯示只有AU4和憤怒情緒相關且顯著，而在靜態生活場景下AU4，AU5和AU23都和憤怒情緒相顯著相關。對于開心情緒，動態駕駛場景下的回歸結果顯示沒有任何AU和開心顯著相關，但是在靜態生活場景下的結果顯示AU12和開心情緒顯著相關。

表5.動態駕駛和靜態生活場景下的AU presence回歸分析

以上結果表明駕駛場景中的人類面部情感表達與其他生活場景不同。這可能是由于駕駛員需要在駕駛過程中保持專注，這降低了面部肌肉運動的頻率和幅度。關于這些結果的解釋性研究可能需要進一步探索。

來源：jianshu