Cruise利用遊戲動作捕捉技術教自動駕駛汽車讀懂人類的身體語言

　　蓋世汽車訊 在一條四車道的街道上，有兩條車道被工人占用以修復路上的坑洞，其中一名工人左手舉著停車標志，右手揮手示意汽車通過。如果是人類駕駛員，則會毫不猶豫地遵循手勢或標志，不停地平穩前進。但是，對於自動駕駛汽車而言，則可能會停下，因為它未必能夠理解標志或手勢。　　　　圖片來源：Cruise　　對於駕駛員、人類和計算機而言，每天都需要面對此類復雜情況。而在此類情況下，解讀肢體語言是關鍵。如何在不影響交通的情況，讓自動駕駛汽車安全、無縫地應對此類挑戰呢？這需要自動駕駛汽車瞭解用於引導人類駕駛員應對意外情況的常見手勢，以及行人處理事情時的手勢和肢體語言。　　全球的自動駕駛汽車開發人員多年來一直致力於讓自動駕駛汽車瞭解一些基本手勢，最初是理解自行車騎手發出的信號。一般而言，開發人員依靠機器學習提升汽車識別真實情況的能力以及提升其理解如何處理情況的能力。據外媒報道，對於Cruise而言，他們從由200多輛自動駕駛汽車構成的車隊中收集瞭大量數據，而且此類汽車的學習速度很快，因為都在美國最復雜的駕駛環境之一——舊金山的街道上行駛。　　不過，Cruise意識到機器學習模型不會總是有足夠的訓練數據，因為汽車在現實世界中看到重要手勢的次數並不多。自動駕駛汽車需要從不同的角度、不同的距離以及不同的光照條件下識別出每一種情況，而此類情況結合又會產生無數的可能性。如果僅靠汽車的真實體驗，則需要數年的時間來獲取足夠的信息。　　於是，Cruise找到瞭一種創造性的解決方案——人類手勢的動作捕捉技術。此種技術一般由遊戲開發人員用於創造角色，Cruise一直在雇傭遊戲開發人員模擬真實世界的細節，並捕捉數據以教會自動駕駛車輛理解手勢。　　　　圖片來源：Cruise　　首先，Cruise數據收集團隊建立瞭一份完整的清單，列出人類利用身體與世界和他人互動的方式，比如打出租車、走路時打電話、或者在街道上行走時避開人行道施工等。一開始，Cruise自動駕駛汽車從可能會誤解的指令開始，例如行人向朋友揮手。接著，Cruise團隊測試在車輛附近，但沒有指著車輛的手勢，例如，停車人員在車輛旁邊的車道上揮手示意車輛開進車庫，建築工人舉著要求車輛暫時停下的牌子等。　　最終，Cruise提出瞭一個列表，其中包含用手勢傳達的五個關鍵信息：停、走、左轉、右轉以及“不”(與車輛無關的常見動作，如自拍或取走背包等)。此外，Cruise采用瞭普遍接受的美國手勢，並假設車輛靠右行駛。　　創造此類數據集需要采用動作捕捉技術，一共有兩種動作捕捉系統——光學與非光學系統。光學動作捕捉技術采用網格類結構上分佈的攝像頭，此類攝像頭的視頻流可用於定位演員全身套裝上視覺標記的3D位置。此類系統有多個版本，能夠捕捉非常詳細的信息，包括面部表情。　　不過，光學動作捕捉必須在工作室中采用復雜的多攝像頭設置來完成。因此，Cruise采用瞭一種非光學、基於傳感器的動作捕捉技術。該項技術依賴微機電系統(MEMS)，攜帶方便、無線、不需要專門的工作室，因而具有很大的靈活性，可用於現實世界中。　　　　圖片來源：Cruise　　Cruise的動作捕捉套裝每個都含有19個傳感器包，附著在身體的關鍵部位，如頭部、胸部、臀部、肩膀、上臂、前臂和腿部。每個傳感器包大約為一枚銀幣大小，包括一個加速計、一個陀螺儀和一個磁強計。此類設備被連接到一條包含電池組、控制總線和Wi-Fi收音機的皮帶上，其中傳感器數據可無線傳輸至運行專用軟件的筆記本電腦上，供工程師實時查看和評估數據。　　Cruise從工程團隊雇傭瞭五位身體特征不一(身高、體重和性別)的志願者，讓他們將動作捕捉套裝穿上，並將他們帶往相對不受電子幹擾的地方。每個工程師首先需要擺出T字姿勢(站直，雙腳並攏，兩臂張開)，以校準該動作捕捉系統。然後，工程師做出一個又一個手勢，將清單上的姿勢都做完，並且連續7天，一直重復做出此類姿勢，有些情況下分別采用左右手做，有時雙手一起做。Cruise還要求工程師做出力度不一的手勢。例如，對在施工區超速行駛的車輛做出緊急停下的手勢，力度可能會更強。最終，Cruise獲得239段3秒的視頻數據。　　之後，Cruise將此類數據輸入到機器學習模型中。首先，驗證瞭所有的手勢都被正確記錄下來，沒有額外的噪音，並且沒有錯誤旋轉的傳感器提供瞭錯誤的數據。然後，工程師們通過軟件運行手勢序列，該軟件可以確認序列中每一幀關節的位置和方向。由於此類位置最初是通過3D形式獲取，該軟件可以計算每個序列的多個2D視圖，從而可以不斷增加旋轉，模擬10種不同的視點，從而擴展手勢數據集。此外，Cruise還隨意地利用身體的不同點模擬真實世界中被隱藏的某些點，然後增加旋轉，以創造不同的視角。　　上述做法除瞭提供不同的人從不同的角度所做出的各種各樣的手勢數據集，還可提供非常清晰的數據，即無論服裝風格、顏色或光線條件如何，人體姿勢的骨骼結構是一致的。此類數據可讓Cruise更高效地訓練機器學習系統。　　　　圖片來源：Cruise　　一旦Cruise的汽車接受瞭動作捕捉數據的訓練，就可以更好地駕馭城市駕駛中的各種場景。其中之一就是道路建設，采用手勢識別系統，Cruise汽車將能夠在理解手勢的同時，安全地繞過多個工作人員。　　此外，Cruise還計劃擴大數據集，以讓自動駕駛汽車更好地理解自行車騎手的手勢，例如，左手向上，肘部呈90度，意味著騎手要右轉；右臂垂直向外也表示此種意思。Cruise的自動駕駛汽車已經可以識別騎手，並自動減速為騎手騰出空間。但是，如果自動駕駛汽車能夠瞭解手勢的意思，就可以在為騎手留出足夠空間的同時，來執行有一定含義的操作，讓汽車無需停下，以造成不必要的交通堵塞。