當(dāng)開(kāi)車(chē)遇到變道、加塞等場(chǎng)景時(shí)，駕駛員往往會(huì)下意識(shí)地激活自己的“安全駕駛思維”，從而做出激進(jìn)的規(guī)避行為。

與之類(lèi)似，自動(dòng)駕駛汽車(chē)在上述場(chǎng)景中，更會(huì)表現(xiàn)得像個(gè)謹(jǐn)小慎微的”新手司機(jī)”，這是因?yàn)槟Ｐ偷臎Q策往往依賴于工程師預(yù)設(shè)的固定規(guī)則，進(jìn)而導(dǎo)致“不求無(wú)功，但求無(wú)過(guò)”的駕駛風(fēng)格，但過(guò)多的無(wú)故急剎、過(guò)度避讓反而會(huì)引發(fā)額外的安全隱患。

針對(duì)上述問(wèn)題，來(lái)自香港大學(xué)、英偉達(dá)和德國(guó)圖賓根大學(xué)的聯(lián)合團(tuán)隊(duì)提出Centaur（Cluster Entropy for Test-time trAining using UnceRtainty）方法，能夠動(dòng)態(tài)地改善駕駛策略，通過(guò)在線的數(shù)據(jù)驅(qū)動(dòng)，擺脫了對(duì)預(yù)設(shè)規(guī)則的依賴，大幅提高了自動(dòng)駕駛汽車(chē)在不確定性場(chǎng)景中的適應(yīng)性與安全性。

Centaur在測(cè)試推理過(guò)程中動(dòng)態(tài)地調(diào)整模型權(quán)重，適應(yīng)OOD場(chǎng)景，提升泛化能力。模型利用Cluster Entropy作為自監(jiān)督信號(hào)，并首次將Test-Time Training（TTT）應(yīng)用于端到端自動(dòng)駕駛，避免手動(dòng)規(guī)則和成本函數(shù)，實(shí)時(shí)減少不確定性并改進(jìn)預(yù)測(cè)，借由在線數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)了軌跡預(yù)測(cè)的可擴(kuò)展性。

論文已上傳arXiv，代碼、checkpoint等即將開(kāi)源。

駕馭不確定性

通常來(lái)說(shuō)，模型是如何衡量自己輸出不確定性的？一種直觀的方法是觀察模型輸出的分布狀態(tài)，并基于“固定采樣下，模型的輸出方向越集中，越逼近模型的最高置信度”的假設(shè)，來(lái)計(jì)算模型輸出的聚類(lèi)程度，從而側(cè)面衡量出模型輸出的不確定性。

Cluster Entropy 通過(guò)軌跡采樣、聚類(lèi)和熵計(jì)算來(lái)評(píng)估自動(dòng)駕駛模型的不確定性。相比傳統(tǒng)的方法，它結(jié)合了直行、輕微右轉(zhuǎn)、劇烈右轉(zhuǎn)、輕微左轉(zhuǎn)和劇烈右轉(zhuǎn)的行為聚類(lèi)，使得不確定性估計(jì)更具可解釋性。例如，當(dāng)模型面對(duì)復(fù)雜的交叉路口時(shí)，Cluster Entropy 能直觀反映不同駕駛決策的不確定性，從而幫助優(yōu)化自動(dòng)駕駛系統(tǒng)的安全性。

邊行駛邊進(jìn)化

TTT在推理過(guò)程中利用Cluster Entropy作為自監(jiān)督目標(biāo)，通過(guò)梯度優(yōu)化讓模型自適應(yīng)地調(diào)整特征表征，從而提升對(duì)OOD場(chǎng)景的適應(yīng)能力。

具體而言，模型通過(guò)計(jì)算Cluster Entropy，判斷當(dāng)前環(huán)境的OOD級(jí)別。如果模型對(duì)當(dāng)前環(huán)境的理解較差，則觸發(fā)TTT訓(xùn)練過(guò)程，通過(guò)梯度下降對(duì)特征提取網(wǎng)絡(luò)進(jìn)行小幅度更新，使其更適應(yīng)當(dāng)前環(huán)境特征分布。這一方法使得Centaur能夠在推理時(shí)自適應(yīng)地優(yōu)化自身，在OOD場(chǎng)景中保持穩(wěn)定的感知和駕駛能力，而無(wú)需依賴固定規(guī)則或人工設(shè)計(jì)的成本函數(shù)。

實(shí)測(cè)接近人類(lèi)駕駛水平，安全性能全面提升

在navtest基準(zhǔn)測(cè)試中，Centaur的綜合規(guī)劃與駕駛指標(biāo)得分（PDMS）取得了92.6%的成績(jī)，遠(yuǎn)遠(yuǎn)超過(guò)了基于回退的方法，并接近人類(lèi)駕駛水平 。此外，Centaur在碰撞避免和碰撞時(shí)間等關(guān)鍵指標(biāo)上亦表現(xiàn)出卓越的性能。

為了更好地評(píng)估自動(dòng)駕駛系統(tǒng)在安全關(guān)鍵場(chǎng)景中的表現(xiàn)，我們提出了navsafe數(shù)據(jù)集，專(zhuān)門(mén)用于測(cè)試端到端駕駛方法的安全性和魯棒性。它基于navtest，并結(jié)合了真實(shí)的事故數(shù)據(jù)，通過(guò)細(xì)粒度的評(píng)分機(jī)制，量化了自動(dòng)駕駛模型的不同駕駛能力，而不像navtest 只提供整體分?jǐn)?shù)。

此外，Cluster Entropy作為不確定性度量工具，實(shí)現(xiàn)了PDMS的顯著提升，并在失敗檢測(cè)任務(wù)中， 取得了最佳結(jié)果。

本文來(lái)源：量子位