文章來(lái)源：“愛(ài)光學(xué)”公眾號(hào)

背景介紹

視覺(jué)測(cè)量是一種廣泛應(yīng)用于工業(yè)生產(chǎn)、交通運(yùn)輸?shù)阮I(lǐng)域的非接觸、高精度、可靠的三維（3D）空間測(cè)量技術(shù)。隨著加工測(cè)量一體化、自動(dòng)駕駛等技術(shù)的快速發(fā)展，視覺(jué)測(cè)量的效率已經(jīng)無(wú)法滿足日益提升的需求。因此，降低視覺(jué)數(shù)據(jù)的規(guī)模與算法的復(fù)雜度，進(jìn)而提升傳感器的時(shí)間分辨率，成為了提升測(cè)量效率的必要途徑。

那么，如何才能大幅提升傳感器的時(shí)間分辨率呢？事件相機(jī)是一種仿生的動(dòng)態(tài)視覺(jué)傳感器（DVS），它可以感知光強(qiáng)的變化，與傳統(tǒng)圖像傳感器相比，具有更高的時(shí)間分辨率（最高可達(dá)1 μs，等效于數(shù)萬(wàn)Hz的普通相機(jī)）。此外，事件相機(jī)的動(dòng)態(tài)響應(yīng)范圍可達(dá)120 dB，并且由于僅輸出光強(qiáng)的變化，冗余且不發(fā)生變化的背景信息也將大大減少。

西安交通大學(xué)楊樹(shù)明教授團(tuán)隊(duì)特邀綜述先分類介紹了現(xiàn)有普通相機(jī)的視覺(jué)測(cè)量應(yīng)用，再闡述如何將現(xiàn)有方法轉(zhuǎn)化為基于事件相機(jī)的動(dòng)態(tài)測(cè)量系統(tǒng)，并對(duì)比兩種相機(jī)在不同應(yīng)用中的優(yōu)劣；最后，對(duì)基于事件相機(jī)的視覺(jué)測(cè)量方法進(jìn)行總結(jié)，并根據(jù)其優(yōu)勢(shì)進(jìn)行展望。

關(guān)鍵技術(shù)進(jìn)展

事件相機(jī)是一個(gè)感受光強(qiáng)變化的傳感器，其芯片電路圖如圖1(a)所示，以單位時(shí)間?t 內(nèi)像素點(diǎn)xk的光強(qiáng)I對(duì)數(shù)信號(hào)變化量為L(zhǎng)=㏒(I)評(píng)價(jià)標(biāo)準(zhǔn)，設(shè)計(jì)閾值，變化量大于閾值時(shí)輸出正事件，小于輸出負(fù)事件。DVS的輸出電路如圖1(b)所示，像素陣列觸發(fā)并輸出事件，計(jì)數(shù)器獨(dú)立運(yùn)行并提供μs級(jí)的時(shí)間戳，通過(guò)USB接口芯片存儲(chǔ)并傳輸至上位機(jī)。事件相機(jī)的USB芯片采用FIFO（first in first out）協(xié)議，按照事件的觸發(fā)順序逐個(gè)輸出事件。

圖1 事件相機(jī)原理。(a) DVS芯片電路圖；(b)DVS輸出電路圖

事件相機(jī)的標(biāo)定模型與小孔成像完全一致，因此可以直接采用傳統(tǒng)相機(jī)的數(shù)學(xué)模型和非線性優(yōu)化算法，但事件相機(jī)難以獲取準(zhǔn)確標(biāo)志點(diǎn)的亞像素坐標(biāo)。靜止的標(biāo)定物無(wú)法產(chǎn)生光強(qiáng)變化，進(jìn)而無(wú)法觸發(fā)事件，但標(biāo)定物在視場(chǎng)中產(chǎn)生光強(qiáng)變化又是事件相機(jī)標(biāo)定的必要條件。針對(duì)此問(wèn)題，學(xué)者們提出了兩種實(shí)驗(yàn)方法。

第一種方法為采用發(fā)光體作為標(biāo)志點(diǎn)。如圖2(a)所示，該方法將圖樣變化時(shí)極性與光強(qiáng)變化一致的事件轉(zhuǎn)化為二維直方圖，在直方圖上提取圓形標(biāo)志點(diǎn)，能夠減少不同極性事件引起的噪聲。

第二種方法是用事件相機(jī)拍攝持續(xù)運(yùn)動(dòng)的標(biāo)定板，大量事件在標(biāo)志點(diǎn)的邊緣處產(chǎn)生，進(jìn)而構(gòu)建事件幀和提取標(biāo)志點(diǎn)坐標(biāo)。由于較短時(shí)間內(nèi)的事件對(duì)噪聲敏感，因此無(wú)法用于標(biāo)志點(diǎn)計(jì)算，基于衰減方程的累積事件幀轉(zhuǎn)化法能夠?qū)⒁欢螘r(shí)間內(nèi)的事件轉(zhuǎn)化為“等效”灰度圖，如圖2(b)所示。該團(tuán)隊(duì)提出的一種網(wǎng)格不完整的標(biāo)志點(diǎn)圖樣提取方法，能夠提取運(yùn)動(dòng)過(guò)程中超過(guò)90%的事件幀，得到圖樣中各個(gè)標(biāo)志點(diǎn)坐標(biāo)與時(shí)間的關(guān)系。根據(jù)圖2(c)所示的標(biāo)志點(diǎn)軌跡曲線，設(shè)計(jì)事件幀圖像的評(píng)價(jià)標(biāo)準(zhǔn)，選擇可靠性高的事件幀進(jìn)行標(biāo)定，能夠有效提升標(biāo)定精度。

圖2 事件相機(jī)標(biāo)定方法。(a) 閃光法圖樣變化流程；(b) 運(yùn)動(dòng)法的示例事件幀；(c) 標(biāo)志點(diǎn)的軌跡

傳統(tǒng)的線結(jié)構(gòu)光掃描速度受相機(jī)幀率、運(yùn)動(dòng)機(jī)構(gòu)等限制，用于測(cè)量的激光條紋圖都需要一個(gè)位置參數(shù)來(lái)進(jìn)行點(diǎn)云拼接。如圖3(a)所示，將事件相機(jī)引入該系統(tǒng)能夠大幅提升圖像的測(cè)量效率，輸出的每個(gè)事件都有確切的時(shí)間戳，結(jié)合線性滑臺(tái)即可確定每一個(gè)事件觸發(fā)時(shí)所在的確切位置。將事件轉(zhuǎn)化得到的如圖3(b)所示的事件幀，光條質(zhì)量較差，這是光條中心提取算法精度較低導(dǎo)致的，設(shè)計(jì)出能夠充分利用事件流信息的光條中心提取算法是亟需解決的問(wèn)題。

如圖3(c)所示，基于格雷碼的條紋投影能夠檢測(cè)每個(gè)像素點(diǎn)的相位值，而且圖樣只存在二值信息，便于事件相機(jī)獲取光強(qiáng)變化信號(hào)，是進(jìn)一步改善事件相機(jī)面結(jié)構(gòu)光的重要途徑。事件相機(jī)可通過(guò)優(yōu)化事件數(shù)據(jù)流的處理算法，提升測(cè)量精度和測(cè)量效率，進(jìn)而開(kāi)發(fā)更加可靠的實(shí)時(shí)結(jié)構(gòu)光測(cè)量系統(tǒng)。

事件相機(jī)能夠動(dòng)態(tài)地檢測(cè)光強(qiáng)的變化，記錄每一次光強(qiáng)變化的時(shí)間戳，更加適用于自動(dòng)對(duì)焦技術(shù)。如圖3(d)所示，聚焦變化測(cè)量法通過(guò)探測(cè)對(duì)焦點(diǎn)所在位置的感知深度信息，開(kāi)發(fā)融合事件相機(jī)的聚焦合成系統(tǒng)，能夠大幅提升掃描速度，改善測(cè)量效率。

圖3 事件相機(jī)結(jié)構(gòu)光系統(tǒng)。(a)事件相機(jī)線結(jié)構(gòu)光系統(tǒng)；(b)光條事件幀；(c)事件相機(jī)面結(jié)構(gòu)光系統(tǒng)；(d)聚焦合成系統(tǒng)

總結(jié)展望

事件相機(jī)是近10年來(lái)新發(fā)明的DVS，其像素單元的設(shè)計(jì)與普通相機(jī)有本質(zhì)差異，進(jìn)而輸出的數(shù)據(jù)從二維圖像轉(zhuǎn)化成了包含位置、時(shí)間和極性的事件流。目前重點(diǎn)關(guān)注事件相機(jī)時(shí)間分辨率極高的特性，針對(duì)預(yù)處理較少的2D目標(biāo)實(shí)時(shí)追蹤領(lǐng)域進(jìn)行了充分地研究，并且設(shè)計(jì)了圖像還原算法，致力于代替數(shù)據(jù)量大、功耗大的高速相機(jī)。

上海芬創(chuàng)信息科技有限公司成立于2004年5月，是一家專注于精密光學(xué)應(yīng)用領(lǐng)域產(chǎn)品開(kāi)發(fā)與應(yīng)用的高科技企業(yè)。芬創(chuàng)科技的產(chǎn)品線豐富多樣，涵蓋了精密光學(xué)元器件、光學(xué)鏡架、精密手/自動(dòng)調(diào)整平臺(tái)、各類激光系統(tǒng)應(yīng)用產(chǎn)品、各類防振平臺(tái)及主動(dòng)防振系統(tǒng)等。此外，芬創(chuàng)科技還通過(guò)芬創(chuàng)商城，在線銷售各類光學(xué)元件及光機(jī)電產(chǎn)品，并提供一對(duì)一的售后技術(shù)支持，確?？蛻粼谑褂眠^(guò)程中能夠得到及時(shí)、專業(yè)的幫助。