簡介這是一份關(guān)于機器人與“數(shù)字化”視觸覺傳感器應(yīng)用研究進展的PDF文獻面向機器人、自動化與人工智能方向的學(xué)生、研究人員及從業(yè)者可作為課題調(diào)研或技術(shù)學(xué)習(xí)的參考文獻。文獻系統(tǒng)梳理了視覺傳感器與觸覺傳感器兩大類別包括基本原理、典型結(jié)構(gòu)如微動開關(guān)、氣動復(fù)位裝置、導(dǎo)電橡膠等以及圖像處理方法同時結(jié)合實際應(yīng)用場景分析了視觸覺傳感器在提升機器人感知能力方面的作用與當(dāng)前面臨的精度、成本等挑戰(zhàn)并展望了微型化、多功能等未來發(fā)展方向。內(nèi)容預(yù)覽中涉及的深淺圖像處理、雙值化再處理等具體方法為視覺感知實現(xiàn)提供了直觀案例觸覺傳感器部分對不同結(jié)構(gòu)的原理與優(yōu)缺點做了對比便于理解不同方案的選擇依據(jù)。該資源為單個PDF文件大小1.65MB內(nèi)容集中目前已有176人學(xué)習(xí)。適合需要快速了解視觸覺傳感器整體技術(shù)脈絡(luò)、積累專業(yè)術(shù)語或撰寫相關(guān)綜述的讀者可幫助節(jié)省檢索與篩選文獻的時間。1. 視觸覺傳感器為什么機器人需要一雙看得見觸感的手指當(dāng)機械臂夾住一枚生雞蛋或一顆螺絲釘時判斷夾持力是否合適的真正常規(guī)手段并不是傳統(tǒng)意義上的力傳感器而是觀察彈性體表面被物體壓出的形變。視觸覺傳感器的核心思路非常直白用相機去拍一個柔軟的、帶標記點的彈性體接觸物體時彈性體發(fā)生變形相機記錄變形圖像再通過算法把圖像變成力分布、滑移、紋理和接觸幾何。這個思路之所以在近幾年成為機器人操作研究的熱門方向是因為它繞開了壓阻、電容陣列在布線和分辨率上的限制——圖像本身就是數(shù)字信號天然契合深度學(xué)習(xí)管線也讓觸覺感知第一次可以像視覺一樣被離線標注、離線訓(xùn)練、在線推理。如果你是做機械臂抓取、靈巧手控制或力控相關(guān)方向本文會從成像原理、硬件選型、數(shù)據(jù)采集到落地應(yīng)用把這條鏈路上的關(guān)鍵參數(shù)和常見坑一次講完。2. 視觸覺傳感器的成像原理、數(shù)字化鏈路與三類主流方案選型2.1 為什么相機可以直接當(dāng)觸覺傳感器光度立體與標記點追蹤要理解視觸覺傳感器先要丟掉“觸覺等于陣列式壓力分布”的固有印象。陣列式方案把力變成電阻或電容變化電極密度越高數(shù)據(jù)量越大柔性布線難度也隨之指數(shù)上升。視觸覺走的是另一條路力先變成彈性體的幾何形變幾何形變再變成像素亮度變化。接觸表面的法向力把彈性體壓凹切向力把表面標記拖開相機穩(wěn)定地記錄這個過程。因此傳感器的分辨率取決于相機的像素數(shù)和彈性體表面的特征密度而不是電極印刷精度。從形變還原力學(xué)量常規(guī)做法有兩種。第一種是標記點追蹤彈性體表面印規(guī)則網(wǎng)格或隨機散斑通過光流或者特征匹配算出每個標記點的位移場再對位移場做空間求導(dǎo)得到應(yīng)變進而映射到接觸力。第二種是光度立體把彈性體做成帶反射涂層的半透明結(jié)構(gòu)用多角度光源照明利用不同光照方向下的亮度梯度反算表面法向。標記點擅長測量切向變形光度立體對法向壓力和接觸紋理更敏感不少研究方案會把兩者結(jié)合起來。2.2 三種主流成像方案的光路差異與選型參數(shù)公開研究中比較有代表性的視觸覺成像方案有三類以涂色彈性體加單目相機為代表的早期方案以透明彈性體加鏡面反射為代表的緊湊方案以及以微型相機加環(huán)形光源為代表的指尖尺寸方案。它們的本質(zhì)區(qū)別在于光路折疊方式和彈性體標定難度。下表是選型時我會重點關(guān)注的差異方案彈性體特征光源布局擅長測量的量主要約束涂色彈性體單目相機表面隨機散斑或網(wǎng)格同軸均勻光切向位移、滑移預(yù)判法向力精度依賴標定質(zhì)量透明彈性體鏡面反射內(nèi)側(cè)鍍反射膜多色LED環(huán)繞法向力分布、接觸幾何體積偏大散熱和光源均勻性需控制微型相機環(huán)形光源半透明彈性體加微紋理環(huán)形LED陣列紋理、滑移、微形變視場有限工作量程小選型時不要只看分辨率數(shù)字。真正影響使用體驗的是量程和重復(fù)性。彈性體厚度決定法向量程太薄壓幾下就到了飽和太厚小力信號又被淹沒在彈性體自身的壓縮噪聲里。我一般會把彈性體厚度基準定為相機視場對角線長度的五分之一左右然后根據(jù)目標物體的硬度去微調(diào)。光源的球面均勻性比亮度更重要不均勻光照在光度立體里會表現(xiàn)為無法消除的低頻誤差。2.3 從像素到力學(xué)量一張觸覺圖像的數(shù)字化解算管線數(shù)字化的含義不只是把模擬圖像轉(zhuǎn)成數(shù)字矩陣更關(guān)鍵的是把圖像矩陣變成后續(xù)控制回路能直接使用的物理量。一個常見的做法是先用一個小型卷積網(wǎng)絡(luò)把觸覺圖像映射成六維力/力矩估計。訓(xùn)練這類網(wǎng)絡(luò)不需要特殊的框架PyTorch 配合一個輕量回歸頭即可表達式如下import torch import torch.nn as nn import torch.nn.functional as F class TactileForceNet(nn.Module): def __init__(self, in_channels: int 3, out_dim: int 6): super().__init__() self.features nn.Sequential( nn.Conv2d(in_channels, 24, kernel_size5, stride2), nn.ReLU(), nn.Conv2d(24, 48, kernel_size3, stride2), nn.ReLU(), nn.Conv2d(48, 64, kernel_size3, stride2), nn.ReLU(), nn.AdaptiveAvgPool2d((1, 1)), ) self.regressor nn.Sequential( nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, out_dim), ) def forward(self, x: torch.Tensor) - torch.Tensor: x self.features(x) x torch.flatten(x, 1) return self.regressor(x)這段代碼定義了一個簡單的觸覺力回歸網(wǎng)絡(luò)輸入是傳感器拍出的 3 通道圖像輸出 6 維力/力矩向量。關(guān)鍵在于用了三層步長為 2 的卷積快速縮小空間維度最后用全局平均池化把所有區(qū)域的特征壓成一個向量來適應(yīng)彈性體表面不同接觸位置帶來的位移。訓(xùn)練時要對力標簽做歸一化因為法向力極易出現(xiàn) 2N 到 20N 的跨量級分布直接用原始數(shù)值會導(dǎo)致 loss 被大力樣本統(tǒng)治。訓(xùn)練集構(gòu)造上離線階段用機械臂末端力傳感器采集真值比手動按壓錄數(shù)據(jù)可靠得多這也是后面第三章要展開的內(nèi)容。3. 視觸覺數(shù)據(jù)怎么來彈性體標定、深度重建與數(shù)據(jù)集采集的復(fù)現(xiàn)流程3.1 首個可復(fù)現(xiàn)步驟彈性體配方、光源布局與相機內(nèi)參標定拿到一塊彈性體和相機之后最容易出問題的是彈性體表面特征一致性。如果用手工點涂散斑每片傳感器的外觀都不一樣模型換一個傳感器基本要重新微調(diào)。常見做法是制作帶微紋理的硅膠模具用翻模的方式保證每片彈性體的散斑分布和厚度一致。硅膠硬度建議從 Shore A 20 左右起步硬度越低對微小力越敏感但回彈時間變長不適合快速動態(tài)接觸。光源布局的目標是讓彈性體表面照度均勻且無鏡面高光。白色 LED 陣列加一層漫射板是低成本下效果最穩(wěn)定的配法。相機內(nèi)參標定和普通視覺相機沒有區(qū)別用棋盤格標定即可。需要額外小心的是彈性體是透明或半透明材質(zhì)光會從側(cè)面穿透進來導(dǎo)致圖像周圍出現(xiàn)一圈亮邊。解決辦法是在彈性體外圍加遮光罩或者從軟件上裁掉邊緣區(qū)域再送入視覺模型。3.2 從標記位移到深度圖光度立體的關(guān)鍵參數(shù)如果走光度立體路線三路以上不同角度光源是底線。記表面法向量為 N入射光方向為 L_i在 Lambertian 近似下第 i 幅圖像的亮度 I_i 滿足 I_i rho * max(N · L_i, 0)其中 rho 是表面反射率。至少用三幅不同方向光源照射的圖像聯(lián)立就能解出 N 和 rho 的乘積。實際操作中要把 LED 的入射方向標定準確角度誤差超過 2 度重建出來的法向場就會帶上系統(tǒng)性的傾斜。參數(shù)推薦區(qū)間影響備注LED 入射角與表面法線的夾角20°45°過小缺少明暗差異過大產(chǎn)生陰影四路光源對稱布置最省標定成本曝光時間2ms10ms決定運動模糊程度接觸滑移速度高時優(yōu)先取小彈性體厚度視場對角線 1/5 左右決定法向量程薄則靈敏但易飽和幀率60fps 起步抓取場景建議 120fps決定能否捕捉滑移瞬間幀率不夠會漏掉接觸建立階段重建后用相鄰兩幀的深度圖做差就能得到接觸引起的表面形變速度場。這個速度場對檢測物體松脫特別有用因為滑移初期的信號不是力數(shù)值突變而是形變梯度在接觸邊緣的快速移動。3.3 用自動化腳本批量采集觸覺數(shù)據(jù)集手動按壓采集數(shù)據(jù)的問題在于樣本分布不可控按壓力度集中在中間區(qū)間極端大力和小力樣本稀缺。我習(xí)慣把傳感器固定在桌面夾具上用機械臂帶著末端工具去執(zhí)行按壓、滑動、旋轉(zhuǎn)三類動作按固定的軌跡和速度跑完一遍同時記錄傳感器圖像和力傳感器真值。下面是一個采集循環(huán)的簡化版本import time import csv import cv2 import numpy as np from robot_interface import RobotArm def collect_tactile_dataset( robot: RobotArm, camera, force_sensor, save_prefix: str, press_depth: list[float], slide_speed: float ): rows [] for depth in press_depth: robot.move_to_press(depth) time.sleep(0.3) # 等待彈性體形變穩(wěn)定 img camera.read() fx, fy, fz, mx, my, mz force_sensor.read() timestamp time.time() cv2.imwrite(f{save_prefix}_{timestamp}.png, img) rows.append([timestamp, depth, fx, fy, fz, mx, my, mz]) robot.move_to_home() with open(f{save_prefix}_labels.csv, w, newline) as f: writer csv.writer(f) writer.writerow([timestamp, press_depth, fx, fy, fz, mx, my, mz]) writer.writerows(rows)這段腳本把一次按壓動作同步成三條數(shù)據(jù)完成按壓后的觸覺圖像、力傳感器讀數(shù)、動作參數(shù)。按壓深度列表 press_depth 是一個數(shù)組用來覆蓋不同量程的力區(qū)間。值得注意的地方是 time.sleep(0.3) 這一步硅膠彈性體在快速按壓后會有蠕變回彈如果不等形變穩(wěn)定就拍照采集到的圖像會包含明顯的時變分量模型學(xué)到的力映射也會因此變得不穩(wěn)定?；瑒雍托D(zhuǎn)動作也按同樣的邏輯做只是在動作過程中連續(xù)拍照而不是等穩(wěn)定。4. 在機器人上落地抓取、力控、位姿修正的典型接法與時序陷阱4.1 為什么視觸覺適合裝在末端執(zhí)行器上與力控/音圈電機的聯(lián)動視觸覺傳感器最自然的安裝位置是機械臂末端執(zhí)行器或者靈巧手指尖因為這里的接觸信息最直接。對于力控來說視觸覺的獨特優(yōu)勢是能提供接觸建立瞬間的趨勢信號而不是像傳統(tǒng) F/T 傳感器那樣只在受力后才反饋數(shù)值。尤其在精密裝配、插拔連接器等低剛度接觸場景力矩傳感器很容易被 Z 軸串?dāng)_干擾視觸覺卻能靠圖像上接觸斑的出現(xiàn)位置直接判斷接觸點在指尖的哪個方位。一個常見的工程做法是把觸覺圖像和末端力傳感器做融合視觸覺負責(zé)檢測接觸的建立和滑移趨勢力傳感器負責(zé)穩(wěn)態(tài)力控制。部分精密末端執(zhí)行器甚至?xí)捎靡羧﹄姍C作為驅(qū)動以實現(xiàn)低摩擦、高帶寬的力輸出再疊加視觸覺反饋作為閉環(huán)的前饋補償。這個組合下視觸覺的幀率要求會比較高建議不低于 120fps否則快速趨近過程中的第一個接觸幀很容易被漏掉。4.2 抓取場景的滑移檢測不要等到物體掉才發(fā)現(xiàn)抓取中最怕的不是力不夠而是力剛好在臨界點附近物體以極慢速度滑移。慢滑移產(chǎn)生的力變化很小傳統(tǒng)力矩傳感器不一定能察覺到但觸覺圖像上接觸區(qū)域的邊緣會持續(xù)移動。用幀間位移場的統(tǒng)計量來檢測這種趨勢比單純用模型判斷是否滑移更穩(wěn)。import cv2 import numpy as np def detect_slip(prev_frame: np.ndarray, curr_frame: np.ndarray, threshold_px: float 0.8): prev_gray cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY) curr_gray cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY) flow cv2.calcOpticalFlowFarneback( prev_gray, curr_gray, None, pyr_scale0.5, levels3, winsize21, iterations3, poly_n5, poly_sigma1.2, flags0, ) mag, _ cv2.cartToPolar(flow[..., 0], flow[..., 1]) # 只統(tǒng)計形變明顯的接觸區(qū)域避免把背景噪聲算進去 mask mag 0.15 mean_motion float(np.mean(mag[mask])) if mask.any() else 0.0 return mean_motion threshold_px, mean_motion這段代碼用 Farneback 光流計算兩幀觸覺圖像間的像素位移。重點不是求整圖的運動而是設(shè)置了一個 mask把位移小于 0.15 像素的背景噪聲摳掉只統(tǒng)計接觸區(qū)域附近的有效運動。mean_motion 就是接觸區(qū)的平均位移量超過 threshold_px 就判定為滑移正在發(fā)生。實際調(diào)試時閾值的大小和彈性體表面紋理密度有關(guān)散斑越密光流越準閾值可以設(shè)得更小建議先用離線錄制的滑移片段跑一遍看均值分布再定閾值。4.3 位姿修正與裝配接觸幾何比力數(shù)值更有用在插孔、擰螺絲這類任務(wù)里機器人需要知道的不是受了多少力而是零件相對于夾具的微小偏移方向。視觸覺的高分辨率在這里派上用場把接觸斑點的幾何中心與彈性體中心做差得到的是零件在指尖上偏移的方向向量配合機器人運動學(xué)可以做一個簡單的平面內(nèi)修正。應(yīng)用任務(wù)需要的核心信息適合從視觸覺提取的信號配套算法穩(wěn)定抓取滑移趨勢、力臨界點接觸區(qū)邊緣位移場光流/位移統(tǒng)計插拔裝配接觸點的相對位置偏移接觸斑幾何中心視覺伺服修正表面紋理判別微觀紋理形貌差異光度立體法向場特征匹配/分類靈巧手操作多指接觸力分配各指接觸區(qū)面積占比力位混合控制接觸斑的面積變化也很值得關(guān)注。同一法向力下接觸面積越大說明物體表面越軟或者曲率越平這在抓取形狀不確定物體時可以作為判斷材質(zhì)軟硬的附加線索。比純圖像分類更穩(wěn)的做法是同時提取面積、中心偏移、主軸方向三個幾何量組成低維特征向量再去做判斷這樣既能減少對訓(xùn)練數(shù)據(jù)的依賴也能提高推理速度。5. 把進展變收益重復(fù)性驗證與可控形變標定的進階技巧5.1 重復(fù)性驗證一臺傳感器能不能當(dāng)成測量儀器先看它穩(wěn)不穩(wěn)很多視觸覺方案在演示里看著很驚艷一到實際項目就翻車主要原因不是算法不行而是傳感器本身的重復(fù)性沒有驗證過。驗證方法很簡單讓機械臂帶著一個剛性平面壓頭反復(fù)按壓傳感器同一個位置壓到同樣的深度采集 50 組以上圖像計算力估計輸出的方差和接觸斑中心位置的漂移。如果發(fā)現(xiàn)重復(fù)性不好優(yōu)先排查的不是模型而是機械結(jié)構(gòu)。彈性體沒有完全貼合底座就會產(chǎn)生旋轉(zhuǎn)方向的位置漂移光源亮度隨溫度漂移則會讓光度立體的輸出出現(xiàn)低頻變化。解決彈性體貼合問題的方法是翻模時做定位銷孔每次更換彈性體都靠機械定位保證一致。5.2 力-形變映射的可控標定用砝碼不如用位移臺按壓標定有一個常用但不嚴謹?shù)淖龇ㄔ趥鞲衅魃戏彭来a用砝碼重力做力的真值。問題是砝碼會引入明顯的切向分量而且放置角度很難保證完全水平。我建議用一維位移臺加力傳感器作為標定基準位移臺控制下壓深度串聯(lián)一個 50N 量程的力傳感器讀取真實力值。標定時覆蓋法向 0.5N 到 30N、切向 0.2N 到 10N 的范圍按對數(shù)間距取點這樣小力區(qū)間有足夠多的樣本供模型學(xué)習(xí)。關(guān)鍵的進階技巧是保存每一擋下壓深度對應(yīng)的彈性體形變快照把下壓深度作為外部變量記錄下來。這樣一來即使后續(xù)換了一個機械臂或換了相機曝光參數(shù)也能根據(jù)形變快照重新映射力和圖像之間的關(guān)系而不需要從頭采集。這個習(xí)慣會大幅提升傳感器在項目中的復(fù)用效率。本文還有配套的精品資源點擊獲取