正文

視覺分揀機器人（視覺分揀機器人課程設計）

發(fā)布時間：2023-07-02 03:58:51 稿源：創(chuàng)意嶺閱讀： 903

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于視覺分揀機器人的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

本文目錄:

1、機器視覺檢測帶你走進工業(yè)4.0，體驗人工智能新"視"界
2、機器人視覺與計算機視覺：有什么不同
3、機器視覺系統(tǒng)在機器人中主要有哪些功能？
4、機器人抓取時怎么定位的？用什么感測器來檢測

一、機器視覺檢測帶你走進工業(yè)4.0，體驗人工智能新"視"界

工業(yè)4.0與智能制造密不可分，智能制造與機器視覺密不可分。機器視覺是近年來發(fā)展迅速的新技術，利用光學和機電一體化使機器具有視覺功能。機器視覺為工業(yè)自動化打開了一扇“新窗口”。在智能制造時代，機器視覺具有非常大的發(fā)展?jié)摿Α?span style="display:none">aSv創(chuàng)意嶺 - 安心托付、值得信賴的品牌設計、營銷策劃公司

機器視覺使機器能夠了解世界

顧名思義，機器視覺是用機器代替人眼進行測量和判斷。機器視覺的應用主要表現(xiàn)在四個方面：

1、導向和定位：裝載和卸載使用機器視覺定位和引導機器人手臂準確抓握。

2、外觀檢查：檢查生產線上的產品是否存在質量問題。這個環(huán)節(jié)也是取代勞動力最重要的部分。

3、高精度檢測：部分產品精度高，達到0.01~0.02m甚至u，人眼無法檢測到，必須用機器完成。

4、識別：數(shù)據(jù)可追溯性和收集，適用于汽車零件，食品，醫(yī)藥等其他應用。

以檢測應用為例，簡要介紹機器視覺的工作原理。使用工業(yè)相機收集被測設備的圖像是機器視覺中最重要的部分。為了檢測所有需要的功能，有必要不斷調整光源和攝像機的參數(shù)，然后使用專業(yè)的圖像處理軟件將模擬信號轉換為數(shù)字信號，然后計算出來，提取目標的檢測特征，如顏色、器件表面是否有劃痕、尺寸是否合格，表面涂層是否均勻等，然后輸出結果，反饋到機械端對器件進行分檢，將不合格器件挑選出來，即圖像獲取、信息處理和完成分揀三個過程。

在智能制造時代，機器視覺具有很大的發(fā)展?jié)摿?

全球機器視覺行業(yè)主要分布在北美，歐洲和日本，北美占62％，歐洲占15％，日本占10％。

中國的機器視覺相關產業(yè)起步較晚，但發(fā)展速度很快。自2009年以來，它已進入快速發(fā)展期，年增長率為15-20％。目前，中國已成為僅次于美國和日本的世界第三大機器視覺市場。 2015年，其市場規(guī)模達到22億元，占全球的8.3％，增長率為22.2％，遠高于全球平均水平。從2016年到2020年，中國機器視覺市場的增長率預計將保持在20％以上，這將達到10億美元的市場空間。

中國的機器視覺系統(tǒng)仍主要用于半導體和電子制造領域。 2015年，它占總數(shù)的46.4％，特別是SMT貼片，AOI/AXI設備和連接器檢測。下游機器視覺應用中汽車和醫(yī)藥也占很大比例，2015年分別達到10.9％和9.7％。

機器視覺系統(tǒng)的優(yōu)點是提高所生產產品的質量和生產線的自動化。特別是在一些不適合手工作業(yè)或人眼難以滿足要求的危險工作中，同時，在大規(guī)模的工業(yè)生產過程中，產品質量通過人工視覺檢查，精度不高，機器視覺檢測方法可以大大提高。提高生產效率和生產自動化。業(yè)界預計機器視覺的未來將進一步開放。

機器視覺技術的工業(yè)應用

目前，國內機器視覺技術廣泛應用于電子和半導體制造，汽車制造，工業(yè)測試，藥品檢測和包裝，食品包裝，印刷和測試，鐵路和公路測試，公共安全，金融，生物醫(yī)學，娛樂，軍事，化學研究和其他領域。毫無疑問，工業(yè)領域是機器視覺應用的最大比例。重要原因是中國已成為全球制造，高需求零件加工的加工中心及其相應的先進生產線改造，使機械視覺產品在工業(yè)制造中得以實現(xiàn)。

基于機器視覺的工業(yè)機器人定位技術

機器人的智能程度影響整個行業(yè)的發(fā)展。傳統(tǒng)機器人主要通過教學再現(xiàn)或預編程來執(zhí)行各種操作，這極大地限制了機器人的應用。具有力感，機器視覺和各種傳感器的機器人運動控制技術是靈活自動化制造技術的典范。通過機器人的視覺控制，不需要預先教導或離線編程工業(yè)機器人的運動軌跡，這可以節(jié)省很多錢，編程時間，提高生產效率和加工質量。

工業(yè)在線檢測系統(tǒng)

機器視覺在工業(yè)在線檢測的各種應用中非?；钴S，例如：印刷電路板的目視檢查，鋼板表面的自動探傷，大型工件的平行度和垂直度測量，容器體積或雜質檢測，自動識別和分類，機械零件幾何尺寸測量等。

例如，ROVER（汽車）800系列車身輪廓尺寸精度的100％在線檢測是工業(yè)檢測中使用的機器視覺系統(tǒng)的典型示例。該系統(tǒng)由62個測量單元組成，每個測量單元由一個激光器和一個CCD攝像頭組成，用于檢測機身外殼上的288個測量點。檢查系統(tǒng)每40秒檢測一個車身的速度，并檢測三種類型的車身。系統(tǒng)將測試結果與CAD模型中的尺寸進行比較，測量精度為±0.1 mm。

二、機器人視覺與計算機視覺：有什么不同

計算機視覺與機器視覺，首先是應用場景不一樣，就像視遠圖像趙旭回答的那樣：你把攝像頭對著人就是CV，對著車間就是MV。

計算機視覺和機器視覺應用場景不同，就像拉貨車和載客車是的，側重點不同而已，一個側重人工智能分支，一個側重工業(yè)應用！簡單說起來的話，計算機視覺偏重于深度學習并且偏向軟件，機器視覺偏重于特征識別同時對硬件方面要求也比較高，不過隨著對智能識別要求越來越高的發(fā)展，這兩個方向畢竟會互相滲透互相融合，區(qū)別也僅僅限于應用領域不同而已。

其次，我感覺最大的區(qū)別，在于技術要求的側重點不一樣，甚至差別很大。

計算機視覺，主要是對質的分析，比如分類識別，這是一個杯子那是一條狗?；蛘咦錾矸荽_認，比如人臉識別，車牌識別?；蛘咦鲂袨榉治?，比如人員入侵，徘徊，遺留物，人群聚集等。

機器視覺，主要側重對量的分析，比如通過視覺去測量一個零件的直徑，一般來說，對準確度要求很高。我記得以前接觸過一個需求: 視覺測量鐵路道岔缺口。哥剛畢業(yè)的時候在鐵路上班，做過控制系統(tǒng)，還開過內燃機車，很清楚道岔缺口的重要性，這玩意兒你說要是測不準，呵呵:)

當然，也不能完全按質或量一刀切，有些計算機視覺應用也需要分析量，比如商場的人數(shù)統(tǒng)計。有些機器視覺也需要分析質，比如零件自動分揀。但，計算機視覺一般來說對量的要求不會很高，商場人數(shù)統(tǒng)計誤差個百分之幾死不了人的，但機器視覺真的會，比如那個道岔缺口測量。

既然要求這么高，是不是機器視覺就比計算機視覺難呢？也不是的，應該說各有各的難處。

計算機視覺的應用場景相對復雜，要識別的物體類型也多，形狀不規(guī)則，規(guī)律性不強。有些時候甚至很難用客觀量作為識別的依據(jù)，比如識別年齡，性別。所以深度學習比較適合計算機視覺。而且光線，距離，角度等前提條件，往往是動態(tài)的，所以對于準確度要求，一般來說要低一些。

機器視覺則剛好相反，場景相對簡單固定，識別的類型少(在同一個應用中)，規(guī)則且有規(guī)律，但對準確度，處理速度要求都比較高。關于速度，一般機器視覺的分辨率遠高于計算機視覺，而且往往要求實時，所以處理速度很關鍵，目前基本上不適合采用深度學習。

以上討論的是技術，商業(yè)方面，計算機視覺的應用面更廣一些，畢竟很多業(yè)務是跟人相關，比如人臉識別，行為分析等，很多垂直領域都有計算機視覺潛在需求，相對來說，更適合創(chuàng)業(yè)；

而機器視覺顧名思義，業(yè)務主要跟機器相關，而且對準確度甚至安全性要求很高，也就在資質品牌方面有較高的門檻，所以寡頭壟斷嚴重，一般來說，更適合上班而不是創(chuàng)業(yè)。

機器視覺（Machine Vision, MV） & 計算機視覺(Computer Vision, CV)

從學科分類上，二者都被認為是 Artificial Intelligence 下屬科目.

有幾個分支：

一個是圖像處理，主要是信號與系統(tǒng)，統(tǒng)計，優(yōu)化

一個是求解景物與圖像之間的關系，如立體視覺、三維重建，主要是幾何

一個是模式識別，例如如何分割圖像、識別目標，主要是人工智能

但實際提及時，主觀感覺上

MV 更多注重廣義圖像信號（激光，攝像頭）與自動化控制（生產線）方面的應用。

CV 更多注重（2D, 3D）圖像信號本身的研究以及和圖像相關的交叉學科研究（醫(yī)學圖像分析，地圖導航）。

三、機器視覺系統(tǒng)在機器人中主要有哪些功能？

機器視覺按照功能可以大致區(qū)分為識別、定位、測量、檢測、引導五類。

（1）識別：機器視覺可以對圖像進行處理、分析和理解，用于對一些一維碼或二維碼的解碼、光學字符的識別與確認、顏色及形狀的識別等；

（2）機器視覺采用先進的圖像視覺檢測技術，對高速運動的工業(yè)產品進行實時全面視覺定位分析，主要用于自動生產及裝配；

（3）機器視覺可以在非接觸的情況下，對產品尺寸進行高精度的測量，以確定產品外觀的尺寸是否存在誤差；

（4）機器視覺可以用于產品表面的精密檢測，包括目標方向及位置檢測，檢測產品表面的壓傷、破損、刮傷、臟污、變形等問題，及印刷表面的瑕疵檢測等；

（5）機器視覺普遍應用于智能制造的工業(yè)機器人領域，當前工業(yè)機器人已經大范圍應用于自動化流水線，機器視覺系統(tǒng)可以在機器人操作過程中幫助機器人實時了解工作環(huán)境的變化，相應的調整動作以保證任務的正確完成?！痉諢峋€，貼心服務】

RegemMarr研祥金碼業(yè)務主要涵蓋新能源、鋰電、半導體、電子元件、包裝、家用電器、汽車、食品、醫(yī)藥、物流及自動化設備等領域。公司產品自上市以來，已在華為、京東方、海信、小米、創(chuàng)維、長虹、比亞迪、美的、大疆、富士康、元氣森林等知名企業(yè)得到廣泛應用，深受贊譽與信賴。

四、機器人抓取時怎么定位的？用什么感測器來檢測

機器人抓取時怎么定位的？用什么感測器來檢測

機械手動作是靠伺服電機上的編碼器反饋到工控機處理中心訊號與預設定引數(shù)比較、修正再輸出給伺服電機執(zhí)行精確定位的。也就是說靠預先程式設計決定的，不是靠感測器定位的。程式設計可解決機械手三維空間動作精確方向、速度、執(zhí)行時間…………

依靠定位點以及零點位置，機器手定期修正累加誤差，抓取最高階的是應用影象技術，配合物料定位點。

一般是照相定位的。感測器是COMS或者CCD。

用預先程式設計及其執(zhí)行中該伺服電機軸尾的編碼器反饋訊號至計算中心精確修整偏差定位的。

機器人家上了解到，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的資訊。所以，機器視覺的研究大概有這幾塊：

物體識別（Object Recognition）：在影象中檢測到物體型別等，這跟 CV 的研究有很大一部分交叉；

位姿估計（Pose Estimation）：計算出物體在攝像機座標系下的位置和姿態(tài)，對于機器人而言，需要抓取東西，不僅要知道這是什么，也需要知道它具體在哪里；

相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機座標系下的座標，我們還需要確定相機跟機器人的相對位置和姿態(tài)，這樣才可以將物 *** 姿轉換到機器人位姿。

當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。

由于視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：

0. 相機標定

這其實屬于比較成熟的領域。由于我們所有物體識別都只是計算物體在相機座標系下的位姿，但是，機器人操作物體需要知道物體在機器人座標系下的位姿。所以，我們先需要對相機的位姿進行標定。內參標定就不說了，參照張正友的論文，或者各種標定工具箱；外參標定的話，根據(jù)相機安裝位置，有兩種方式：

Eye to Hand：相機與機器人極座標系固連，不隨機械臂運動而運動

Eye in Hand：相機固連在機械臂上，隨機械臂運動而運動兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）

只需在機械臂末端固定一個棋盤格，在相機視野內運動幾個姿態(tài)。由于相機可以計算出棋盤格相對于相機座標系的位姿、機器人運動學正解可以計算出機器人底座到末端抓手之間的位姿變化、而末端爪手與棋盤格的位姿相對固定不變。這樣，我們就可以得到一個座標系環(huán)

而對于眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個棋盤格（與機器人基座固連），然后讓機械臂帶著相機走幾個位姿，然后也可以形成一個的座標環(huán)。

1. 平面物體檢測

這是目前工業(yè)流水線上最常見的場景。目前來看，這一領域對視覺的要求是：快速、精確、穩(wěn)定。所以，一般是采用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩(wěn)定性、一般會通過主要打光源、采用反差大的背景等手段，減少系統(tǒng)變數(shù)。

目前，很多智慧相機（如 cognex）都直接內嵌了這些功能；而且，物體一般都是放置在一個平面上，相機只需計算物體的三自由度位姿即可。另外，這種應用場景一般都是用于處理一種特定工件，相當于只有位姿估計，而沒有物體識別。當然，工業(yè)上追求穩(wěn)定性無可厚非，但是隨著生產自動化的要求越來越高，以及服務類機器人的興起。對更復雜物體的完整位姿估計也就成了機器視覺的研究熱點。

2. 有紋理的物體

機器人視覺領域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬于這一類。當然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實際機器人操作過程中，環(huán)境會更加復雜：光照條件不確定（光照）、物體距離相機距離不確定（尺度）、相機看物體的角度不確定（旋轉、仿射）、甚至是被其他物體遮擋（遮擋）。

幸好有一位叫做 Lowe 的大神，提出了一個叫做 SIFT （Scale-invariant feature transform）的超強區(qū)域性特征點： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of puter vision 60.2 (2004): 91-110. 具體原理可以看上面這篇被引用 4萬+ 的論文或各種部落格，簡單地說，這個方法提取的特征點只跟物體表面的某部分紋理有關，與光照變化、尺度變化、仿射變換、整個物體無關。因此，利用 SIFT 特征點，可以直接在相機影象中尋找到與資料庫中相同的特征點，這樣，就可以確定相機中的物體是什么東西（物體識別）。

對于不會變形的物體，特征點在物體座標系下的位置是固定的。所以，我們在獲取若干點對之后，就可以直接求解出相機中物體與資料庫中物體之間的單應性矩陣。如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特征點的 3D 位置。那么，直接求解這個 PnP 問題，就可以計算出物體在當前相機座標系下的位姿。

↑ 這里就放一個實驗室之前畢業(yè)師兄的成果當然，實際操作過程中還是有很多細節(jié)工作才可以讓它真正可用的，如：先利用點云分割和歐氏距離去除背景的影響、選用特征比較穩(wěn)定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。而且，除了 SIFT 之外，后來又出了一大堆類似的特征點，如 SURF、ORB 等。

3. 無紋理的物體

好了，有問題的物體容易解決，那么生活中或者工業(yè)里還有很多物體是沒有紋理的：

我們最容易想到的就是：是否有一種特征點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？不幸的是，據(jù)我了解，目前沒有這種特征點。所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對匹配的特征進行了專門選擇（不只是邊緣等簡單特征）。

簡單而言，這篇論文同時利用了彩色影象的影象梯度和深度影象的表面法向作為特征，與資料庫中的模板進行匹配。由于資料庫中的模板是從一個物體的多個視角拍攝后生成的，所以這樣匹配得到的物 *** 姿只能算是初步估計，并不精確。但是，只要有了這個初步估計的物 *** 姿，我們就可以直接采用 ICP 演算法（Iterative closest point）匹配物體模型與 3D 點云，從而得到物體在相機座標系下的精確位姿。

當然，這個演算法在具體實施過程中還是有很多細節(jié)的：如何建立模板、顏色梯度的表示等。另外，這種方法無法應對物體被遮擋的情況。（當然，通過降低匹配閾值，可以應對部分遮擋，但是會造成誤識別）。針對部分遮擋的情況，我們實驗室的張博士去年對 LineMod 進行了改進，但由于論文尚未發(fā)表，所以就先不過多涉及了。

4. 深度學習

由于深度學習在計算機視覺領域得到了非常好的效果，我們做機器人的自然也會嘗試把 DL 用到機器人的物體識別中。

首先，對于物體識別，這個就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學習融入機器人領域的嘗試？有哪些難點？ - 知乎這個回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊伍都采用了 DL 作為物體識別演算法。然而，在這個比賽中，雖然很多人采用 DL 進行物體識別，但在物 *** 姿估計方面都還是使用比較簡單、或者傳統(tǒng)的演算法。似乎并未廣泛采用 DL。如 @周博磊所說，一般是采用 semantic segmentation neork 在彩色影象上進行物體分割，之后，將分割出的部分點云與物體 3D 模型進行 ICP 匹配。

當然，直接用神經網(wǎng)路做位姿估計的工作也是有的

它的方法大概是這樣：對于一個物體，取很多小塊 RGB-D 資料（只關心一個patch，用區(qū)域性特征可以應對遮擋）；每小塊有一個座標（相對于物體座標系）；然后，首先用一個自編碼器對資料進行降維；之后，用將降維后的特征用于訓練Hough Forest。

5. 與任務/運動規(guī)劃結合

這部分也是比較有意思的研究內容，由于機器視覺的目的是給機器人操作物體提供資訊，所以，并不限于相機中的物體識別與定位，往往需要跟機器人的其他模組相結合。

我們讓機器人從冰箱中拿一瓶『雪碧』，但是這個『雪碧』被『美年達』擋住了。我們人類的做法是這樣的：先把『美年達』移開，再去取『雪碧』。所以，對于機器人來說，它需要先通過視覺確定雪碧在『美年達』后面，同時，還需要確定『美年達』這個東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。當然，將視覺跟機器人結合后，會引出其他很多好玩的新東西。由于不是我自己的研究方向，所以也就不再班門弄斧了。

機器作定位由先由工程式設計決定空前、左右、位置定位精度由伺服電機同軸尾端編碼傳器反饋訊號經伺服電機驅卡至處理處理再輸作自微量調整

機器人多工位動作及其執(zhí)行中定位全部由人工編寫操作程式而決定的，此與感測器暫不搭界。若要根據(jù)生產工藝改進，則要重新編寫程式，或在原程式中作修改調整。

機器人抓取定位是預先程式設計的，工控機輸出帶動伺服電機精確定位，包括伺服電機編碼器反饋訊號經電機驅動卡直至工控機進一步調整。若用感測器檢測定位誤差極大，根本不可能細微修正定位精度。

機器人抓取目前最常用的是通過視覺定位，CCD/CMOS感測器拍攝當前視野內圖片，找到MARK點，算出偏移的座標和角度，再通過網(wǎng)口或者串列埠將資料反饋到機器人，機器人作出相應修正

----------眾合航迅科技有限公司鄧經理為您解答

機器人動作定位由先由人工程式設計決定它在空中前后、左右、上下位置的。定位精度由伺服電機同軸尾端編碼感測器反饋訊號經此伺服電機驅動卡至處理中心處理后再輸出作自動微小量調整

以上就是關于視覺分揀機器人相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內容。