使用訓(xùn)練有素的計(jì)算機(jī)視覺算法在激光粉末床增材制造過程中進(jìn)行異常檢測和分類

來源：長三角G60激光聯(lián)盟

導(dǎo)讀：據(jù)悉，本文對最終算法的性能進(jìn)行了評估，并通過幾個(gè)案例研究證明了其作為獨(dú)立軟件包的有用性。

盡管工業(yè)界迅速采用了激光粉末床熔接（LPBF）增材制造，但目前的工藝在很大程度上仍然是開環(huán)的，實(shí)時(shí)監(jiān)控能力有限。雖然一些機(jī)器在構(gòu)建期間提供粉末床可視化，但它們?nèi)狈ψ詣?dòng)分析能力。這項(xiàng)工作提出了一種現(xiàn)場監(jiān)測和分析粉末床圖像的方法，有可能成為LPBF機(jī)器實(shí)時(shí)控制系統(tǒng)的一個(gè)組成部分。具體而言，計(jì)算機(jī)視覺算法用于自動(dòng)檢測和分類在粉末撒布過程中發(fā)生的異常。異常檢測和分類是使用無監(jiān)督機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)的，該算法運(yùn)行在一個(gè)中等大小的圖像補(bǔ)丁訓(xùn)練數(shù)據(jù)庫上。對最終算法的性能進(jìn)行了評估，并通過幾個(gè)案例研究證明了其作為獨(dú)立軟件包的有用性。

1.介紹
近年來，增材制造業(yè)（俗稱3D打印）作為一個(gè)行業(yè)經(jīng)歷了巨大的增長；這對于生產(chǎn)網(wǎng)狀金屬零件的機(jī)器和工藝來說尤其如此。增材制造承諾非常適合航空航天和醫(yī)療應(yīng)用，以及在現(xiàn)場和偏遠(yuǎn)地區(qū)生產(chǎn)任務(wù)關(guān)鍵部件。然而，這些應(yīng)用需要一定程度的零件質(zhì)量保證和工藝可靠性，這是目前市場上的系統(tǒng)難以實(shí)現(xiàn)的。

圖片（a）顯示Arcam A2建造室的新組件位置和紅外攝像頭，以及（b）使用紅外攝像頭拍攝的圖像。

Rodriguez等人將紅外熱像儀集成到Arcam A2電子束-PBF機(jī)器中，如上圖（a）所示，以便分析每個(gè)構(gòu)建層的表面溫度曲線。此外，此信息隨后用于修改下一層的生成設(shè)置。FLIR系統(tǒng)SC645紅外熱像儀因其高分辨率（640×480像素）和2000°C的測量溫度范圍而被選中集成到Arcam A2中。安裝紅外攝像機(jī)需要大量的機(jī)器修改，其中包括用ZnSe玻璃替換系統(tǒng)以前的攝像機(jī)，安裝一個(gè)保護(hù)瓣，充當(dāng)快門，保護(hù)ZnSe窗口，以及安裝氣動(dòng)執(zhí)行器來激活快門襟翼�？刂葡到y(tǒng)還與Arcam合作進(jìn)行了修改，以觸發(fā)快門和圖像捕獲。ThermaCAM研究員用于手動(dòng)分析圖像，測量來自表面的發(fā)射輻射（來自物體的發(fā)射，來自環(huán)境源的反射發(fā)射和來自大氣的發(fā)射），并將其轉(zhuǎn)換為相對溫度讀數(shù)。加工過程中由“過度熔化”引起的材料不連續(xù)性可以從生成的紅外圖像中識別出來，如圖（b）所示。

激光粉末床熔合（LPBF）機(jī)器通過使用重涂器刀片將一層薄薄的金屬粉末涂敷在構(gòu)建板上進(jìn)行操作。粉末鋪展后，使用激光束在與3D零件的2D切片相對應(yīng)的位置選擇性地熔化粉末。激光完成后，降低構(gòu)建板，再鋪上一層粉末（在現(xiàn)有粉末床上，圖1），重復(fù)該過程，直到零件完成。在現(xiàn)場監(jiān)測構(gòu)建方面開展了大量工作，特別關(guān)注跟蹤激光束產(chǎn)生的熔池大小]以及粉末床溫度。最終零件中的許多缺陷，以及構(gòu)建過程的整體可靠性，都與重涂器葉片和粉末床之間的相互作用直接相關(guān)。工作重點(diǎn)是監(jiān)控粉末床的最終零件中的缺陷指示，以及可能影響整個(gè)過程穩(wěn)定性的異常。

圖1 EOS M290采集的原始粉末床圖像。

為了實(shí)現(xiàn)全面粉末床監(jiān)測的目標(biāo)，本工作提出了一種算法，該算法實(shí)現(xiàn)了現(xiàn)代機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，僅使用LPBF機(jī)器制造商提供的硬件來檢測和分類列舉的異常。這是一個(gè)挑戰(zhàn)，因?yàn)槊總�(gè)粉末層圖像可能包含數(shù)百個(gè)唯一可識別的異常；為了彌補(bǔ)這一不足，本文修改了標(biāo)準(zhǔn)方法，以允許對單個(gè)圖像中的多個(gè)對象進(jìn)行分類。即使作為獨(dú)立軟件（例如，未與LPBF機(jī)器控制系統(tǒng)集成），該算法在分析構(gòu)建故障和分析最終零件質(zhì)量方面也證明是有價(jià)值的。

2.實(shí)驗(yàn)程序和方法

本文所述的所有工作均在EOS M290 LPBF機(jī)器上進(jìn)行（EOS GmbH，德國）。未對EOS硬件進(jìn)行任何修改，例如，僅使用庫存攝像機(jī)和照明配置。

2.1.圖像預(yù)處理
EOS M290拍攝的原始圖像（圖1）存在一些困難，妨礙了它們在基于機(jī)器學(xué)習(xí)的算法中的直接使用。幸運(yùn)的是，相機(jī)的安裝和照明條件在整個(gè)構(gòu)建過程中以及不同構(gòu)建之間保持一致，因此許多所需的圖像增強(qiáng)可以大大簡化。

圖2顯示了一個(gè)完全預(yù)處理的圖像。初步結(jié)果表明，該算法完全能夠操作其他（即非CMU）EOS M290s生成的數(shù)據(jù)集，前提是遵循上述預(yù)處理步驟。此外，該算法已成功用于分析從安裝在SLM 280機(jī)器（SLM Solutions GmbH）上的相機(jī)拍攝的幾個(gè)粉末床圖像。請注意，在本文檔中顯示的所有粉末床圖像中，重涂器刀片從右向左移動(dòng)（如圖1所示）。

圖2  圖1預(yù)處理后。

2.2.粉末擴(kuò)散異常等級的選擇

復(fù)涂器跳躍通常發(fā)生在復(fù)涂器刀片（相對）輕輕撞擊粉末層正下方的零件時(shí)。這種撞擊會(huì)導(dǎo)致復(fù)涂器葉片周期性“顫動(dòng)”，如圖3a所示，在粉末層中可以看到重復(fù)的垂直線。當(dāng)復(fù)水器葉片損壞（即“刻痕”）或復(fù)水器刀片拖拽一塊碎屑或一團(tuán)粉末穿過粉末床時(shí)，會(huì)出現(xiàn)復(fù)水器條紋。粉末層中的單個(gè)水平線可見復(fù)涂條紋（圖3b）；由于其尺寸相對較小，因此使用本方法檢測異常是最具挑戰(zhàn)性的異常之一。碎屑分類包括對粉末層的大多數(shù)干擾，這些干擾并非直接位于零件上方。圖3c顯示了幾個(gè)碎屑示例。

圖3 作者選擇的六種不同粉層異常類型的代表性示例。注意，異常之間的相對大小已被保留。具體而言，異常情況包括：（a）復(fù)水跳躍，（b）復(fù)水條紋，（c）碎屑，（d）超高，（e）零件故障，以及（f）未完全鋪展。

（a）設(shè)備設(shè)置示意圖，（b）熔池紅外圖像和（c）Hu和Kovacevic進(jìn)行的灰度分析。

Griffiths等人是最早研究使用紅外成像進(jìn)行粉末DED原位測量的人之一。紅外熱像儀用于評估使用LENS™工藝加工不銹鋼316時(shí)看到的相對溫度。使用光譜范圍為3.6 mm至5 mm的320×244像素CCD陣列記錄元件拍攝熔池圖像，并將其與使用高速相機(jī)拍攝的圖像進(jìn)行比較，并使用標(biāo)準(zhǔn)熱圖技術(shù)獲得溫度。由于粉末DED制造部件的發(fā)射率數(shù)據(jù)未知，因此計(jì)算的所有溫度都是相對的。輸出圖像顯示熔池和通過傳導(dǎo)加熱的周圍區(qū)域。相對于熔池的最高溫度繪制了熱剖面圖。相反，胡和科瓦切維奇將近紅外（NIR）相機(jī)與粉末輸送速率傳感器結(jié)合使用，用于在粉末DED加工過程中監(jiān)控熔池。使用幀速率為800幀/秒的同軸紅外成像相機(jī)以128×128像素的分辨率拍攝熔池區(qū)域的灰度圖像。使用適當(dāng)?shù)臑V光片來保護(hù)相機(jī)免受加工激光的損壞。還采用了大于700 nm的紅外濾光片來提高圖像質(zhì)量。連接的PC執(zhí)行上圖（a）中概述的圖像處理和控制步驟。使用灰度等溫線（圖（c））從紅外圖像（圖（b））評估熔池中的溫度分布。開發(fā)了用于熱輸入控制的閉環(huán)控制系統(tǒng)，使用實(shí)時(shí)控制（專門針對功能分級組件）提高了幾何零件精度。

3.理論
這項(xiàng)工作是一種廣泛使用的機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，稱為關(guān)鍵點(diǎn)，通常用于計(jì)算機(jī)視覺問題。與手動(dòng)創(chuàng)建異常檢測器相反，作者采用了機(jī)器學(xué)習(xí)方法，因?yàn)樗�具有�?nèi)在的靈活性，并且有可能成為檢測和分類多種異常類型的“一刀切”方法。本節(jié)旨在概述該技術(shù)，并描述其在增材制造中的應(yīng)用。圖4是粉末床監(jiān)測算法這一部分的流程圖，廣泛引用。

圖4 本工作中實(shí)現(xiàn)的機(jī)器學(xué)習(xí)過程流程圖。

4.結(jié)果和討論

由于這項(xiàng)工作沒有得到外部資助，因此沒有專門為這項(xiàng)研究創(chuàng)建測試工件。因此，通過審查三個(gè)案例研究的分析，利用CMU的EOS M290上執(zhí)行的構(gòu)建數(shù)據(jù)，得出結(jié)果。

4.1.算法性能
計(jì)算機(jī)視覺系統(tǒng)的目標(biāo)是產(chǎn)生一個(gè)數(shù)字表示，其中包含表征視覺圖像所需的相關(guān)信息。換句話說，要把一個(gè)圖像變成一個(gè)向量，總結(jié)它的視覺信息內(nèi)容。這個(gè)過程有三個(gè)步驟：首先，系統(tǒng)在圖像中找到興趣點(diǎn)或視覺特征;也就是說，它決定了要查看的內(nèi)容。接下來，系統(tǒng)將每個(gè)特征編碼為向量描述符;也就是說，它以數(shù)字方式表征了特征。最后，系統(tǒng)將特征描述符組合在一起，以創(chuàng)建整個(gè)圖像的表示形式;也就是說，它決定了圖像的微觀結(jié)構(gòu)指紋。該過程在下圖中示意性地說明。

示意性結(jié)構(gòu)示意圖的 SIFT-VLAD 微觀結(jié)構(gòu)表示的構(gòu)造。

通常使用一種稱為混淆矩陣的度量來評估機(jī)器學(xué)習(xí)算法。通過在20張具有代表性的粉末床圖像上手動(dòng)標(biāo)記數(shù)十萬像素（帶有異常分類）來確定基本事實(shí)。培訓(xùn)過程中沒有包括任何具有代表性的粉末床圖像；這種單獨(dú)的數(shù)據(jù)集可以被視為類似于驗(yàn)證數(shù)據(jù)集。然后將每個(gè)像素處的這些地面真值標(biāo)簽與粉末床監(jiān)測算法提供的標(biāo)簽進(jìn)行比較。結(jié)果如圖5和圖6所示。隨著分析了更多具有獨(dú)特和異常豐富層的構(gòu)建，可以更新混淆矩陣。

圖5（左）：混淆矩陣，顯示正確猜測的每個(gè)地面真相異常的百分比；標(biāo)記為每種異常類型的像素的絕對數(shù)量顯示在縱軸上的括號中。

圖6（右）：一個(gè)混淆矩陣，顯示了算法做出的正確異常猜測的百分比。這可以被視為衡量算法避免誤報(bào)的程度。

4.2.Hamerschlag-Hall模型-分層和懸垂

在分析了每一層之后，每一層中每一異常分類的百分比可以顯示為構(gòu)建報(bào)告中構(gòu)建高度的函數(shù)。圖8顯示了兩個(gè)模型Hamerschlag Halls建筑的簡化全球建造報(bào)告（圖7）。異常檢測峰值在多個(gè)層面可見；其中760層和1960層分別如圖9和圖10所示。

圖7 CMU增材制造實(shí)驗(yàn)室所在地Hamerschlag Hall的CAD模型。其中的兩個(gè)小比例尺模型是用Ti-6Al–4V制成的，放在一塊模板上。

圖8 一份全局構(gòu)建報(bào)告，顯示了在構(gòu)建的每一層劃分為超高和零件故障異常的像素?cái)?shù)（基于CAD模型，以零件面積的百分比表示）。

圖9 760層（建造板上方22.80 mm）。綠色像素顯示該層零件的CAD輪廓。

圖10 1960層（建造板上方58.80 mm）。綠色像素顯示該層零件的CAD輪廓。

零件故障主要是在正確的Hamerschlag模型上檢測到的，這與最終零件的后分析一致。這種差異在圖11中特別明顯；請注意，右側(cè)型號的圓形大廳檢測到的部件故障百分比很高。檢測到大量零件故障的其他區(qū)域?qū)��?yīng)于這兩種車型的開放式門道，這些門道代表了明顯的突出部分，這些位置的最終零件質(zhì)量明顯較差。在圖12中，觀察到該構(gòu)造存在大量不完全擴(kuò)展異常。這是一個(gè)準(zhǔn)確的觀察結(jié)果，由于可用粉末不足，粉末劑量系數(shù)（從分配器（圖1）每層中取出的粉末量）在此構(gòu)建期間設(shè)置得很低。沒有任何不完整的擴(kuò)展異常延伸到包含Hamerschlag-Hall模型的構(gòu)造板塊區(qū)域。假設(shè)有足夠的粉末供應(yīng)，這種問題可以通過反饋控制系統(tǒng)進(jìn)行糾正，該系統(tǒng)將增加粉末劑量系數(shù)，理想情況下，在任何部件受到負(fù)面影響之前。

圖11熱圖顯示了在每個(gè)像素處檢測到部件故障的層（整個(gè)構(gòu)建高度）的百分比。構(gòu)建板上零件的位置顯示為白色輪廓。

圖12 熱圖顯示了在每個(gè)像素處檢測到不完全擴(kuò)散異常的層的百分比（整個(gè)構(gòu)建高度）。構(gòu)建板上零件的位置顯示為白色輪廓。

4.3.受拉鋼筋− 建造高縱橫比結(jié)構(gòu)

Bettis海軍核實(shí)驗(yàn)室用316L不銹鋼制成多個(gè)拉伸桿，具有不同的方向和不同的支撐方案。圖8顯示了一份全球構(gòu)建報(bào)告，其中包含關(guān)于整個(gè)粉末床的信息。在包含許多不同部分的構(gòu)建中，這變得很難解釋。圖13、圖16顯示了僅包括與特定抗拉鋼筋相關(guān)的異常檢測的本地構(gòu)建報(bào)告− 一個(gè)標(biāo)本水平建造，另一個(gè)標(biāo)本垂直建造。雖然圖14和圖17中的所有抗拉鋼筋（23）和圓柱形見證試件（2）均為綠色輪廓，但所討論的特定抗拉鋼筋以紅色框?yàn)榻纭?br />

圖13 水平定向拉伸鋼筋的局部構(gòu)建報(bào)告和垂直零件輪廓。

圖14 （左）：注意在紅色邊界框內(nèi)的第250層檢測到的部件故障（洋紅色）。綠色像素顯示該層零件的CAD輪廓。

水平定向拉伸桿在量規(guī)截面下方使用最小支撐結(jié)構(gòu)，以減少其對最終試樣性能的影響。從圖13可以明顯看出，一旦零件從支撐材料過渡到拉伸桿本身，就會(huì)檢測到重大零件故障（洋紅色，圖14）。這發(fā)生在構(gòu)建高度的5 mm處，即層250。圖13的下部子圖（綠色）顯示了位于拉伸桿本身頂部的紅色邊界框（圖14）內(nèi)的像素百分比，作為構(gòu)建高度的函數(shù)。換句話說，較低的子圖顯示了在該層融合的有界區(qū)域的百分比。認(rèn)識到這一百分比的增加代表懸挑區(qū)域，急劇增加意味著懸挑基本上沒有支撐。據(jù)推斷，支撐結(jié)構(gòu)不足以承受水平定向抗拉鋼筋所呈現(xiàn)的大量懸垂。因此，一旦重涂器葉片經(jīng)過粉末床的該區(qū)域，撞擊第一層拉伸桿（支架上方），就會(huì)發(fā)生零件故障。圖15顯示了竣工水平定向拉伸鋼筋。

圖15（右）竣工水平受拉鋼筋。

從圖16可以明顯看出，垂直方向的拉伸鋼筋在其大部分高度上都很好地構(gòu)建，但在3524層周圍突然檢測到零件故障（洋紅色）。這對應(yīng)于從量規(guī)部分過渡到上夾鉗部分的拉伸桿，在這段時(shí)間內(nèi)會(huì)產(chǎn)生微妙的懸垂。根據(jù)圖17、圖18、圖19，可以推測，未支撐的懸垂部分向上翹曲（由于殘余熱應(yīng)力），足以受到復(fù)水器葉片的沖擊。廣泛的重?cái)z器跳躍檢測（垂直藍(lán)綠色線）突出了這種影響。撞擊導(dǎo)致拉伸桿彎曲，然后“彈回來”，將粉末扔掉，并在拉伸桿右側(cè)留下粉末腔（白色碎片檢測突出顯示）。這個(gè)空洞阻礙了粉末在隨后的層中正確覆蓋該區(qū)域，使情況更加惡化。

圖16 垂直定向拉伸鋼筋的局部構(gòu)建報(bào)告和垂直零件輪廓。

圖17 （左）：注意在紅色邊界框內(nèi)的3524層檢測到的部件故障（洋紅色）。綠色像素顯示該層零件的CAD輪廓。

圖18（中間）：垂直拉伸鋼筋的3D渲染，零件故障以洋紅色突出顯示。

圖19 （右）：帶有可見缺陷的竣工垂直拉伸鋼筋，由一個(gè)紅色框包圍。

4.4.葉輪葉片− 建立相對于重涂器刀片的幾何方向

葉輪由316L不銹鋼制成，以證明EOS M290的能力，并作為CMU的NextManufacturing行業(yè)培訓(xùn)計(jì)劃的一部分。薄薄的葉輪葉片和20μm厚的層使該零件的成功制造成為一項(xiàng)挑戰(zhàn)。

圖20顯示了竣工葉輪葉片。請注意，零件的一半正確構(gòu)建，而另一半上的刀刃折疊。該算法用于確定部分構(gòu)建失敗的可能原因，并確定未來改進(jìn)構(gòu)建質(zhì)量的任何潛在策略。

圖20 用電火花線切割后的竣工葉輪，僅保留正確建造的一半。

雖然很明顯，薄葉輪葉片由于與重涂器葉片的反復(fù)碰撞而發(fā)生故障，但最初不清楚是什么原因?qū)е轮挥幸话氲娜~輪葉片發(fā)生故障。

圖21清楚地表明，葉輪的兩半都出現(xiàn)了超高− 這表明，重涂器葉片可能會(huì)影響大多數(shù)葉輪葉片，包括許多未發(fā)生故障的葉片。圖22突出顯示了在建造過程中倒塌的葉輪葉片，請注意，只有前緣指向遠(yuǎn)離進(jìn)入的二次沖洗器葉片方向的葉輪葉片（方向2）未能正確建造。

圖21熱圖顯示了在每個(gè)像素處檢測到超高的層（整個(gè)構(gòu)建高度）的百分比。白色盒子包圍了正確建造的葉輪的一半。構(gòu)建板上零件的位置顯示為白色輪廓。

圖22熱圖顯示了在每個(gè)像素處檢測到部件故障的層（整個(gè)構(gòu)建高度）的百分比。白色盒子包圍了正確建造的葉輪的一半。構(gòu)建板上零件的位置顯示為白色輪廓。

圖片（a）數(shù)據(jù)可視化顯示粉末顯微照片SIFT-VLAD表示的前兩個(gè)主要組成部分。（b）粉末顯微照片 SIFT-VLAD 表示的 t-SNE 可視化。

上圖a顯示了粉末圖像數(shù)據(jù)集的前兩個(gè)主成分的PCA圖;前兩個(gè)主成分約占高維 SIFT-VLAD 表示總方差的 42%。值得注意的是，第一個(gè)主成分有效地區(qū)分了用于EOS機(jī)器的粉末（在PCA地圖的左側(cè)）和用于ARCAM機(jī)器的粉末（在PCA地圖的右側(cè)）。Ti64-#3顯微照片在此數(shù)據(jù)集中具有最獨(dú)特的SIFT-VLAD表示，很可能是因?yàn)門i64-#3粉末是相對于其平均粒徑以最高放大倍率成像的。這可能會(huì)導(dǎo)致一組不同的圖像紋理特征主導(dǎo)這些顯微照片（更細(xì)粒度的表面細(xì)節(jié)或更少的更高級別粒子組）。

5.結(jié)論
開發(fā)了一種算法，能夠自動(dòng)檢測和分類與EOS LPBF機(jī)器中粉末撒布過程相關(guān)的后續(xù)異常。該算法是當(dāng)代機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)在增材制造中的新應(yīng)用。

在算法準(zhǔn)備部署到實(shí)時(shí)現(xiàn)場監(jiān)測環(huán)境之前，應(yīng)提高其分類精度。理想情況下，它檢測每個(gè)異常的能力應(yīng)該增加，而不增加錯(cuò)誤檢測的概率；運(yùn)營商可能不會(huì)使用在建議或應(yīng)用對策方面過于激進(jìn)的監(jiān)控軟件。更高分辨率的相機(jī)和額外的光源，相互垂直于當(dāng)前光源和相機(jī)軸，可能是有益的。鑒于數(shù)據(jù)壓縮算法的有效性，作者預(yù)計(jì)不會(huì)立即限制提高相機(jī)分辨率。作者強(qiáng)烈懷疑，通過實(shí)施深度學(xué)習(xí)來開發(fā)更有效的濾波器組，也可以提高精度（圖4a）。作者將在不久的將來將該算法部署為實(shí)時(shí)粉末床監(jiān)測工具。

來源：Anomaly detection and classification in a laser powder bed additive manufacturing process using a trained computer vision algorithm, Additive Manufacturing, doi.org/10.1016/j.addma.2017.11.009

參考文獻(xiàn)：Roadmap for additive manufacturing: identifying the future of freeform processing

Solid Freeform Fabrication Proceedings, Austin, TX (2009)

http://wohlersassociates.com/roadmap2009A.pdf (Accessed 23, May 2017)