應用方向：

本文將顯微高光譜成像技術應用于白細胞的快速檢測與分類識別，充分發揮了高光譜圖像在獲取細胞空間結構與光譜特征信息上的雙重優勢。通過高分辨率的顯微成像，系統可在納米級尺度下對血液涂片中的白細胞進行成像，實現對細胞中蛋白質、酶類等成分差異的敏感響應。與傳統基于RGB圖像的檢測方法相比，顯微高光譜技術能更準確地區分形態相近、色澤相似的細胞類型。此外，研究還表明，該技術在結合深度學習模型后，可實現自動化、精準化、可解釋的細胞識別，為血液學領域的智能輔助診斷提供了新路徑，也展示了顯微高光譜在臨床檢驗、細胞分類、疾病篩查等場景中的應用潛力。

導讀

背景：白細胞（WBCs）作為血液中的重要組成部分，在機體免疫防御中發揮著核心作用，其數量和形態特征常用于疾病診斷與健康評估。然而，傳統的白細胞檢測方法多依賴人工顯微鏡觀察，如直接血細胞計數和分類計數等，這不僅操作復雜、效率低下，而且極易受到操作者主觀判斷影響，尤其在面對大量樣本時容易出錯。盡管近年來圖像識別與計算機視覺技術已被廣泛應用于血細胞自動檢測，如基于支持向量機（SVM）或深度學習的圖像分割與識別方法，但這類方法通常僅依賴細胞圖像的空間特征，難以從根本上解決小樣本和類別間差異不明顯所導致的泛化能力不足的問題。此外，圖像采集過程中如顯微鏡光照條件、載玻片厚度等環境因素也容易干擾檢測結果。

高光譜成像（HSI）技術的興起為解決上述問題提供了新思路。該技術融合了圖像與光譜信息，能獲取目標在空間和光譜維度的豐富特征，在醫學圖像分析中表現出顯著優勢。然而，傳統HSI處理流程中往往需要人工劃定感興趣區域（ROI），限制了其在快速檢測場景下的應用。因此，本文提出結合高光譜顯微成像系統（HMI）與多數據融合的Faster RCNN模型，實現對白細胞的快速、自動化識別，通過融合光譜和圖像信息，提升模型的識別精度與魯棒性。這一研究不僅有助于提高白細胞檢測的效率和準確性，也為其他類型的生物醫學影像分析提供了參考路徑。

作者信息：王慧慧，大連工業大學，博士生導師

期刊來源：Sensors and Actuators: B. Chemical

研究內容

本研究旨在提升白細胞檢測的自動化水平和識別準確性，提出了一種結合高光譜顯微成像系統（HMI）與多數據融合的Faster RCNN深度學習模型。本文充分利用高光譜成像可同時獲取圖像與光譜信息的優勢，構建了一個聯合分析模型。作者分別設計了基于光譜數據的一維卷積神經網絡（1-D CNN）與基于偽彩色圖像的Faster RCNN模型，用于單一模態下的分類性能分析。進一步地，提出融合兩種模態的Multi-data Faster RCNN模型，在Faster RCNN中引入1-D CNN光譜特征提取模塊，并通過特征拼接實現圖像與光譜信息的聯合識別。

實驗設計

本研究使用的血涂片樣本由大連市第二醫院血液科提供，樣本在送檢前已完成染色處理（圖1（a））。高光譜數據采集采用圖1（b）所示系統完成，構建包含五類白細胞的標注數據集，所有圖像數據均由專業醫務人員進行標注。

本研究采用的高光譜顯微成像（HMI）系統如圖1(b)所示，該系統主要由以下組件構成：1）Image-λ-N17E近紅外高光譜成像系統（江蘇雙利合譜科技有限公司）；2）配備金屬鹵素光源的三目生物顯微鏡。實驗采用暗場成像模式，曝光時間設置為10 ms。如圖1(c)所示，所獲取的高光譜數據立方體包含360個單波段圖像（波長范圍382.3-1020.2 nm，光譜分辨率1.8 nm），每個單波段圖像的尺寸為960（寬）×1101（高）像素。

由于高光譜圖像數據占用內存較大，而顯微鏡獲取的每張原始圖像的邊緣區域都是純黑的無用區域，因此從每張圖像的中心切割出一個600 × 600 像素的區域來制作數據集，以保證盡可能多的血細胞被保存在該區域內。

圖1. 主要研究流程圖：(a) 血涂片；(b) 高光譜成像系統（HMI）；(c) 高光譜圖像；(d) 分類標簽；(e) 模型與結果。

研究方法

本研究的預測集白細胞數量為90個，校正集與預測集的比例控制在約3:1。此外，在每個訓練周期中，模型會以0.1的比例從校正集隨機劃分驗證集，以提升模型的泛化能力。

針對白細胞高光譜圖像的光譜數據，本研究參考VGG16模型構建了一維CNN網絡結構。該架構不僅能有效提取白細胞光譜數據中的深層特征信息，同時最大限度降低了模型復雜度。如圖2所示，網絡具體結構包含13個采用ReLU激活函數的一維卷積層（1-D Conv）、5個最大池化層以及2個全連接層（Dense）。圖中各層頂部數值表示特征圖數量，底部數值則對應卷積層編號及該層卷積核數量。網絡輸入數據為通過分析軟件從高光譜圖像中提取的、包含360個波段的平均光譜反射率數據。

圖2. 基于光譜數據的一維卷積神經網絡（1-D CNN）結構。

針對白細胞高光譜圖像的特征檢測，本研究構建了基于Faster RCNN的檢測框架。作為Fast RCNN的改進版本，該框架結構如圖3所示，通過二維卷積層（2D-Conv）、最大池化層（Max Pooling）和全連接層（Dense）實現白細胞的特征提取、定位與分類。其中，特征提取網絡采用Resnet18架構，該網絡能實現更深層次的特征提取，顯著提升白細胞類別間差異不明顯數據的識別精度。Faster RCNN的核心優勢在于其區域提議網絡（RPN），該網絡能大幅提升白細胞等微小目標的檢測能力。

圖3. Faster R-CNN的結構。

基于多源數據融合的聯合檢測方法能夠降低模型對單一數據類型的依賴性，顯著提升識別精度和模型穩定性。為此，本研究對原Faster RCNN網絡進行改進：通過在網絡結構中新增光譜數據提取模塊、一維CNN光譜特征提取網絡以及特征融合層（Concatenate），構建了多數據融合的Faster RCNN檢測模型（如圖4所示）。主要改進包括：在ROI池化層后接入光譜特征提取模塊，以建議框坐標作為輸入截取白細胞高光譜圖像對應區域，計算該區域的平均光譜反射率作為一維CNN網絡的輸入數據。經一維CNN提取的光譜特征通過Concatenate層與圖像空間特征進行融合，最終基于融合特征完成白細胞分類。

圖4. 多數據Faster R-CNN的流程。

之后采用Grad-CAM算法對解釋CNN對WBC特征的學習結果，并驗證其對WBC分類結果的準確性。采用Precision、Recall、F1 score、AP和mAP作為WBC檢測的評價指標。

結果

針對一維光譜數據，本研究構建了1-D CNN白細胞檢測模型。模型在第20個周期左右基本收斂，校準集和驗證集的最終損失值分別穩定在0.19和0.26，表明1-D CNN對白細胞光譜數據具有優異的適應性和分類能力。各類別的識別準確率均達到90%以上，且未出現過擬合現象，證實了模型良好的泛化能力。所有分類類別的F1分數均超過0.9，AP值也均保持在0.9以上。這些結果充分證明，基于光譜反射數據構建的1-D CNN模型在白細胞分類任務中表現出卓*的穩定性和分類性能。

在本研究中，二維偽彩色圖像被應用于Faster R-CNN白細胞檢測建模。模型主要關注400–570納米和640–700納米這兩個波段范圍。這兩個范圍內的波段被模型賦予了更高的權重，因為它們包含了更多用于白細胞識別的特征信息。作為一種目標檢測網絡模型，Faster R-CNN能夠有效識別微小尺寸目標，特別適用于顯微檢測場景。圖5展示了基于Faster R-CNN模型對兩幅不同圖像中五類白細胞的檢測結果。圖中采用不同顏色的檢測框標注各類白細胞，并在檢測框上方顯示對應的預測類別及置信度評分。實驗結果表明，該模型能準確區分不同類別的白細胞，并保持較高的檢測精度。

圖5. 基于偽彩色圖像的Faster R-CNN檢測白細胞的結果。

從模型訓練的角度來看，總損失值在前20個訓練周期內迅速下降，隨后趨于平穩，并在大約80個訓練周期后基本收斂，這證明了Faster R-CNN在這種白細胞圖像數據集中的可行性。與1-D CNN相比，Faster R-CNN不僅在訓練過程中收斂速度更慢，而且在Neu和Eos的分類準確率上也明顯較低。所有白細胞分類的F1分數和AP均高于0.85，其中Bas的F1分數和AP分別達到了0.957和0.999，這證明了Faster R-CNN在預測白細胞方面的整體性能良好。

圖6詳細展示了多數據Faster R-CNN的性能。圖6(a)展示了訓練過程中總損失值的變化。當訓練周期達到40時，校準集和驗證集的總損失值分別下降了0.008和0.03，并隨后趨于穩定，這表明模型的訓練效果良好。圖6(b)詳細展示了白細胞的分類結果。與前兩種模型相比，可以看Lym或Mon的分類準確率有所提高。此外，各分類之間的混淆也減少了，這表明該模型的預測能力得到了提升。

圖6. 多數據Faster R-CNN的結果：(a) 訓練過程中的總損失曲線；(b) 分類結果的混淆矩陣；(c) 每個分類的精確率-召回率（PR）曲線。

對多數據Faster R-CNN的分類性能進行綜合分析。*顯著的改進是Lym和Mon的AP值大幅提升，分別達到了0.917和0.911。融合特征的分類不僅減少了白細胞之間的誤判，還有效減少了背景與白細胞目標之間的誤判。這證明了多數據聯合檢測相較于單一數據檢測的可行性和優勢。

圖7展示了多數據Faster R-CNN在預測集中獲得的類別激活映射（CAM）熱力圖，這是聯合檢測模型對白細胞光譜反射率（圖7(a)）和圖像特征（圖7(b)）的權重可視化。與單一數據1-D CNN關注的400–570納米和640–700納米波段范圍相比，多數據Faster R-CNN模型在融合特征的引導下，關注了更廣泛的380–570納米和640–950納米波段范圍。

圖7. 多數據Faster R-CNN在預測集中生成的Grad-CAM：(a) 基于光譜波長；(b) 白細胞的圖像。

結論

在本研究中，基于深度學習框架，提出了單數據檢測模型（1-D CNN和Faster R-CNN）以及多數據聯合檢測模型（多數據Faster R-CNN），以協助HMI進行白細胞檢測。對于基于光譜反射率數據的1-D CNN，每個分類的F1分數和AP均超過0.9，mAP達到了0.956，這證明了光譜數據在白細胞分類中的可行性。隨后，利用Faster R-CNN基于圖像特征對白細胞進行定位和分類，該模型在細胞定位方面表現出色，但其對Lym和Mon的F1分數和AP甚至未能超過0.9。相比之下，多數據Faster R-CNN模型的每個F1分數和AP均超過0.9，mAP甚至達到了0.962。這一顯著性能主要歸功于兩種數據類型的互補性，使得模型能夠產生比單一數據源更準確、更完整且更可靠的估計和區分。與現有的白細胞檢測方法相比，多數據Faster R-CNN能夠實現大量白細胞樣本的自動且快速檢測。此外，引入HMI可獲取高質量的細胞高光譜圖像，從而顯著提高了檢測的準確性。最重要的是，其可行性和優勢已得到驗證，這可能為其他生物檢測提供寶貴的參考。