MR在醫(yī)學(xué)影像中的應(yīng)用
隨著科技的發(fā)展，AR與VR已經(jīng)融入到大眾的生活當(dāng)中，從2009年高通、可口可樂等知名企業(yè)對AR(Augmented Reality，增強現(xiàn)實技術(shù))和VR(Virtual Reality，虛擬現(xiàn)實技術(shù))深入研究開始，新穎的表達方式以及身臨其境的體驗方式，使AR和VR吸引了一眾粉絲，而后興起的MR(Mixed Reality，混合現(xiàn)實技術(shù))等新型數(shù)字技術(shù)也展現(xiàn)出了極大的潛在價值。與AR和VR不同的是，MR是將虛擬世界與現(xiàn)實世界融合的同時進行實時交互和信息的及時獲取，增強了用戶體驗的真實感，具有真實性、實時互動性以及構(gòu)想性等特點?；旌犀F(xiàn)實不僅有潛力創(chuàng)造出新的市場，還將顛覆當(dāng)前的一些市場，醫(yī)療保健正是其中的一個領(lǐng)域。
借助微軟的HoloLens混合現(xiàn)實眼鏡，利用全息影像的方式解決了傳統(tǒng)醫(yī)療膠片平面化、不能共享的問題，也解決了產(chǎn)品耗費大量時間進行深度學(xué)習(xí)的問題。
混合現(xiàn)實醫(yī)學(xué)現(xiàn)狀
·混合現(xiàn)實醫(yī)學(xué)產(chǎn)品(第一階段)：智能處理醫(yī)學(xué)影像數(shù)據(jù)并通過混合現(xiàn)實技術(shù)全息呈現(xiàn)，可視化臨床、教學(xué)過程。
·MR數(shù)字醫(yī)學(xué)平臺(第二階段)：云端智能存儲、處理、分享全息數(shù)據(jù)，混合現(xiàn)實連接異地醫(yī)療場景。
·可視化智能醫(yī)學(xué)生態(tài)(第三階段)：高度可視智能化醫(yī)學(xué)數(shù)據(jù)分析與臨床手術(shù)操作過程，通過“人+機器”的智能賦能醫(yī)生。
現(xiàn)階段混合現(xiàn)實醫(yī)學(xué)產(chǎn)品和MR數(shù)字醫(yī)學(xué)平臺已經(jīng)實現(xiàn)，可視化智能醫(yī)學(xué)生態(tài)還處在研發(fā)階段，高度可視化的醫(yī)學(xué)數(shù)據(jù)分析需要大量的醫(yī)學(xué)影像學(xué)數(shù)據(jù)，但是鑒于醫(yī)院的影像數(shù)據(jù)屬于非公開資源，所以目前還沒有更好辦法實現(xiàn)補償算法的訓(xùn)練。
混合數(shù)字醫(yī)學(xué)平臺的應(yīng)用
1.星影混合現(xiàn)實顯示系統(tǒng)
星影混合現(xiàn)實顯示系統(tǒng)是一款基于混合現(xiàn)實技術(shù)的影像數(shù)據(jù)全息體素渲染閱片工具，在醫(yī)生需要快速識別影像做診斷的時候，應(yīng)用星影進行輔助。星影不需要人工操作和學(xué)習(xí)，醫(yī)生只需要把CT、核磁影像數(shù)據(jù)導(dǎo)入影像數(shù)據(jù)，通過系統(tǒng)智能分析并體繪制渲染至混合現(xiàn)實眼鏡，無需人工重建3D模型，就可以在眼鏡里出現(xiàn)實時的全息模型，包括模型重建也可以在系統(tǒng)里面完成。醫(yī)生需要搭配混合現(xiàn)實眼鏡，通過二維結(jié)合三維的體素渲染方式來觀看影像數(shù)據(jù)，或者可以體驗在立體影像數(shù)據(jù)上模擬手術(shù)路徑、置入植入體等臨床環(huán)節(jié)，有利于手術(shù)方案策劃與制定，以便于做出更科學(xué)更高效的診斷。
2.星圖混合現(xiàn)實顯示系統(tǒng)
星圖混合現(xiàn)實顯示系統(tǒng)是一款混合現(xiàn)實醫(yī)學(xué)影像閱片工具，在導(dǎo)入醫(yī)學(xué)影像數(shù)據(jù)后，經(jīng)系統(tǒng)智能處理，醫(yī)生可以通過混合現(xiàn)實眼鏡從任意角度全息瀏覽病例立體模型，提高醫(yī)生對病灶中各組織空間位置關(guān)系的認知能力。星圖的特點是支持多人觀看，目前最多支持七臺眼鏡同時觀看。但它不同于星影的平面繪制，在星圖中，病例的各個單獨模型都能獨立拆分，換成任意想要的顏色，每個單獨的模型都能進行顯示隱藏的操作或是調(diào)節(jié)透明度。比如隱藏掉皮膚，只看血管和腫瘤的位置關(guān)系，也可以做一些標注，支持從任何角度去觀看模型，適合深度的觀察和討論病例。星圖為醫(yī)生提供了更具參考價值的影像信息，把手術(shù)部位立體模型置于手術(shù)視野中，通過調(diào)整位置、透明度、大小等參數(shù)，獲取更多與病灶相關(guān)的信息。
3.星航混合現(xiàn)實導(dǎo)航系統(tǒng)
星航是一款用于術(shù)中實時導(dǎo)航和教學(xué)培訓(xùn)方面的系統(tǒng)，可以跟蹤手術(shù)器械的實時位置信息，比如探針的深度和角度的位置信息，將空間信息在混合現(xiàn)實中進行呈現(xiàn)。是一套非常精準的導(dǎo)航工具，能夠幫助醫(yī)生高效精準的完成手術(shù)。它用在醫(yī)學(xué)教學(xué)上，可以幫助學(xué)生做臨床醫(yī)學(xué)操作上的培訓(xùn)。
4.星云混合現(xiàn)實數(shù)字醫(yī)學(xué)平臺
星云是一套在線混合現(xiàn)實協(xié)同系統(tǒng)，在線注冊賬號并在HoloLens和網(wǎng)頁上登陸后，可以上傳立體模型，并且還可以對立體模型進行編輯、處理、存儲、分享，在戴上HoloLens之后,也可以瀏覽自己的或者被分享的立體病例，同時也可用于遠程醫(yī)療。
?