• <menuitem id="dbulf"></menuitem>
    <bdo id="dbulf"></bdo>

        <nobr id="dbulf"><ruby id="dbulf"></ruby></nobr>

      1. <bdo id="dbulf"></bdo>

              【自有技術大講堂】數據驅動的AI(系列5):AI的模型監控

              網站首頁    行業信息    【自有技術大講堂】數據驅動的AI(系列5):AI的模型監控

              一旦在生產環境中部署了機器學習模型,就需要確保它的性能穩定性。在本文中,我們總結了監視生產環境下的模型的6點注意事項。

               

              構建機器學習模型并不容易,在生產環境中部署服務更加困難。即使我們設法將所有管道連在一起,事情也不會就此結束。一旦模型投入使用,如何順利平穩的運行整個系統是我們需要考慮的事情。畢竟,它現在正在產生業務價值,對模型性能的任何破壞都會直接轉化為實際的業務損失。

               

              我們需要確保所交付的模型不僅僅是作為一個返回API響應的軟件,而是作為一個我們可以信任的機器學習系統來幫助企業做出決策。這意味著我們需要監控我們的模型。為了防止生產系統中的機器學習模型出現意想不到的問題,本文中列舉了6項需要注意的事情。

               

              圖表 1 服務健康

               

              1、服務健康

               

              機器學習的服務仍然是一種服務。如果模型實時運行,它需要適當的警報和負責人的及時響應。為了確保服務正常運行,我們需要跟蹤標準的健康指標,如內存利用率、CPU負載等,并遵守必要的約束條件,例如響應速度。

               

              2、數據質量和完整性

               

              機器學習模型會出現問題嗎?在絕大多數情況下,數據是罪魁禍首。例如,上游管道和模型連接斷裂;用戶進行了未聲明的架構更改;數據可能因為物理傳感器的失效而在源頭消失,等等。

               

              因此,驗證輸入數據是否符合我們的期望是至關重要的。我們應該檢查包括數據合規性、數據分布、特征統計信息在內的或其他與數據集正常相關的參數。在模型返回不可靠的響應之前,我們應確認是否正在提供模型可以處理的數據。

               

              3、數據和目標漂移

               

              現實生活中的事物是一直在發展和變動的,即便我們面對的是一個非常穩定的程序。幾乎每一個機器學習模型都有一個令人不快的特性:它會隨著時間的推移而逐漸退化。

               

              當模型接收到它在訓練中沒有看到的數據時,我們可能會經歷數據漂移,比如當數據來自不同的產品批次、型號或者不同的拍攝質量和角度等。如果現實世界的模式發生變化,概念也會發生漂移。對于不同的應用場景,模型的優化目標也會有所偏差。數據和目標這兩種漂移的最終結果都會導致模型質量的下降。但有時,真實偏差還無法量化,我們無法直接計算模型的質量損失情況。在這種情況下,跟蹤先驗指標是非常必要的。通過監視輸入數據或目標函數的屬性是否發生了變化,我們可以實時判斷漂移是否正在發生。

               

              圖表 2 數據漂移示例

               

              比如,我們可以跟蹤關鍵模型特性和模型預測的分布,如果它們與過去的時間框架明顯不同,則觸發警報。通過獲得現實世界或數據已經改變的早期信號,可以幫助我們及時規劃并更新我們的模型。

               

              4、性能度量

               

              要向知道模型是否有效可靠,最直接的方法是將預測值與實際值進行對比。我們可以從模型訓練階段使用相同的度量標準,無論是用于分類的精度/查全率,還是用于目標檢測的map等等。如果數據質量或真實世界的模式發生了改變,我們將看到度量值的改變。而在選擇度量標準時,注意以下事項可以幫助我們更明智的進行選擇。

               

              首先,真實值或標簽往往伴隨著延遲。比如在對較長的產品周期進行預測,或者數據交付存在滯后的時候,真實數據的獲取往往會延后。并且在大部分情況下需要額外的人工和時間來標記新的數據,以便檢查模型的預測是否正確。在這種情況下,首先跟蹤數據和目標漂移作為預警是非常有意義的。其次,我們不僅需要跟蹤模型質量,還需要跟蹤相關的業務KPI。將模型質量與業務度量聯系起來或找到一些可解釋的代理是至關重要的。最后,制訂的質量指標應該適合使用場景。假如數據的類別不夠平衡,那么準確度度量就遠達不到理想值。對于缺陷檢測問題,罕見缺陷也許是至關重要的。因此,不僅要跟蹤度量的絕對值,還要跟蹤度量分布。區分偶爾的異常值和真正的衰變也是至關重要的。

               

              圖表 3 度量標準的選擇

               

              5、分區性能監測

               

              對于許多模型,上述的監視設置就足夠了。但是如果處理更關鍵的業務,則有更多的事項需要檢查。例如,檢查模型在哪些檢測用例上出錯較多,而在哪些用例上效果最好。在很多情況下,主動搜索低性能的區域是有意義的。根據實際情況的不同,我們可以通過在模型輸出上添加后處理或業務邏輯來解決不同問題,或者通過重新構建模型來改善性能較差部分的模型質量。在充分理解模型的集成性能之上,理解特定數據切片上的模型質量也是十分重要的。

               

              圖表 4 模型分區性能監測

               

              6、離群值

               

              我們知道現實世界的數據是不完美的,異常值和離群值的出現是非常普遍的。在某些場景下,我們可能并不關心單個輸入是奇怪的還是普遍的,只要它們不足威脅模型的正常運作。但在一些其他場景中,我們可能希望追溯每個這樣的異常情況。為了最小化誤差,我們可以設計一組規則來處理離群值。比如將它們發送給人工審查,而不是自動做出決定。在這種情況下,我們需要設計業務邏輯來檢測并相應地標記它們。

               

              圖表 5 模型健康循環流程

               

              模型監控聽起來可能不如部署一個高性能的模型吸引人。但是對于讓機器學習在現實世界中發揮作用是至關重要的。請不要等到模型失效才區建立模型監測計劃。

               

              2022年9月6日 10:27
              国产成人精品亚洲日本在线观看| 色久综合网精品一区二区| 人人爽人人爽人人片A∨不卡| 亚洲AV无码一区二区三区观看| 啊轻点灬大JI巴太粗太长了| 国产无遮挡又黄又爽又色| 成人免费无码大片A毛片软件| 男人边吃奶边挵进去呻吟| 呦交小U女国产精品视频| 别揉我奶头~嗯~啊~漫画网站| 欧美性大战XXXXX久久久| 18禁丝袜老师色诱啪啪网站剧情|