紅點創投的投資人TOMASZ TUNGUZ日前撰文，討論了概率論與機器學習的關系，提出了管理用戶信任的建議。他認為，設置合適的用戶對系統容量的期望至關重要，要判斷那種統計錯誤類型（這里的“錯誤類型”是統計術語，包括一類錯誤和二類錯誤）。

失去信任要比失去軟件的用戶或買家來得更快，比如這個軟件沒有保存我的數據、數據庫損壞、網站安全系數頻繁下降。數據完整性是每個公司存儲數據所面臨的挑戰。機器學習SaaS初創企業面臨著另一種信任風險——一種以概率引入的風險。

當年，內森預測2008年巴拉克·奧巴馬（Barack Obama）的成功選舉，每個地區的準確率幾乎達到100％時，概率論可謂是大放異彩。真實世界與可能的預測一致。然而八年后的這次選舉，概率沒能預測對新總統的人選。

在2008年和2016年的分析中，預測可能是正確的。2008年的成功預測使人們對數據更加信任，然而在2016年，結果卻發生了變化，預測反倒不準了。這種現象很自然。

置信系數和2類錯誤

許多機器學習系統也依賴概率。程序員將閾值編碼到機器學習模型中，系統使用該閾值來決定概率是否可以得出結論，有時這被稱置信系數。例如，該圖像包含貓的最小概率、sacre blue 被翻譯為“哦，我的天哪！”而不是sacre blue的概率 、高峰時間的范懷克的速度比從新澤西州到曼哈頓的帶百匯要快的概率。

在計算機系統推薦之前，這些最小概率應該是多少？ 80％？ 90％？ 95％？ 增加概率和減少誤報數量或類型1錯誤。這樣您在搜索貓時，結果中出現貓鼬的數量就會更少。

但是，過多的增加信任閾值會引起類型2錯誤。有可能系統斷言圖像不包含貓，但經過進一步的檢查，你可以看到有一個有貓的圖片。

如何管理這種風險

機器學習SaaS公司必須找到平衡。讓機器學習系統可以合理的寬松、適當的嚴格。如果產品掉到一個極端，產品可能會失去用戶的信任，最終失去業務。

如何最好地管理這種風險？聊天機器人surge告訴我“人/機器人”交互的一個原則。設置合適的用戶對系統容量的期望至關重要。低估和超額投放都會導致不信任。

第二種方法是確定哪種類型的錯誤對用戶更為有利。在電子郵件垃圾郵件檢測中，就需要更好地從郵件中分離出沒用的垃圾郵件。

這些下一代機器學習產品都將依賴于用戶信任的建立。在某些時候，這些產品必須明確什么時候的概率足夠好，才能將營銷預算轉移到新的廣告系列，分類圖片，翻譯，分類垃圾郵件或升級錯誤。

這類產品決定選擇一定要謹慎。ML系統的信心得分直接關系到用戶對產品的信任程度。