構建企業 AI 的信任與信心基石

雖然推理成本和性能是企業 AI 的關鍵因素，但它們并非唯一考量因素。企業還必須確保其 AI 模型能夠滿足嚴格的安全、隱私和監管合規要求。穩健 AI 戰略的核心在于開發和維護對所部署 AI 系統的信任和信心的能力。這意味著除了優化成本和性能外，企業需要優先考慮模型的完整性和安全性。確保 AI 系統具備充分的防護措施，符合數據保護法規并能保護敏感信息至關重要。

當企業評估哪些基礎模型應作為其 AI 實施的一部分時，應采用這種整體方法。例如，考慮最近發布的具有最新思維鏈推理能力的一些模型。一方面是 Qwen 2.5 7B 和 Llama 3.1 8B，這兩個模型由 DeepSeek 使用 DeepSeek R1 進行蒸餾；另一方面是 IBM Granite 3.2。由于前兩個模型是由 DeepSeek 從其 R1 模型蒸餾而來，因此對這些模型在安全性方面的任何分析，都必須先從對 DeepSeek R1 的評估開始。

DeepSeek 在發布其最新模型 DeepSeek R1 時震驚了世界，它證明了以傳統上與此類努力相關的成本的一小部分來訓練高性能模型是可能的。這種成本效益延伸到其推理使用，使其成為希望利用 AI 的企業的經濟吸引選擇。

然而，盡管在性能和成本效益方面取得了顯著進步，DeepSeek R1 卻被發現存在關鍵漏洞。在思科進行的一項研究中，DeepSeek R1 在研究期間 100% 的越獄攻擊嘗試中都表現出易受攻擊的特性。它在某些話題上也表現出強烈的中國偏見，比如對以往政治起義的內容進行壓制。

Granite 3.2 是由 IBM 開發的一系列模型，包括語言模型、時間序列模型、地理空間模型、嵌入模型、推測性解碼模型、守護模型，以及在這次 3.2 版本中新增的視覺模型。

與 DeepSeek R1 蒸餾的 Qwen 2.5 7B 和 Llama 3.1 8B 類似，Granite 3.2 也將推理能力納入其語言模型中。然而，與基于 DeepSeek 的模型不同，IBM 聲稱他們開發 Granite 3.2 的方法在提供推理性能的同時保持了安全性和穩健性。

上圖顯示了 IBM 使用 AttaQ 基準測試的結果。該基準測試利用大約 1,400 個問題，涵蓋欺騙、歧視、有害信息、藥物濫用或性內容等類別，來測試目標模型并評估其生成有害、不準確或不良響應的傾向。上述數據顯示，當利用 DeepSeek R1 將推理能力賦予 Qwen 2.5 7B 和 Llama 3.1 8B 等較小模型時，安全性和穩健性受到負面影響，而 IBM 實施的思維鏈推理方法則保持了結果的完整性。

除了實施推理時這種內在的安全維護方法外，作為 Granite 系列模型的一部分，IBM 還提供了名為 Granite Guardian 的配套防護模型，以進一步改進內置性能，并幫助企業在任何選擇的模型（不僅僅是 Granite 模型）旁實施防護措施。Granite Guardian 首次在去年作為 IBM 初始 Granite 3.0 發布的一部分引入，用于評估輸入提示和輸出響應中的偏見、安全性和幻覺。更具體地說，這些模型被訓練用于檢測越獄、偏見、暴力、褻瀆、性內容、不道德行為以及 RAG 和函數調用幻覺。雖然這些功能在之前的版本中也可用，但根據 IBM 的說法，最新的 3.2 版本保持了相同的性能，但使用的活躍參數減少了 40%。這種參數減少顯著改善了成本和延遲。

關于成本，DeepSeek R1 通過其 API 每百萬輸出 token 約為 2.19 美元，而在 watsonx.ai 上運行的 Granite 模型每百萬輸出 token 的成本在 0.10 至 0.20 美元之間，同時仍然保持了 IBM 模型的可信特性，成本降低了一個數量級。這些成本適用于通過云提供商部署的模型。當本地部署時，成本將根據本地設置而有所不同。然而，云提供商部署成本可以作為一個良好的參考，表明擴展本地實施所需的相對投資量。

這些因素并不一定意味著如果 DeepSeek 是適合工作的工具，你就不能或不應該使用它。然而，它們確實強調了在選擇作為企業 AI 系統基礎的模型時，需要一個全面的風險評估和管理框架，該框架考慮成本、性能、安全性、安全性以及數據和訓練合規性。在大多數應用中，企業必須優先考慮強大的安全措施、定期合規評估和持續監控，以減輕與實施此類系統相關的固有風險。評估確保運營完整性的總成本應該是決定因素，而不僅僅是每個 token 的成本。