AWS正在通過Amazon Bedrock服務向AI應用開發人員提供更多的大型語言模型，同時增強該平臺的優化推理工作負載和為他們提供所需數據的能力。
AWS在年度盛會AWS re:Invent上發布的最新公告中包括了推出新的Amazon Bedrock Marketplace，這個主要門戶將讓開發人員可以訪問100多個最強大的大型語言模型，其中包括一些只能在那里找到的大型語言模型。
Amazon Bedrock是一項用于構建和擴展生成式AI應用的全托管服務，目前已經提供了一些最知名的大型語言模型訪問權限，這些模型的提供商包括AI21 Labs、Anthropic PBC、Meta Platforms、Cohere、Stability AI和Mistral AI。
隨著新應用市場的推出，客戶將能夠在這里找到新發布的Amazon Nova模型，這是AWS昨天宣布的新一代基礎模型。據AWS稱，Nova模型旨在支持廣泛的AI應用，具有行業領先的性價比。
不過，這些并不是唯一的獨家產品，因為Amazon Bedrock用戶還可以優先獲得Luma AI、Poolside和Stability AI的新模型。
更具體地說用戶將可以訪問Luma AI的Ray 2，一種用于生成式AI視頻創作的多模式AI模型，能夠創建一些有史以來最逼真的AI視頻。至于Poolside的新Malibu和Point模型，都是關于代碼生成的，類似于GitHub的Copilot。Stability AI的Stable Diffusion 3.5 Large是迄今為止業內推出的一流圖像生成模型之一。
總而言之，客戶將能夠通過Amazon Bedrock Marketplace訪問100多個主流的、新興的和專業的模型。一旦用戶選擇了他們想要的模型，Amazon Bedrock還將為客戶建議最合適的基礎設施設置來訓練這些模型并運行推理，同時提供他們可以遵循的簡單步驟來啟動和運行這些模型。
增強的提示工程
除了比以往更多的模型之外，Amazon Bedrock用戶還可以使用緩存提示和智能提示路由等新技術，讓開發人員更輕松地在準確性、成本和延遲之間取得適當的平衡。
新的“緩存提示”功能使客戶能夠通過減少重復處理來減少響應延遲和基礎設施成本。據該AWS稱，Bedrock可以安全地緩存用戶輸入的最常見提示來實現這一點，從而將成本降低高達90%，延遲降低85%。
例如，一個用于回答法律問題的生成式AI聊天應用，可以更快地響應它從用戶那里收到的最常見提示。它會把響應這些請求而引用的數據緩存在內存中，因此它只處理一次，接下來每次收到類似提示時都會重復使用。AWS表示，這可以顯著降低處理成本。
同時，新的“智能提示路由”功能旨在優化應用的成本和響應質量。開發人員可以配置Amazon Bedrock以自動把提示路由到預定選擇范圍內的不同基礎模型，為每個請求或問題選擇最合適的模型。AWS解釋說，它會選擇能夠以最準確和最低成本提供所需響應的模型，從而把總體成本降低高達30%，但不會犧牲準確性。
擴展數據訪問
此外，AWS正在擴展Amazon Bedrock Knowledge Bases的功能，為客戶提供了一種將其模型連接到專有數據庫的方法，以便使用檢索增強生成(RAG)提高其準確性。
AWS表示，Amazon Bedrock Knowledge Bases將增加對結構化數據檢索的支持，使AI模型能夠查詢存儲在傳統結構化查詢語言數據庫中的數據，這會大大擴展模型的知識，因為大多數生成式AI應用通常只使用非結構化數據，例如文本、圖像、音頻、視頻等。
這還可以利用存儲在多個數據存儲中的結構化數據，包括新發布的SageMaker Lakehouse、Amazon S3數據湖、Amazon Redshift等，其工作原理就是把用戶提示轉換為SQL查詢以檢索必要的數據。
Amazon Bedrock Knowledge Bases的另一項新功能是支持GraphRAG ，這樣就可以創建類似于“知識圖譜”的東西，可以映射存儲在不同位置的不同數據之間的關系，使這些數據更易于檢索。
AWS表示，GraphRAG可以使用Amazon Neptune自動生成這些圖表，Amazon Neptune是一個專門的、完全托管的圖形數據庫，無需任何專業知識。
目前寶馬集團(BMW Group)已經這樣做了，正在使用GraphRAG為其My AI Assistant應用提供支持，幫助員工和客戶在龐大的、涵蓋了數百個數據存儲的內部數據資產中搜索問題答案。
更輕松的數據轉換
最后，Bedrock將獲得新的“數據自動化”功能，使非結構化多模式信息可以輕松地轉換為結構化數據，從而可以更輕松地對其進行分析。
正如AWS所解釋的那樣，絕大多數企業數據都是非結構化的，包含在文檔、視頻和圖像文件等內容中，分析這些信息并不容易，因為大多數分析工具只適用于結構化數據格式。
Amazon Bedrock Data Automation是一項新的功能，允許Bedrock從PDF文件等文檔中快速提取非結構化信息，并將其轉換為這些分析工具可以理解的格式。
這項功能應該非常有用。例如，大多數銀行會把客戶貸款的詳細信息存儲在PDF文件中，而這些文件很難通過分析獲得洞察。傳統上，轉換這些文件一直是個艱苦的過程，需要手動規范客戶姓名和出生日期等詳細信息以確保一致性。
AWS表示，現在可以更快速、更有效地完成這項工作。客戶只需設置預定義的默認值，例如基于數據模式的輸出或視頻劇照的逐個場景描述，然后將非結構化文件加載到現有的基于SQL的數據庫或數據倉庫中，之后就可以輕松分析這些文件了。
此外，得益于與改進后的知識庫集成，Amazon Bedrock數據自動化還可用于解析RAG應用的內容，從而提高準確性和相關性，每個響應都會給出一個置信度分數，有助于降低AI幻覺的風險。
AWS人工智能和數據副總裁Swami Sivasubramanian表示，得益于廣泛的模型和功能選擇，Amazon Bedrock正在快速增長。“它正在幫助開發人員解決當前面臨的最大障礙，這樣客戶就可以充分發揮生成式AI的潛力，”他說。