AWS正在通過Amazon Bedrock服務向AI應用開發(fā)人員提供更多的大型語言模型，同時增強該平臺的優(yōu)化推理工作負載和為他們提供所需數(shù)據(jù)的能力。

AWS在年度盛會AWS re:Invent上發(fā)布的最新公告中包括了推出新的Amazon Bedrock Marketplace，這個主要門戶將讓開發(fā)人員可以訪問100多個最強大的大型語言模型，其中包括一些只能在那里找到的大型語言模型。

Amazon Bedrock是一項用于構建和擴展生成式AI應用的全托管服務，目前已經(jīng)提供了一些最知名的大型語言模型訪問權限，這些模型的提供商包括AI21 Labs、Anthropic PBC、Meta Platforms、Cohere、Stability AI和Mistral AI。

隨著新應用市場的推出，客戶將能夠在這里找到新發(fā)布的Amazon Nova模型，這是AWS昨天宣布的新一代基礎模型。據(jù)AWS稱，Nova模型旨在支持廣泛的AI應用，具有行業(yè)領先的性價比。

不過，這些并不是唯一的獨家產(chǎn)品，因為Amazon Bedrock用戶還可以優(yōu)先獲得Luma AI、Poolside和Stability AI的新模型。

更具體地說用戶將可以訪問Luma AI的Ray 2，一種用于生成式AI視頻創(chuàng)作的多模式AI模型，能夠創(chuàng)建一些有史以來最逼真的AI視頻。至于Poolside的新Malibu和Point模型，都是關于代碼生成的，類似于GitHub的Copilot。Stability AI的Stable Diffusion 3.5 Large是迄今為止業(yè)內(nèi)推出的一流圖像生成模型之一。

總而言之，客戶將能夠通過Amazon Bedrock Marketplace訪問100多個主流的、新興的和專業(yè)的模型。一旦用戶選擇了他們想要的模型，Amazon Bedrock還將為客戶建議最合適的基礎設施設置來訓練這些模型并運行推理，同時提供他們可以遵循的簡單步驟來啟動和運行這些模型。

增強的提示工程

除了比以往更多的模型之外，Amazon Bedrock用戶還可以使用緩存提示和智能提示路由等新技術，讓開發(fā)人員更輕松地在準確性、成本和延遲之間取得適當?shù)钠胶狻?

新的“緩存提示”功能使客戶能夠通過減少重復處理來減少響應延遲和基礎設施成本。據(jù)該AWS稱，Bedrock可以安全地緩存用戶輸入的最常見提示來實現(xiàn)這一點，從而將成本降低高達90%，延遲降低85%。

例如，一個用于回答法律問題的生成式AI聊天應用，可以更快地響應它從用戶那里收到的最常見提示。它會把響應這些請求而引用的數(shù)據(jù)緩存在內(nèi)存中，因此它只處理一次，接下來每次收到類似提示時都會重復使用。AWS表示，這可以顯著降低處理成本。

同時，新的“智能提示路由”功能旨在優(yōu)化應用的成本和響應質(zhì)量。開發(fā)人員可以配置Amazon Bedrock以自動把提示路由到預定選擇范圍內(nèi)的不同基礎模型，為每個請求或問題選擇最合適的模型。AWS解釋說，它會選擇能夠以最準確和最低成本提供所需響應的模型，從而把總體成本降低高達30%，但不會犧牲準確性。

擴展數(shù)據(jù)訪問

此外，AWS正在擴展Amazon Bedrock Knowledge Bases的功能，為客戶提供了一種將其模型連接到專有數(shù)據(jù)庫的方法，以便使用檢索增強生成(RAG)提高其準確性。

AWS表示，Amazon Bedrock Knowledge Bases將增加對結構化數(shù)據(jù)檢索的支持，使AI模型能夠查詢存儲在傳統(tǒng)結構化查詢語言數(shù)據(jù)庫中的數(shù)據(jù)，這會大大擴展模型的知識，因為大多數(shù)生成式AI應用通常只使用非結構化數(shù)據(jù)，例如文本、圖像、音頻、視頻等。

這還可以利用存儲在多個數(shù)據(jù)存儲中的結構化數(shù)據(jù)，包括新發(fā)布的SageMaker Lakehouse、Amazon S3數(shù)據(jù)湖、Amazon Redshift等，其工作原理就是把用戶提示轉(zhuǎn)換為SQL查詢以檢索必要的數(shù)據(jù)。

Amazon Bedrock Knowledge Bases的另一項新功能是支持GraphRAG ，這樣就可以創(chuàng)建類似于“知識圖譜”的東西，可以映射存儲在不同位置的不同數(shù)據(jù)之間的關系，使這些數(shù)據(jù)更易于檢索。

AWS表示，GraphRAG可以使用Amazon Neptune自動生成這些圖表，Amazon Neptune是一個專門的、完全托管的圖形數(shù)據(jù)庫，無需任何專業(yè)知識。

目前寶馬集團(BMW Group)已經(jīng)這樣做了，正在使用GraphRAG為其My AI Assistant應用提供支持，幫助員工和客戶在龐大的、涵蓋了數(shù)百個數(shù)據(jù)存儲的內(nèi)部數(shù)據(jù)資產(chǎn)中搜索問題答案。

更輕松的數(shù)據(jù)轉(zhuǎn)換

最后，Bedrock將獲得新的“數(shù)據(jù)自動化”功能，使非結構化多模式信息可以輕松地轉(zhuǎn)換為結構化數(shù)據(jù)，從而可以更輕松地對其進行分析。

正如AWS所解釋的那樣，絕大多數(shù)企業(yè)數(shù)據(jù)都是非結構化的，包含在文檔、視頻和圖像文件等內(nèi)容中，分析這些信息并不容易，因為大多數(shù)分析工具只適用于結構化數(shù)據(jù)格式。

Amazon Bedrock Data Automation是一項新的功能，允許Bedrock從PDF文件等文檔中快速提取非結構化信息，并將其轉(zhuǎn)換為這些分析工具可以理解的格式。

這項功能應該非常有用。例如，大多數(shù)銀行會把客戶貸款的詳細信息存儲在PDF文件中，而這些文件很難通過分析獲得洞察。傳統(tǒng)上，轉(zhuǎn)換這些文件一直是個艱苦的過程，需要手動規(guī)范客戶姓名和出生日期等詳細信息以確保一致性。

AWS表示，現(xiàn)在可以更快速、更有效地完成這項工作。客戶只需設置預定義的默認值，例如基于數(shù)據(jù)模式的輸出或視頻劇照的逐個場景描述，然后將非結構化文件加載到現(xiàn)有的基于SQL的數(shù)據(jù)庫或數(shù)據(jù)倉庫中，之后就可以輕松分析這些文件了。

此外，得益于與改進后的知識庫集成，Amazon Bedrock數(shù)據(jù)自動化還可用于解析RAG應用的內(nèi)容，從而提高準確性和相關性，每個響應都會給出一個置信度分數(shù)，有助于降低AI幻覺的風險。

AWS人工智能和數(shù)據(jù)副總裁Swami Sivasubramanian表示，得益于廣泛的模型和功能選擇，Amazon Bedrock正在快速增長。“它正在幫助開發(fā)人員解決當前面臨的最大障礙，這樣客戶就可以充分發(fā)揮生成式AI的潛力，”他說。