引

如果你也有如下問題，那麼接下來的文字會一一為你解答

1. 一套數據集，如何微調不同類型的開源大模型？—— Bedrock
2. 如何只有產品説明書，如何構建一個智能問答機器人？—— Q
3. 哪裏還有免費的GPU算力——在線Jupyter平台？—— SageMaker

發佈會

亞馬遜雲科技re:lnvent 發佈會，在 2023 年11月底於拉斯維加圓滿召開，介紹了一些雲產品的升級，以及自研芯片的升級、性能提升。當然今年的重頭戲就是 AI，此次升級了Bedrock服務提供了更多功能，並推出了企業級AI助手——Q)，對於ML研究者，升級後的SageMaker 提供了和 Jupyter 一致的機器學習（ML）環境。

AI 雲服務

此次發佈會，我最關注的亞馬遜的AI服務，我發現它在這上面做了非常多的差異化功能，相較於openAI，微軟、Google等AI雲服務公司，亞馬遜雲的AI，這些功能是獨居特色的的：

1. 保護用户隱私、不會用用户的數據來訓練
2. 支持定製化得模型數據
3. 對 fine tunning 優化，不需要太多專業知識就能微調大模型
4. 模型價格便宜，微調之後的模型成本有所提升，但依然比GPT3便宜。

在當前AI淘金潮中，亞馬遜堅持做最好的——“鏟子”

面向開發者

如何讓普通IT人員也能上手AI產品

作者我作為後端研發，天天CURD做業務。對於AI大模型，只會用用聊天機器人，用文字描述生成圖片。至於如何訓練、調試大模型我是丈二和尚——摸不着頭腦，大家都在聊，AI賦能產品，作為一名普通IT人員，當前只能“玩玩”它，至於產品賦還把握不住。當前時間點，但凡一個降低AI使用門檻的工具開源，那都是10k Star 級別的熱度，例如： lang-chain, hinese-LLaMA-Alpaca, LLaMA-Factory

所以，作為普通人，是非常願意接觸AI的，但目前開源AI產品對於普通人來講，還是有非常高的使用門檻。現在就有很多雲服務商就開始做人與AI算法產品之間的銜接工作。

Bedrock

Bedrock – AWS 提供一個簡單的入口，讓大家能夠快速構建起生成式人工智能應用程序。它的能力有這幾個方向：

• 文本生成
• 聊天機器人
• 向量搜索
• 文本摘要
• 圖像生成

Bedrock 採用了市面上優秀開源的模型，來完成如上工作。模型有：

• Jurassic-2
• Claude
• Command
• Stable Diffusion
• Llama 2

當然亞馬遜自己也研發了大模型——Titan

小試身手

我們要試用大模型，還需要申請模型權限，其實就是勾選一下。

Chat 模型

這裏體驗了一下 LLama 2 13B, 具體使用情況如下：

文生圖

使用 SDXL 1.0 生成了一張 1024\*1024 圖片，耗時20s左右。

我又試用了一下 亞馬遜的 Titan Image G1 模型， 同時生成了3張 1024\*1024 圖，大概花了30+s

對了，如果一下生成多張圖片，批量下載時會壓縮成一個 zip 包再下載。但我用過後，發現這個 zip 包解不開，感覺這個壓縮有問題，如果大家也遇到了，可以點開圖片，一張張單獨下載，就好了。
關於： Amazon Bedrock Image playground，the zip of the generated image cannot be extracted

微調

相較於我們平常用的 ChatGPT3.5、4 兩代通用模型， 亞馬遜提供了可定製性、可微調，可以使用保存在雲上語料庫、知識庫進行訓練（fine tunning)。

也就是説你可以通過使用大量的數據微調大模型，讓模型學習到新的東西，你再向模型提問時，就不需要提供冗長的上下文信息了，這樣可以節約大量的token，還能提高模型響應速度。

創建 Fine-tunning 任務

通過 Custom models 選擇 Fine tuning job 就能

微調任務，你只需要提交數據集即可，數據集的格式，你可參看這個文檔。[dataset
format](https://docs.aws.amazon.com/bedrock/latest/userguide/model-cu...)

這樣就創建好 微調模型任務了，然後這個模型就是為你定製的，要是用這個 微調模型，還需要額外購買時間的，這個費用也不低，如果你的用量大，微調模型的性能是能抹平這部分成本的。

價格

Bedrock pricing

Meta Llama 2

按需和批量定價 

模型定製（微調）的定價：

Stability AI

相較於GPT系列，價格要便宜很多，因為模型大小可選，通用型不如GPT，但提供了定製、預訓練、微調功能，提供更具性價比的模型服務。

優勢

Bedrock提供一站式的：多種開源大模型，以及配套的模型微調，dataset預處理功能。在Bedrock你只需要熟悉一個模型的使用、調優、數據投喂功能，那麼你就能使用其他所有同類型模型了，如果是自己調適多個模型，那麼不同模型的dataset格式、調優參數都是巨大的時間成本。

在重度、商業化使用條件下，是佔有成本、速度優勢的。如果你有海量大模型使用請求，並且每次請求都要帶上長長的上下文信息，那麼不妨試試微調大模型。

企業級AI 助手——Q

 > Amazon Q 是基於 Amazon Bedrock 構建一款完全託管的生成式 AI 驅動的企業聊天助手

最近登錄亞馬遜後台時，我就發現 Q 已實裝到亞馬遜雲的控制枱了。是的，它的主要形態就是聊天助手。通過聊天的形式為你提供服務，就是IM客服。

藉助Q的能力，能夠幫助普通用户快速瞭解亞馬遜雲服務，如果可能它還會提供對應的鏈接地址，大家點擊就能跳轉到對應的頁面。讓一般用户在沒有專業的亞馬遜技術售前的協助下，也能完成一些工作，這就是為console平台“增效”了。

定製自己的 Q

亞馬遜雲控制枱裏的 Q，可以説是 Q 的最佳實踐。那麼接下來，我就帶大家來定製一個IM技術客服。

創建 應用

訪問 Amazon Q 控制枱, 創建一個應用

目前 Q 還是預覽版，沒有全球發佈，所以制定地區可用，這裏選的 弗吉尼亞。

第一步：命名

這裏使用默認值，不用改，點下一步。授權可能會耽擱點時間，等一會兒就好。

第二步：Retriever 選擇

如果不清楚就直接選擇 native retriever。

第三步：數據源

數據源空過，直接脱到底創建。

體驗

點擊剛剛創建 Q application，進入到這個應用。

空白的體驗

點擊 review web experience 就進入了一個聊天室。

當前，我們還沒有上傳任何文檔，也沒有配置 retriever，我們問它幾個問題試試。

它直接回覆沒有數據源，不知道。

數據源添加

回到我們的應用主頁面，點擊 Add data source

這裏我們選擇上傳文檔，點擊 Upload docs

關於數據源，我選擇了 Codis 的文檔。

上傳文件, 他是支持markdown文件的，我就上傳了 tutorial_en.md, FAQ_en.md 兩個文件。

學習後的對話

上傳文檔後，我們再來問問 Q。可以看到它能根據我們提供的文檔，進行回答了。

後面還跟上了數據源，也就是它的回答依據是哪些文檔。

中文

大家都看到了我一直都在使用的英文和它交流，因為目前的預覽版對中文的支持還不那麼好，我這也上傳了些中文文檔，然後進行對話提問，結果如下。

還是比較期待它能完全支持中文，到時候就能賦能國內業務了。

感受

相比於其他AI產品，需要準備大量數據集，預訓練，參數調優，以及服務部署。

你只要投喂文檔、數據給 Amazon Q ，他就能成為某方面的專家，按照你的文檔回答問題，你可以説它是一個更聰明的搜索引擎，或者智能客服。

整個體驗下來，我覺得不懂IT的朋友也能上手，目前亞馬遜對它的定義是——生成式 AI 驅動的企業聊天助手。從它的易上手程度、以及智能程度。我覺得它可以用作：

• 個人知識庫助手
• 企業知識庫搜索入口
• 智能客服
• 售後技術顧問

剛剛是在亞馬遜的 Web 上體驗了Q，它當然提供了 API 供你介入自己應用內部。

響應速度

10詞/秒 左右

我在Web 端體驗是這樣的速度。不同於ChatGPT一個個字得吐，Q 是生成完所有文字後一次性返給前端，所以給人感覺是有點慢。但這個輸出速度，其實和人打字速度差不多了。

價格

Amazon Q pricing

AI技術顧問

就拿AI技術顧問為使用場景，我們把產品的使用文檔，以及常見問題，以及解決方案投餵給 Q，Q 就可以按照用户的提問，幫文檔去查找解決方案，並告訴客户。

是的，當你提供的雲服務控制面板報錯時，不需要讓客户到處去百度，xx雲平台報錯該怎麼辦了，這個時候，右下角彈出一個 Q ，諮詢下客户遇到了什麼問題，就能引導客户自行解決問題了。

相較於傳統技術支持：

1. 免費版沒有技術支持
2. 標準版工作日工單支持（工單還要排隊
3. 專業版 工作日通過IM技術支持。
   

藉助Q可以做到7*24小時 秒級支持我們的客户！便宜的價格可以讓 Q 下放到標準版，甚至 使用版。

對於一些專業、有一定使用門檻的產品，藉助 Q 是能夠降低產品的使用難度，特別是在試用階段，在新用户遇到困難並立馬解決，是能提高成單率的。

增效

想象一下你需要客服，來解決售後問題，客服在客户和技術人員之間溝通解決問題，並把這些問題記錄下來，慢慢得你積累了很多問題集——F&Q。慢慢地，客服反饋有些問題看看產品説明就能解決，但客户就是要打電話諮詢。

這個時候，你把這些售後問題投喂到 Q 的 dataset，Q 就立馬成為一名經驗豐富的客户，能夠幫客户解決一些常見問題了，解決不了的再接入到人工客服了。

SageMaker

SageMaker 提供專為數據科學家和開發人員高效地準備、構建、訓練和部署高質量 ML 模型而構建的機器學習 (ML) 功能。

當團隊內的數據專家，想進一步對數據做分析時，無需把數據下載到本地，亞馬遜提供了在線 Jupyter 平台，通過它你可以在任何終端訪問 Notebook 進行數據分析工作，一切運算都在雲端，數據通過 S3 訪問，讓你無需擔心本地磁盤，以及算力。

創建 Notebook

訪問 SageMaker，翻到 Notebook, 點擊 Create notbook instance

這裏填了的不用改，只需要填一下名字就行了。

打開 Jupyter

創建好 notebook 實例後，點擊 Open Jupyter 就能到一個你熟悉的界面了

是的，這就是 亞馬遜雲提供服務的 Jupyter。你看到的 Running 狀態，就是我沒有關閉那個實例，所以，你不用了的話記得手動關閉運行時，它不會自己關，程序會一直為你保存工作狀態，隨時銜接工作。哎，這樣就不用寫額外代碼去保存中間狀態了。（PS：説的就是你 Colab）

訪問 S3 數據

那麼如何訪問S3 數據呢

通過如上代碼，説明 SageMaker 是和 S3 打通了的。只需要配置好數據權限，數據分析人員就能自己拿數據進行分析工作了。

SageMaker Studio

對了, 亞馬遜還推出了 SageMaker Studio 一個免費的機器學習（ML）開發環境。獨立於亞馬遜的賬號體系，目前是需要申請的，我的申請一天就過了，還是挺快的。（想白嫖的早點申請，😄）

用過 Colab，Kaggle 的同學，可以試試這個平台。每天免費4個小時的 GPU 算力，如果你只用CPU的話，那麼會有8個小時運行時可供你用。

這個免費算力發放策略和 Colab 比較像啊，訪問不了Google 的同學可以試試這個。

啓動運行時之前，會讓你填手機號，我填的國內的+86手機號，是可以暢通使用的。

訪問速度

目前，我訪問 Studio 沒有網絡障礙，大家放心衝。

生態

這場AI熱潮，亞馬遜雲不僅僅是提供了大模型給大家使用，還圍繞達模型的訓練、調優、運行提供了一整套服務。

安全

作為雲服務商，亞馬遜非常重視用户的數據安全，並且公開承諾不會用客户的數據去改進他們的模型，至於他們怎麼改進模型，估計是基於自己的業務。

還有生成的內容安全，由於AI生成模型，參數眾多，可能你都不知道訓練出來的模型，可能學到了什麼壞毛病，關於這一天，Bedrok提供了跟蹤，以及完善的日誌功能，並切發現錯誤會幫你屏蔽內容輸出，同時也會檢查用户的輸入，

例如：我在玩文生圖時，有幾個詞彙過於澀澀就直接告警，不給我生成圖片。

跑得快不一定贏，不跌跟頭才是成功

在國內環境下，這些功能都是必須的，它已經先一步幫我們想到了。

最後

看過發佈會，體驗過Q之後，個人感覺距離AI產品更近一步了。在當前隱私泄露嚴重，濫用個人信息的環境下，生成式AI這個嬰兒在一旁嗷嗷待哺（數據投喂），還有一個雲服務商把客户的安全、隱私放在第一位，是難能可能可貴的。

本文參與了「構」向雲端 | 亞馬遜雲科技 x 思否 2023 re:Invent 構建者徵文大賽，歡迎正在閲讀的你也加入。

授權聲明：本篇文章授權活動官方亞馬遜雲科技文章轉發、改寫權，包括不限於在 Developer Centre，知乎，自媒體平台，第三方開發者媒體等亞馬遜雲科技官方渠道