大預言模型的思考先把詞語向量化把詞語變成一個有一個的詞向量也叫token然后就可以進行計算了大模型原理-詞向量與大語言模型的預測在進行計算之后會取計算結果附近的一些向量作為樣本在里面找到可能性最大的進行輸出這個時候就用到的sofmax 找出最有可能得哪一個但是這樣就有一個缺點如果只找到可能性最大的那一個模型的返回值就是千篇一律沒有多樣性所以引入一個參數(shù)然模型有概率去獲取到其他可能輸出這個參數(shù)就是Temprature 這個參數(shù)越大概率的分布就越均勻模型結果的隨機性就會越強反之模型就越準確。大模型應用問題大模型和大模型應用的區(qū)別大模型就是模型是GPT大模型應用是網(wǎng)頁是上面的對話應用可以和他對話 chat GPT 有記憶怎么讓大模型變成大模型應用呢首先會定義一個對話 ‘接下來緊跟著的是用戶和一個熱心的只是淵博的AI助手之間的對話’這個描述是該大模型交代一下背景告訴他接下來是在聊天然后是用戶提出問題把上線的背景和用戶的問題拼起來就這樣一直重復達到對話的效果但是大模型應用有圖像界面有文件上傳有WEB搜索這些都是傳統(tǒng)的編程傳統(tǒng)編程和大模型的優(yōu)缺點傳統(tǒng)編程適合 確定性邏輯處理精確控制和高可靠 不適合 模糊問題復雜模式識別大模型 則恰恰預期相反適合模糊問題復雜模式識別因為大模型是在預測下一個的可能性所以不適合邏輯處理精確控制所以把兩者結合起來就是大模型應用怎么結合大模型的結構是什么呢目的是知道兩者的優(yōu)缺點什么東西適合大模型去做有任務怎么分大模型服務云服務阿里百煉騰訊TI平臺千帆平臺硅基流動火山方舟-火山引擎模型多可以多調(diào)用公司深度求索月之暗面智普本地部署http://olama.com 這個各平臺可以通過這個平臺暴露出本地的接口olama是一個幫我們管理模型的工具我們要利用這個工具去下載管理模型公共大模型olama本地模型安裝指定目錄在安裝的位置打開cmd然后輸出 前面是exe的文件后面是空格/ DIR你要安裝的路徑模型下載大模型API接口規(guī)范其中message中role可以進行身份設定是對系統(tǒng)的身份設定用戶的輸入就是提問的問題。會話記憶問題大模型是沒有記憶的大模型不是一個對話機器人產(chǎn)品大模型的服務是無狀態(tài)的每一輪請求是一次會話不同會話之間相互獨立并不具備會話記憶功能解決方案用戶每次請求時需要將之前的所有對話歷史拼接好傳遞給對話API多輪對話的核心是維護一個message數(shù)組要做會話記憶需要把每次對話都保存在一個地方要向模型發(fā)起請求的時候都需要吧歷史的對話信息帶入進去然后再次拼接用戶的提問環(huán)境準備使用UV做項目管理依賴管理可以在pycharm中去使用UV進行項目管理編程調(diào)用大模型左邊是HTTP請求右邊是python代碼請求有一個地方比較特殊就是URL,URL不用填寫完整的URL只填寫最前面的部分根據(jù)下面調(diào)用的模型會動態(tài)就會自動補全后面的參數(shù)。1.安裝依賴 import openai 初始化客戶端2.訪問模型建議通過環(huán)境變量加載APIkey3.獲取模型響應結果