前言
由於最近看到 ChatGPT 非常的熱門,所以對於稍微有玩 LINE BOT 的我來說,就想要來蹭一點熱度了。
而又不想要花太多時間進行研究的我,就想要以最簡單最直接的方式來用 LINE BOT 連結 GPT-3。
ChatGPT
反正交給 ChatGPT 來自我介紹就好了,我看我也不用說明了廣義來說 ChatGPT 是一種聊天機器人的技術(廢話。
我想大部分的人應該都知道AI通常都是經過一系列大量數據來訓練而成的,那我就來說一點其他的背景知識好了。
ChatGPT 是由 OpenAI 開發的自然語言處理(NLP)模型「GPT-3」延伸出的「GPT-3.5」製作的,基於 人類反饋強化學習(RLHF) 進行訓練,簡單來說就是人類提問機器答、機器提問人類答,並且不斷迭代,再排除掉不健康的答案,透過人類干預以增強機器學習的效果,獲得更為逼真的結果。
( 圖中又有一個新名詞 “ InstructGPT “ 這裡就不多說明,有興趣的可以自己探索 )
自從 ChatGPT 開放公眾使用以來,已經吸引超過100萬人使用,而 ChatGPT 功能強大,從客服對話、故事創作、翻譯、修改文法、寫詩、歌詞、文字整理,甚至是寫程式都可以。(慘了我要失業了
ChatGPT 官方網站
https://chat.openai.com/chat
ChatGPT blog ( 下方有一些參考文件 )
https://openai.com/blog/chatgpt/
GPT-3 VS GPT-3.5
現在我們知道了 ChatGPT 是經過 GPT-3.5 訓練而來的,那到底 GPT-3 跟 GPT-3.5 又是什麼東西呢?
GPT-3
生成型預訓練變換模型3(英語:Generative Pre-trained Transformer 3,簡稱 GPT-3)是一個自迴歸語言模型,基於谷歌開發的語言模型,模型訓練內容大部分來自網路,讓 ChatGPT 能夠相當自然地組織語句。
GPT-3 這個模型也是當前最大的語言處理模型之一,神經網路包含1750億個參數,為有史以來參數最多的神經網路模型。OpenAI 於2020年5月發表 GPT-3 的論文,微軟在2020年9月22日宣布取得了 GPT-3 的獨家授權。
GPT-3.5
GPT-3.5 與 GPT-3 最大的差別在於 GPT-3 主要扮演一個蒐集資料的角色,較單純的使用網路上的資料進行訓練。而 GPT-3.5 則利用人類反饋強化學習(RLHF)來訓練(感謝大歐派蘿莉修正)
GPT-3.5 則是由 GPT-3 微調出來的版本,而其中 GPT-3.5 使用與 GPT-3 不同的訓練方式,所產生出來不同的模型,比起 GPT-3 來的更強大官方文獻中不同的 GPT-3.5 模型
ChatGPT
而 ChatGPT 又是建立 GPT-3.5 之上,且更加上使用更完整的 人類反饋強化學習(RLHF) 去訓練。 (大致上可以想成 GPT-3 → GPT-3.5 → ChatGPT 醬子啦)
也因此 ChatGPT 除了能夠準確理解問題,更能夠將對話一路記住和按此調整內容,其中包括承認錯誤、糾正錯處和拒絕不當要求等等較為複雜的互動內容,更符合道德要求的訓練方式,達到更接近真人的效果,這也是 GPT-3 所沒有的。關於 GPT 各代的差異
https://www.techbang.com/posts/102473-openai-footprint-chatgpt
OpenAI
OpenAI 是美國一個人工智慧(AI)研究實驗室,創始人為伊隆·馬斯克(沒錯就是特斯拉那位)以及山姆·柯曼,原先為一個非營利組織,其使命是創造通用人工智能(英文:Artificial General Intelligence,簡稱 AGI),促進和發展友好的人工智慧,使人類整體受益,後來因為營運的成本所成立一個子公司營利組織 OpenAI LP。
OpenAI 每一年都會陸續推出自己所研發出的成果,從 GPT-1 到 GPT-3.5 都是他們所創造的成品。
OpenAI 官方網站
https://openai.com/
1 | 若以上有任何的錯誤都歡迎留言跟我說 |