電子報更新！
這期的內容沒有選讀，而是討論這禮拜在使用 ChatGPT 時的一些新嘗試，我想要讓 ChatGPT 更好地維持對話脈絡，以及想要讓他在亂掰答案時，能自己跟我講「他不是 100% 有把握」
比較完整的說明歡迎點擊連結看電子報，推文串這邊也一併分享重點摘要！
1/n
pinchlime.com/newsletters/keeps-chatgpt-in-the-context-and-provide-certainty/
我發現我對 ChatGPT 還不夠滿意的地方，主要有兩件事：
1. 在有一定長度的對話裡面，ChatGPT 會「突然間」忘記之前下過的指令與對話紀錄，然後就回覆給你完全莫名其妙的答案。
2. 因為 ChatGPT 無法聯網、所掌握的資料只到 2021 年底，因此它在回答時有時候會唬爛、自己亂填充文字。
2/n
這兩個問題在我身上造成的影響主要是浪費時間，我必須反覆重新對話以取得符合上下文脈絡的回答，我也必須花額外的時間去驗證不熟悉答案的正確性。這些都會降低我的使用效率。
剛好本週看到一篇文章說明 ChatGPT 的字數限制規則，因此我就打算來測試看看。
3/n
blog.meathill.com/tech/everything-i-know-about-chatgpt-develop-further-limitation-future-effects.html#4097-tokens
維持脈絡的關鍵：控制字數，持續總結
我實測字數限制的結果是， ChatGPT 真的會在輸入 2000 字左右時，就開始忘掉前面的設定。我的測試方式很簡單：
1. 我先跟他約定某個通關密語：「context」
2. 我開始輸入無腦字串，例如總長 500 字的「測試」兩個字。
4/n
3. 接著我問他我們的通關密語是什麼？正常狀況下他會回答是「context」。
4. 重複這個流程，當我輸入第 1501-2000 個「測試」以後，下一次問他通關密語時，他不再回答「context」，而是會亂掰，像是什麼「開啟新世界的鑰匙」之類的。
5/n
為了解決這個問題，我想出來的方法是，監控字數，並且持續總結。
每當我發現我的輸入字數已經超過 1500 時，就不能再繼續輸入，必須要「總結」先前討論的內容。
而在重啟新局時，除了預先設定好的內容規範，我也會提醒他，我們先前已經寫過內容總結概要是什麼，接著再請他依據內容規範往下處理。
6/n
透過這種持續總結、重複提醒規則的作法，就能更好地讓 ChatGPT 始終處於對話脈絡中，不會跑到一半就岔題、忘記之前的約定是什麼。
7/n
不過這種做法仍有限制，例如，當討論的內容很難被簡單總結時，這套做法就行不通，一定會遇到脈絡儲存的上限。
另外，即使可以儲存脈絡的摘要，但持續產出再壓縮，還是會讓摘要越來越多，最終也會遇到上限。
因此還是趕快期待 ChatGPT 把限制打開，讓我們可以維持更長的對話脈絡吧。
8/n
處理完「脈絡」的問題，接著是「把握度」的問題。
我試出來的關鍵是：為回答分類
對於 ChatGPT 有可能鬼扯的狀況，我目前比較常遇到的有兩種類型：
1. 針對他「不完全知道」的事，他為了湊出答案，會自動填充錯誤內容
2. 針對他「以為他知道」的事，他會講的斬釘截鐵，不考慮可能的錯誤狀況。
9/n
第一種類型，舉例來說，當我用中文問他台灣的某某地方有什麼美食時，它會亂湊資訊，講得煞有其事。其中可能有部分內容是正確的，但也有完全亂掰的。
10/n
第二種類型，舉例來說，當我問他「現任 Twitter 的 CEO 是誰？」它會很有把握地說「Jack Dorsey」，但那個資訊已經過時了。這種回答跟第一種類型不一樣的地方在於，它以某個時間點來說是完全正確的，但時間會變，此時就開始變得不一定正確。
11/n
基於上面這兩種類型，我嘗試出一套預設指令，我請他在回覆問題時，除了回覆內容之外，也一併回覆他的「把握程度」。並且我定義了三種不同的回答方式。
12/n
第一種是對通常有標準答案的問題，請他回答「 100% 有把握」。
第二種是針對那些具有時效性的問題，請他回覆時要提到這個侷限。
第三種是，假設不屬於前兩者的問題，請他要回覆「這個問題可能還有其他的版本或說法。」
在這樣指示後，結果還不能說 100% 滿意，但至少比沒有下指令的方式好。
13/n
例如第一種類型的狀況：
14/n
例如第二種類型的狀況：
15/n
例如第三種類型的狀況，框起來的是錯誤資訊或是根本沒這東西。
16/n
我覺得一定還有更省力的指令、或者是其他不同的「錯誤狀況」可以去細分，但能夠讓 ChatGPT 每次回覆時都多帶一句把握度的資訊，我覺得是很不錯的一件事。
對我來說，若能夠摸清這些規則的邊界，在使用 ChatGPT 時就可以更輕鬆、更有效率。
最後，若你有更好的作法，歡迎分享！
17/n