最近我在思考這個問題：「當我問 LLM 問題時，我到底該問他問題還是要請他生成答案？」
對我來說，兩者有微妙的差別，舉例來說可能是這樣：
- 產品經理與專案經理有什麼不同？
- 產品經理與專案經理的不同之處是：
我比較習慣採用後者，可能是因為我覺得 LLM 是生成式模型，我認為它並不真的「理解」我的問題，而只會針對我的 input/prompt 「生成」對應的回覆，所以我會下意識地避免「直接提問」。
以上面那個例子來說，兩個問法得到的答案可能根本沒有差，但是假設我問的問題涉及一些價值判斷，我就更傾向以後者的方式詢問，舉例來說：
- 產品經理的職務挑戰性比專案經理更高，請問這個論述是否正確？
- 有個論述是產品經理的職務挑戰性比專案經理更高，請提供論述正確與不正確的原因：
以我目前對 LLM 運作方式的理解，雖然詢問「這個論述是否正確」並不帶有「我認為是正確」的前提，但是這樣的問法就好像是認為 LLM 確實理解了這個問題，並且想要得到它的判斷。但後者的問法則是仍有意識地把它當成一個生成模型，請他生成正確與不正確的原因，而不給結論，因為結論還是該由我自己來判斷。
我覺得有意識地採用後者這樣的問法，比較不會在不知不覺間過度信賴全能全知的 LLM ，而誤把它生成的內容當作答案。
---
在今天以前，我一直都覺得我這樣的做法「比較對」，但我沒什麼把握，因此我打算再花更多時間閱讀相關的原理以及討論。
這時，我偶然間發現一串 Reddit 的討論很有意思，裡面有人提到我們所稱的「思考」與「理解」在定義上並不明確，因此在這個情況下，有些人會說大語言模型並沒有「理解」問題，也不真的會「思考」，但另一些人則可以用大語言模型產出的結果的準確性與可用程度來支撐，或者是表述「這就代表他們可以理解與思考」。
我想了想覺得確實有道理，因此我現在也不確定到底怎樣做才好，但我應該會再持續想＆研究這個問題。
如果你也有想過類似的問題，或者有很推薦的參考閱讀資料（無論是書籍、論文、甚至是別的領域的東西），都歡迎跟我分享，感謝！
PJ Wu