為何 LLM 推理結果總是不一致？非決定性問題解析

你是否曾好奇，為什麼即使你多次詢問ChatGPT相同的問題，它卻會給出不同的答案？這不只是「採樣」的隨機性，即使將溫度（temperature）設為0，理論上應該確定性的LLM API在實踐中仍然是非決定性的！ 許多人認為這是浮點數運算非結合性與並行執行造成的「併發+浮點數」假說，但這並非全貌。在這部影片中，我們將深入探討大型語言模型（LLM）推理中非決定性的真正原因，並分享如何解決這個問題，實現可重現的結果！