ルール
- AIの書いた文章ではなく自分で書くこと
- AIから教えてもらったことをそのまま鵜呑みにしないで、必ず他の情報（一次情報かどうかは問わない）も調べた上で記述すること
- 可能な限り、経験として得た知識について記載すること。事後的に経験として得たものでも可とする
LLMのtemperatureを0にしたらエラーが出た話
LLMを使ってテキスト生成をする際、評価をする際に同じ入力に対して実行の度に結果が違うと困るのでtemperatureを0.0にして実行したい。
HuggingFaceを利用してgenerate関数にtemperatureを0に設定したら下記のエラーが出た。
ValueError: `temperature` (=0.0) has to be a strictly positive float
原因は引数の設定にあった。generateメソッドでは、do_sampleというbool型の引数を取れるが、これをTrueにした場合temperatureは0より大きい値を指定する必要がある。もし決定的にしたいのであれば、temperatureを0にするのではなくdo_sample=Falseにする必要があることのこと。