Les paramètres de génération règlent le comportement du modèle : la température contrôle la part d'aléatoire, top_p restreint les choix de mots, max_tokens limite la longueur de la réponse. Une température basse donne des sorties plus stables, adaptées à l'extraction et à la classification.
Exemple
{"temperature": 0.2, "top_p": 0.9, "max_tokens": 300}