feat: think input switches the thinking phase of reasoning models, 0.3.1
Some checks failed
CI / Linux x86_64 (Forgejo) (push) Failing after 2s

Ollama gets think, vLLM chat_template_kwargs.enable_thinking. Refused
where the backend has no such switch.

Signed-off-by: flemming-it <sf@flemming.it>
This commit is contained in:
flemming-it 2026-11-07 23:24:28 +01:00
parent d5b000e18e
commit 6455a7457e
7 changed files with 170 additions and 4 deletions

View file

@ -1,12 +1,12 @@
schema_version: 3
provider: chain
name: llm-chat
version: 0.3.0
version: 0.3.1
# Capability provided by this module.
provides:
- capability: llm.chat
version: 0.3.0
version: 0.3.1
# Declared inputs in verbose v3 form. Studio renders the
# description in the active locale as a tooltip on each
@ -129,6 +129,27 @@ inputs:
großen lokalen Modell). Mit einer anderen api wird der Wert
abgelehnt statt ignoriert, weil er eine Erwartung ausdrückt,
die die anderen Backends nicht erfüllen können.
think:
type: text
description:
en: |
Whether a reasoning model runs its thinking phase: true or
false; empty leaves the server default. Ollama lets
qwen3-type models think by default, which takes a call from
about 10 to about 50 seconds. Ollama receives think, vLLM
chat_template_kwargs.enable_thinking. The OpenAI wire has no
such switch, so a value is refused there; for Anthropic false
is accepted (extended thinking is off unless requested) and
true is refused.
de: |
Ob ein Reasoning-Modell seine Denkphase durchläuft: true oder
false; leer lässt die Voreinstellung des Servers. Ollama lässt
Modelle wie qwen3 standardmäßig denken, ein Aufruf dauert
dadurch rund 50 statt 10 Sekunden. Ollama bekommt think, vLLM
chat_template_kwargs.enable_thinking. Das OpenAI-Format kennt
keinen solchen Schalter, dort wird ein Wert abgelehnt; bei
Anthropic wird false angenommen (erweitertes Denken ist ohne
Anforderung aus) und true abgelehnt.
system_prompt:
type: text
description: