Model Compatibility

AgentNode Runtime tested against 182 models from 32 providers. 175 pass all 4 scenarios (96%).

Last tested: 2026-04-07

182

Models Tested

175

Perfect Score (S-Tier)

Providers

96%

S-Tier Rate

Tier System

Perfect

4/4 scenarios passed

175

Great

3/4 scenarios passed

Partial

2/4 scenarios passed

Minimal

1/4 scenarios passed

Unsupported

0/4 scenarios passed

Test Scenarios

1Capabilities

Model calls agentnode_capabilities to list installed tools

2Search + Install

Model searches for a package, then installs it

3Run Tool

Model executes a tool with specific arguments

4Multi-step

Model chains multiple tool calls autonomously

182 of 182 models

Provider	Model	Tier	S1	S2	S3	S4	Score
alibaba	tongyi-deepresearch-30b-a3b	S	✔	✔	✔	✔	4/4
allenai	olmo-3.1-32b-instruct	S	✔	✔	✔	✔	4/4
amazon	nova-2-lite-v1	S	✔	✔	✔	✔	4/4
amazon	nova-lite-v1	S	✔	✔	✔	✔	4/4
amazon	nova-micro-v1	S	✔	✔	✔	✔	4/4
amazon	nova-premier-v1	S	✔	✔	✔	✔	4/4
amazon	nova-pro-v1	S	✔	✔	✔	✔	4/4
anthropic	claude-3-haiku	S	✔	✔	✔	✔	4/4
anthropic	claude-3.7-sonnet	S	✔	✔	✔	✔	4/4
anthropic	claude-haiku-4.5	S	✔	✔	✔	✔	4/4
anthropic	claude-opus-4	S	✔	✔	✔	✔	4/4
anthropic	claude-opus-4.1	S	✔	✔	✔	✔	4/4
anthropic	claude-opus-4.5	S	✔	✔	✔	✔	4/4
anthropic	claude-opus-4.6	S	✔	✔	✔	✔	4/4
anthropic	claude-sonnet-4	S	✔	✔	✔	✔	4/4
anthropic	claude-sonnet-4.5	S	✔	✔	✔	✔	4/4
anthropic	claude-sonnet-4.6	S	✔	✔	✔	✔	4/4
bytedance-seed	seed-1.6	S	✔	✔	✔	✔	4/4
bytedance-seed	seed-1.6-flash	S	✔	✔	✔	✔	4/4
bytedance-seed	seed-2.0-lite	S	✔	✔	✔	✔	4/4
bytedance-seed	seed-2.0-mini	S	✔	✔	✔	✔	4/4
cohere	command-r-08-2024	S	✔	✔	✔	✔	4/4
cohere	command-r-plus-08-2024	S	✔	✔	✔	✔	4/4
deepseek	deepseek-chat	S	✔	✔	✔	✔	4/4
deepseek	deepseek-chat-v3-0324	S	✔	✔	✔	✔	4/4
deepseek	deepseek-chat-v3.1	S	✔	✔	✔	✔	4/4
deepseek	deepseek-r1	S	✔	✔	✔	✔	4/4
deepseek	deepseek-v3.1-terminus	S	✔	✔	✔	✔	4/4
deepseek	deepseek-v3.2	S	✔	✔	✔	✔	4/4
deepseek	deepseek-v3.2-exp	S	✔	✔	✔	✔	4/4
essentialai	rnj-1-instruct	S	✔	✔	✔	✔	4/4
google	gemini-2.0-flash-001	S	✔	✔	✔	✔	4/4
google	gemini-2.0-flash-lite-001	S	✔	✔	✔	✔	4/4
google	gemini-2.5-flash	S	✔	✔	✔	✔	4/4
google	gemini-2.5-flash-lite	S	✔	✔	✔	✔	4/4
google	gemini-2.5-pro	S	✔	✔	✔	✔	4/4
google	gemma-4-26b-a4b-it	S	✔	✔	✔	✔	4/4
google	gemma-4-31b-it	S	✔	✔	✔	✔	4/4
inception	mercury	S	✔	✔	✔	✔	4/4
inception	mercury-2	S	✔	✔	✔	✔	4/4
inception	mercury-coder	S	✔	✔	✔	✔	4/4
kwaipilot	kat-coder-pro-v2	S	✔	✔	✔	✔	4/4
meta-llama	llama-3-8b-instruct	S	✔	✔	✔	✔	4/4
meta-llama	llama-3.1-70b-instruct	S	✔	✔	✔	✔	4/4
meta-llama	llama-3.1-8b-instruct	S	✔	✔	✔	✔	4/4
meta-llama	llama-3.3-70b-instruct	S	✔	✔	✔	✔	4/4
meta-llama	llama-4-maverick	S	✔	✔	✔	✔	4/4
meta-llama	llama-4-scout	S	✔	✔	✔	✔	4/4
minimax	minimax-m1	S	✔	✔	✔	✔	4/4
minimax	minimax-m2	S	✔	✔	✔	✔	4/4
minimax	minimax-m2.1	S	✔	✔	✔	✔	4/4
minimax	minimax-m2.5	S	✔	✔	✔	✔	4/4
minimax	minimax-m2.7	S	✔	✔	✔	✔	4/4
mistralai	codestral-2508	S	✔	✔	✔	✔	4/4
mistralai	devstral-2512	S	✔	✔	✔	✔	4/4
mistralai	devstral-medium	S	✔	✔	✔	✔	4/4
mistralai	devstral-small	S	✔	✔	✔	✔	4/4
mistralai	ministral-14b-2512	S	✔	✔	✔	✔	4/4
mistralai	ministral-3b-2512	S	✔	✔	✔	✔	4/4
mistralai	ministral-8b-2512	S	✔	✔	✔	✔	4/4
mistralai	mistral-large	S	✔	✔	✔	✔	4/4
mistralai	mistral-large-2407	S	✔	✔	✔	✔	4/4
mistralai	mistral-large-2411	S	✔	✔	✔	✔	4/4
mistralai	mistral-large-2512	S	✔	✔	✔	✔	4/4
mistralai	mistral-medium-3	S	✔	✔	✔	✔	4/4
mistralai	mistral-medium-3.1	S	✔	✔	✔	✔	4/4
mistralai	mistral-nemo	S	✔	✔	✔	✔	4/4
mistralai	mistral-saba	S	✔	✔	✔	✔	4/4
mistralai	mistral-small-2603	S	✔	✔	✔	✔	4/4
mistralai	mistral-small-3.2-24b-instruct	S	✔	✔	✔	✔	4/4
mistralai	mistral-small-creative	S	✔	✔	✔	✔	4/4
mistralai	mixtral-8x22b-instruct	S	✔	✔	✔	✔	4/4
mistralai	pixtral-large-2411	S	✔	✔	✔	✔	4/4
mistralai	voxtral-small-24b-2507	S	✔	✔	✔	✔	4/4
moonshotai	kimi-k2	S	✔	✔	✔	✔	4/4
moonshotai	kimi-k2-0905	S	✔	✔	✔	✔	4/4
moonshotai	kimi-k2.5	S	✔	✔	✔	✔	4/4
nex-agi	deepseek-v3.1-nex-n1	S	✔	✔	✔	✔	4/4
nvidia	llama-3.1-nemotron-70b-instruct	S	✔	✔	✔	✔	4/4
nvidia	llama-3.3-nemotron-super-49b-v1.5	S	✔	✔	✔	✔	4/4
nvidia	nemotron-3-nano-30b-a3b	S	✔	✔	✔	✔	4/4
nvidia	nemotron-nano-9b-v2	S	✔	✔	✔	✔	4/4
openai	gpt-3.5-turbo	S	✔	✔	✔	✔	4/4
openai	gpt-3.5-turbo-0613	S	✔	✔	✔	✔	4/4
openai	gpt-3.5-turbo-16k	S	✔	✔	✔	✔	4/4
openai	gpt-4	S	✔	✔	✔	✔	4/4
openai	gpt-4-turbo	S	✔	✔	✔	✔	4/4
openai	gpt-4.1	S	✔	✔	✔	✔	4/4
openai	gpt-4.1-mini	S	✔	✔	✔	✔	4/4
openai	gpt-4.1-nano	S	✔	✔	✔	✔	4/4
openai	gpt-4o	S	✔	✔	✔	✔	4/4
openai	gpt-4o-2024-05-13	S	✔	✔	✔	✔	4/4
openai	gpt-4o-2024-08-06	S	✔	✔	✔	✔	4/4
openai	gpt-4o-2024-11-20	S	✔	✔	✔	✔	4/4
openai	gpt-4o-mini	S	✔	✔	✔	✔	4/4
openai	gpt-4o-mini-2024-07-18	S	✔	✔	✔	✔	4/4
openai	gpt-5	S	✔	✔	✔	✔	4/4
openai	gpt-5-mini	S	✔	✔	✔	✔	4/4
openai	gpt-5-nano	S	✔	✔	✔	✔	4/4
openai	gpt-5-pro	S	✔	✔	✔	✔	4/4
openai	gpt-5.1	S	✔	✔	✔	✔	4/4
openai	gpt-5.1-chat	S	✔	✔	✔	✔	4/4
openai	gpt-5.2	S	✔	✔	✔	✔	4/4
openai	gpt-5.2-chat	S	✔	✔	✔	✔	4/4
openai	gpt-5.3-chat	S	✔	✔	✔	✔	4/4
openai	gpt-5.4	S	✔	✔	✔	✔	4/4
openai	gpt-5.4-mini	S	✔	✔	✔	✔	4/4
openai	gpt-5.4-nano	S	✔	✔	✔	✔	4/4
openai	gpt-oss-120b	S	✔	✔	✔	✔	4/4
openai	gpt-oss-20b	S	✔	✔	✔	✔	4/4
openai	o1	S	✔	✔	✔	✔	4/4
openai	o3	S	✔	✔	✔	✔	4/4
openai	o3-mini	S	✔	✔	✔	✔	4/4
openai	o3-mini-high	S	✔	✔	✔	✔	4/4
openai	o3-pro	S	✔	✔	✔	✔	4/4
openai	o4-mini	S	✔	✔	✔	✔	4/4
openai	o4-mini-high	S	✔	✔	✔	✔	4/4
openrouter	auto	S	✔	✔	✔	✔	4/4
openrouter	free	S	✔	✔	✔	✔	4/4
prime-intellect	intellect-3	S	✔	✔	✔	✔	4/4
qwen	qwen-2.5-72b-instruct	S	✔	✔	✔	✔	4/4
qwen	qwen-2.5-7b-instruct	S	✔	✔	✔	✔	4/4
qwen	qwen-max	S	✔	✔	✔	✔	4/4
qwen	qwen-plus	S	✔	✔	✔	✔	4/4
qwen	qwen-plus-2025-07-28	S	✔	✔	✔	✔	4/4
qwen	qwen-turbo	S	✔	✔	✔	✔	4/4
qwen	qwen3-14b	S	✔	✔	✔	✔	4/4
qwen	qwen3-235b-a22b	S	✔	✔	✔	✔	4/4
qwen	qwen3-235b-a22b-2507	S	✔	✔	✔	✔	4/4
qwen	qwen3-30b-a3b	S	✔	✔	✔	✔	4/4
qwen	qwen3-30b-a3b-instruct-2507	S	✔	✔	✔	✔	4/4
qwen	qwen3-32b	S	✔	✔	✔	✔	4/4
qwen	qwen3-8b	S	✔	✔	✔	✔	4/4
qwen	qwen3-coder	S	✔	✔	✔	✔	4/4
qwen	qwen3-coder-30b-a3b-instruct	S	✔	✔	✔	✔	4/4
qwen	qwen3-coder-flash	S	✔	✔	✔	✔	4/4
qwen	qwen3-coder-next	S	✔	✔	✔	✔	4/4
qwen	qwen3-coder-plus	S	✔	✔	✔	✔	4/4
qwen	qwen3-max	S	✔	✔	✔	✔	4/4
qwen	qwen3-next-80b-a3b-instruct	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-122b-a10b	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-27b	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-35b-a3b	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-397b-a17b	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-9b	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-flash-02-23	S	✔	✔	✔	✔	4/4
qwen	qwen3.5-plus-02-15	S	✔	✔	✔	✔	4/4
qwen	qwq-32b	S	✔	✔	✔	✔	4/4
relace	relace-search	S	✔	✔	✔	✔	4/4
stepfun	step-3.5-flash	S	✔	✔	✔	✔	4/4
tngtech	deepseek-r1t2-chimera	S	✔	✔	✔	✔	4/4
upstage	solar-pro-3	S	✔	✔	✔	✔	4/4
x-ai	grok-3	S	✔	✔	✔	✔	4/4
x-ai	grok-3-beta	S	✔	✔	✔	✔	4/4
x-ai	grok-3-mini	S	✔	✔	✔	✔	4/4
x-ai	grok-3-mini-beta	S	✔	✔	✔	✔	4/4
x-ai	grok-4	S	✔	✔	✔	✔	4/4
x-ai	grok-4-fast	S	✔	✔	✔	✔	4/4
x-ai	grok-4.1-fast	S	✔	✔	✔	✔	4/4
x-ai	grok-4.20	S	✔	✔	✔	✔	4/4
x-ai	grok-code-fast-1	S	✔	✔	✔	✔	4/4
xiaomi	mimo-v2-flash	S	✔	✔	✔	✔	4/4
xiaomi	mimo-v2-omni	S	✔	✔	✔	✔	4/4
xiaomi	mimo-v2-pro	S	✔	✔	✔	✔	4/4
z-ai	glm-4-32b	S	✔	✔	✔	✔	4/4
z-ai	glm-4.5	S	✔	✔	✔	✔	4/4
z-ai	glm-4.5-air	S	✔	✔	✔	✔	4/4
z-ai	glm-4.5v	S	✔	✔	✔	✔	4/4
z-ai	glm-4.6	S	✔	✔	✔	✔	4/4
z-ai	glm-4.6v	S	✔	✔	✔	✔	4/4
z-ai	glm-4.7	S	✔	✔	✔	✔	4/4
z-ai	glm-4.7-flash	S	✔	✔	✔	✔	4/4
z-ai	glm-5	S	✔	✔	✔	✔	4/4
z-ai	glm-5-turbo	S	✔	✔	✔	✔	4/4
z-ai	glm-5v-turbo	S	✔	✔	✔	✔	4/4
deepseek	deepseek-r1-0528	A	✔	✖	✔	✔	3/4
rekaai	reka-edge	A	✔	✖	✔	✔	3/4
openai	gpt-oss-safeguard-20b	B	✔	✖	✔	✖	2/4
ai21	jamba-large-1.7	C	✔	✖	✖	✖	1/4
arcee-ai	trinity-mini	C	✖	✔	✖	✖	1/4
meituan	longcat-flash-chat	C	✖	✔	✖	✖	1/4
mistralai	mixtral-8x7b-instruct	F	✖	✖	✖	✖	0/4

Methodology

Every model is tested through OpenRouter using the OpenAI-compatible API format. Each model runs 4 real tool-calling scenarios against a live AgentNode Runtime instance with actual registered tools.

A scenario passes when the model calls all expected tools with correct arguments and produces a coherent response. No mocking, no simulated tool calls. The model must generate valid function calls that the runtime can execute.

Models that return API errors (rate limits, unavailable, etc.) are excluded from the matrix and not counted in any tier.

Works with your model

96% of all tested models achieve perfect compatibility. Pick any model from your provider and start building.

Runtime Docs Get Started