Thinking Machines ra mắt Inkling 2 Mini: model mở 26,4 tỷ tham số chạy được trên MacBook, dẫn đầu coding trong nhóm model nhỏThinking Machines Launches Inkling 2 Mini: 26.4B-Parameter Open Model That Runs on a MacBook and Leads Coding Among Small Models
Mẹo: Dùng Microsoft Edge để nghe giọng đọc tiếng Việt tự nhiên hơn (HoaiMy, NamMinh).Tip: Use Microsoft Edge for more natural Vietnamese read-aloud voices (HoaiMy, NamMinh).

Thinking Machines Lab vừa phát hành Inkling 2 Mini — một model mở trọng số chỉ 26,4 tỷ tham số nhưng "suy nghĩ" bằng cách chạy lại các lớp giữa ba lần cho mỗi token, nhờ đó vượt Qwen3.8-27B ở nhiều benchmark lập trình agentic mà chỉ cần khoảng 20GB bộ nhớ: đủ chạy offline ngay trên một chiếc MacBook.Thinking Machines Lab has just released Inkling 2 Mini — an open-weights model with only 26.4 billion parameters that "thinks" by running its middle layers three times for every token, letting it beat Qwen3.8-27B on many agentic coding benchmarks while needing only about 20GB of memory: enough to run offline right on a MacBook.
Thinking Machines Lab vừa phát hành Inkling 2 Mini — một model mở trọng số chỉ 26,4 tỷ tham số nhưng "suy nghĩ" bằng cách chạy lại các lớp giữa ba lần cho mỗi token, nhờ đó vượt Qwen3.8-27B ở nhiều benchmark lập trình agentic mà chỉ cần khoảng 20GB bộ nhớ: đủ chạy offline ngay trên một chiếc MacBook.
Thông số nổi bật
| Hạng mục | Thông số |
|---|---|
| Kiến trúc | Looped transformer, Mixture-of-Experts |
| Tổng tham số | 26,4 tỷ |
| Tham số active mỗi token | 3,4 tỷ (5,4 tỷ lượt kích hoạt tính cả lặp lớp) |
| Số lớp | 24 lớp, khối giữa (12 lớp) chạy 3 lần → 48 lượt áp dụng lớp/token |
| Bộ nhớ khi chạy | ~20GB (20 lớp ở NVFP4, 4 lớp cuối ở MXFP8 — đúng độ chính xác lúc huấn luyện, không mất mát do lượng tử hóa sau) |
| Cửa sổ ngữ cảnh | 1 triệu token (theo Artificial Analysis) |
| Đầu vào / đầu ra | Văn bản + hình ảnh → văn bản |
| Giấy phép | Apache 2.0 |
| Giá API trên Tinker | 0,15 USD / 0,50 USD / 0,015 USD cho 1 triệu token input / output / cache hit (theo Artificial Analysis) |
Giá và thời điểm dùng được
Model đã có từ ngày 20/11/2026 trên nhiều kênh:
- Tinker — inference, fine-tuning và chat trên Tinker Playground (kênh chính thức của hãng).
- Hugging Face — tải trọng số tại
thinkingmachines/Inkling-2-Mini. - Chạy local — Ollama trên Mac từ 32GB RAM trở lên; GGUF qua Unsloth và llama.cpp; chạy được trên DGX Spark.
- Chạy server — SGLang và vLLM (vLLM hỗ trợ ngay ngày ra mắt, hiện cần bản nightly hoặc image chuyên dụng
vllm/vllm-openai:inkling-2-minicho tới khi vào bản ổn định).
Giá API trên Tinker là 0,15 USD / 0,50 USD cho 1 triệu token input / output — rẻ hơn nhiều so với các model frontier đóng, phù hợp để chạy agent với khối lượng lớn.
Ai nên thử
- Dev muốn coding agent chạy local/offline: 20GB là mức vừa với MacBook 32GB+ hoặc máy trạm có VRAM 32GB; hãng demo model chạy offline trên MacBook Pro M5 Pro (48GB) ở chế độ máy bay và tự viết một game mô phỏng bay chơi được chỉ trong vài phút.
- Team chạy nhiều agent thường trực trên một máy: hiệu quả trên mỗi joule cao và chi phí API thấp khiến model hợp để chạy nhiều phiên agent song song.
- Nhà nghiên cứu: kiến trúc lặp lớp và model biến thể vòng lặp đi kèm là chất liệu hiếm để nghiên cứu về khả năng giám sát suy luận (CoT ngắn lại khi lặp nhiều nhưng vẫn đọc được, theo phân tích của hãng).
Điểm mới chính
Inkling 2 Mini là một looped transformer: trong 24 lớp của model, 12 lớp giữa được chạy lại ba lần cho mỗi token, tạo thành 48 lượt áp dụng lớp từ chỉ 24 lớp lưu trữ. Cách này cho model "suy luận lâu hơn trong đầu" mà không cần viết chain-of-thought dài ra — đặc biệt có lợi cho các tác vụ coding agentic vốn phụ thuộc vào chất lượng suy luận. Theo Thinking Machines, việc lặp lớp giữa cho hiệu quả cao hơn lặp lớp cuối trên 27/28 phép đo, tương đương tiết kiệm 1,51–1,91 lần chi phí tính toán so với baseline không lặp.
Model được phát hành mở trọng số theo giấy phép Apache 2.0, nhận đầu vào văn bản và hình ảnh, và đi kèm một model nghiên cứu biến thể vòng lặp (TML-d24-varloop-research) để cộng đồng nghiên cứu về khả năng giám sát của kiến trúc lặp lớp.
Mạnh ở đâu: điểm benchmark
Các con số dưới đây do Thinking Machines công bố (hãng lưu ý cách đo có thể khác nhau giữa các model), so với các model mở cùng cỡ:
| Benchmark | Inkling 2 Mini | Đối thủ gần nhất |
|---|---|---|
| DeepSWE v1.1 | 48,2% — cao nhất nhóm model mở dưới 100B tham số | Qwen3.8-27B: 42,2% |
| SWE-bench Pro v2 Hard (51 task) | 77,9% | Qwen3.8-27B: 73,8% |
| SWE-bench Verified | 79,2% | Qwen3.8-27B: 77,8% |
| SWE-bench Multilingual | 73,7% | Qwen3.8-27B: 70,0% |
| Vals Index v2.2 | 46,5% | — |
| Artificial Analysis Index | 20,1 (ngang Muse Glimmer 20,1) | Gemma 4 31B: 4,4 |
| BrowseComp (tìm kiếm agentic) | 79,0% | Nemotron 3.5 Super VL: 78,9% |
| MCP Atlas (dùng công cụ) | 82,7% | Qwen3.8-27B: 77,3% |
| Terminal-Bench v2.1 | 71,6% | Qwen3.8-27B: 73,0% |
Điểm đáng chú ý về hiệu quả: theo Artificial Analysis, Inkling 2 Mini tốn 0,59 USD và 9 phút cho mỗi task của Intelligence Index, so với 3,53 USD và 38,2 phút của Qwen3.8-27B. Nhóm Stanford đo "trí tuệ trên mỗi joule": model đạt 0,703 khi chạy trên DGX Spark, cao hơn hẳn Qwen3.6-35B-A3B (0,430) và Gemma-4-26B-A4B (0,159).
Khác gì so với đối thủ
- So với Qwen3.8-27B: Qwen là model dense 27B (toàn bộ tham số đều hoạt động), còn Inkling 2 Mini chỉ kích hoạt 3,4B tham số mỗi token nên nhẹ hơn rất nhiều khi chạy local — và thắng ở hầu hết benchmark coding agentic. Đổi lại, Inkling 2 Mini thua Qwen ở chat nhiều lượt và bài toán đòi hỏi nhiều kiến thức nền: MultiChallenge 50,0%, ComplexConstraints 33,4%.
- So với Inkling 2 Small: bản Small mạnh hơn nhưng hiện vẫn đóng trọng số; Thinking Machines cho biết sẽ mở trọng số của Small vào tuần sau sau khi hoàn tất kiểm tra an toàn bên ngoài. Mini là bản mở ngay từ ngày đầu.
- Về kiến thức nền: hãng nói thẳng rằng lặp lớp không giúp model "nhớ" thêm fact — kiến thức vẫn phụ thuộc vào tổng số tham số. Inkling 2 Mini bù đắp bằng khả năng dùng search và công cụ rất tốt (dẫn đầu BrowseComp, DeepSearchQA, MCP Atlas trong nhóm so sánh).
Hạn chế cần biết
- Chat nhiều lượt và instruction nhiều ràng buộc không phải điểm mạnh: model đứng sau Qwen3.8-27B ở MultiChallenge và ComplexConstraints.
- Kiến thức nền hạn chế theo cỡ model: đừng kỳ vọng model nhớ nhiều fact như model lớn; hãy cho nó dùng search và công cụ.
- vLLM cần bản nightly trong giai đoạn đầu; bản ổn định sẽ có sau.
Cách dùng thử
- Trải nghiệm nhanh nhất: chat thử trên Tinker Playground (link trong bài blog chính thức của hãng).
- Tải trọng số: Hugging Face —
thinkingmachines/Inkling-2-Mini. - Chạy local trên Mac (từ 32GB RAM): dùng Ollama theo hướng dẫn trong bài blog chính thức.
- Chạy server bằng vLLM:
vllm serve thinkingmachines/Inkling-2-Mini
(Hiện cần bản nightly hoặc image vllm/vllm-openai:inkling-2-mini.)
- Chạy trên Windows bằng llama.cpp (bản GGUF 4-bit):
winget install llama.cpp
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
Việc cần làm
- Thử ngay nếu đang cần coding agent local: tải model qua Ollama (Mac 32GB+) hoặc Hugging Face, ưu tiên tác vụ sửa code, viết test và chạy tool — đó là điểm mạnh nhất của model.
- Nếu chạy vLLM: dùng image chuyên dụng
vllm/vllm-openai:inkling-2-minihoặc bản nightly cho tới khi hỗ trợ vào bản ổn định. - Đọc kỹ trước khi dùng cho chat dài: model yếu ở hội thoại nhiều lượt và instruction phức tạp; với các tác vụ đó, Qwen3.8-27B vẫn là lựa chọn tốt hơn trong cùng tầm cỡ.
Nguồn: Thinking Machines — Introducing Inkling 2 Mini: https://thinkingmachines.ai/news/inkling-2-mini/ · Giá và cửa sổ ngữ cảnh theo Artificial Analysis: https://artificialanalysis.ai/articles/inkling-2-mini
#AIModel #QuocTe #HOT #Inkling2Mini #ThinkingMachines #OpenWeights
Thinking Machines Lab has just released Inkling 2 Mini — an open-weights model with only 26.4 billion parameters that "thinks" by running its middle layers three times for every token, letting it beat Qwen3.8-27B on many agentic coding benchmarks while needing only about 20GB of memory: enough to run offline right on a MacBook.
What's new
Inkling 2 Mini is a looped transformer: of the model's 24 layers, the 12 middle layers are run again three times for each token, making 48 layer applications from just 24 stored layers. This lets the model "reason longer in its head" without writing out a long chain-of-thought — especially valuable for agentic coding tasks, which depend on reasoning quality. According to Thinking Machines, looping the middle layers beats looping the final layers on 27 of 28 measurements, equivalent to saving 1.51–1.91× the compute cost versus a non-looped baseline.
The model is released open-weights under the Apache 2.0 license, takes text and image input, and comes with a research variant-loop model (TML-d24-varloop-research) so the community can study the monitorability of the looped architecture.
Key specs
| Item | Spec |
|---|---|
| Architecture | Looped transformer, Mixture-of-Experts |
| Total parameters | 26.4 billion |
| Active parameters per token | 3.4 billion (5.4 billion layer activations counting the looping) |
| Layers | 24 layers, middle block (12 layers) run 3× → 48 layer applications/token |
| Runtime memory | ~20GB (20 layers in NVFP4, final 4 layers in MXFP8 — the exact training precision, no loss from post-training quantization) |
| Context window | 1 million tokens (per Artificial Analysis) |
| Input / output | Text + image → text |
| License | Apache 2.0 |
| API pricing on Tinker | USD 0.15 / 0.50 / 0.015 per 1M input / output / cache-hit tokens (per Artificial Analysis) |
Who should try it
- Developers who want a coding agent that runs locally/offline: 20GB fits a 32GB+ MacBook or a workstation with 32GB of VRAM; the company demoed the model running offline on a MacBook Pro M5 Pro (48GB) in airplane mode, writing a playable flight-simulator game in just a few minutes.
- Teams running many always-on agents on one machine: high intelligence per joule and low API cost make the model a good fit for running many agent sessions in parallel.
- Researchers: the looped architecture and the accompanying variant-loop model are rare material for studying reasoning monitorability (chains-of-thought get shorter with more looping but stay readable, per the company's analysis).
Where it shines: benchmark scores
The figures below are published by Thinking Machines (the company notes measurement setups may differ between models), against open models of similar size:
| Benchmark | Inkling 2 Mini | Closest rival |
|---|---|---|
| DeepSWE v1.1 | 48.2% — highest among open models under 100B parameters | Qwen3.8-27B: 42.2% |
| SWE-bench Pro v2 Hard (51 tasks) | 77.9% | Qwen3.8-27B: 73.8% |
| SWE-bench Verified | 79.2% | Qwen3.8-27B: 77.8% |
| SWE-bench Multilingual | 73.7% | Qwen3.8-27B: 70.0% |
| Vals Index v2.2 | 46.5% | — |
| Artificial Analysis Index | 20.1 (level with Muse Glimmer 20.1) | Gemma 4 31B: 4.4 |
| BrowseComp (agentic search) | 79.0% | Nemotron 3.5 Super VL: 78.9% |
| MCP Atlas (tool use) | 82.7% | Qwen3.8-27B: 77.3% |
| Terminal-Bench v2.1 | 71.6% | Qwen3.8-27B: 73.0% |
One notable efficiency point: according to Artificial Analysis, Inkling 2 Mini costs USD 0.59 and 9 minutes per Intelligence Index task, versus USD 3.53 and 38.2 minutes for Qwen3.8-27B. A Stanford group measured "intelligence per joule": the model scored 0.703 running on a DGX Spark, far above Qwen3.6-35B-A3B (0.430) and Gemma-4-26B-A4B (0.159).
How it differs from rivals
- Versus Qwen3.8-27B: Qwen is a dense 27B model (all parameters active), while Inkling 2 Mini activates only 3.4B parameters per token, so it is far lighter to run locally — and it wins most agentic coding benchmarks. In return, Inkling 2 Mini trails Qwen at multi-turn chat and knowledge-heavy problems: MultiChallenge 50.0%, ComplexConstraints 33.4%.
- Versus Inkling 2 Small: Small is stronger but its weights are still closed for now; Thinking Machines says Small's weights will open next week once external safety checks are complete. Mini is open from day one.
- On background knowledge: the company is candid that looping does not help the model "remember" more facts — knowledge still depends on total parameter count. Inkling 2 Mini compensates with excellent search and tool use (leading BrowseComp, DeepSearchQA and MCP Atlas in its comparison group).
Pricing and availability
The model has been available since November 20, 2026 through many channels:
- Tinker — inference, fine-tuning and chat on Tinker Playground (the company's official channel).
- Hugging Face — download the weights at
thinkingmachines/Inkling-2-Mini. - Run locally — Ollama on Macs with 32GB RAM or more; GGUF via Unsloth and llama.cpp; also runs on DGX Spark.
- Run on servers — SGLang and vLLM (vLLM supported it on launch day; for now it needs a nightly build or the dedicated image
vllm/vllm-openai:inkling-2-miniuntil support lands in a stable release).
API pricing on Tinker is USD 0.15 / 0.50 per 1M input / output tokens — far cheaper than closed frontier models, a good fit for running agents at volume.
Limitations to know
- Multi-turn chat and heavily constrained instructions are not its strength: the model sits behind Qwen3.8-27B on MultiChallenge and ComplexConstraints.
- Background knowledge is limited by model size: don't expect it to remember as many facts as a large model; give it search and tools instead.
- vLLM needs a nightly build in the early phase; a stable release will follow.
How to try it
- Fastest taste: chat with it on Tinker Playground (link in the company's official blog post).
- Download the weights: Hugging Face —
thinkingmachines/Inkling-2-Mini. - Run locally on a Mac (32GB RAM or more): use Ollama, following the guide in the official blog post.
- Serve with vLLM:
vllm serve thinkingmachines/Inkling-2-Mini
(For now it needs a nightly build or the vllm/vllm-openai:inkling-2-mini image.)
- Run on Windows with llama.cpp (4-bit GGUF build):
winget install llama.cpp
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
What to do
- Try it now if you need a local coding agent: download the model via Ollama (Mac 32GB+) or Hugging Face, and prioritize code-fixing, test-writing and tool-running tasks — that is the model's greatest strength.
- If you serve with vLLM: use the dedicated
vllm/vllm-openai:inkling-2-miniimage or a nightly build until support reaches a stable release. - Read carefully before using it for long chats: the model is weak at multi-turn conversation and complex instructions; for those tasks, Qwen3.8-27B is still the better choice in the same size class.
Source: Thinking Machines — Introducing Inkling 2 Mini: https://thinkingmachines.ai/news/inkling-2-mini/ · Pricing and context window per Artificial Analysis: https://artificialanalysis.ai/articles/inkling-2-mini
#AIModel #QuocTe #HOT #Inkling2Mini #ThinkingMachines #OpenWeights
Nguồn tham chiếuSource: Thinking Machines


