Điểm Tin Công NghệBản Tin TrưaMidday Bulletin
Bản tin 21/11Bulletin 21/11

AI Model & InferenceAI Models & Inference · 21/11 · Mã bàiArticle BT-307 · HOT

Thinking Machines ra mắt Inkling 2 Mini: model mở 26,4 tỷ tham số chạy được trên MacBook, dẫn đầu coding trong nhóm model nhỏThinking Machines Launches Inkling 2 Mini: 26.4B-Parameter Open Model That Runs on a MacBook and Leads Coding Among Small Models

Đăng bàiPostXem bài viết gốcView original article

Mẹo: Dùng Microsoft Edge để nghe giọng đọc tiếng Việt tự nhiên hơn (HoaiMy, NamMinh).Tip: Use Microsoft Edge for more natural Vietnamese read-aloud voices (HoaiMy, NamMinh).

Ảnh bìa bài viết: Thinking Machines ra mắt Inkling 2 Mini: model mở 26,4 tỷ tham số chạy được trên MacBook, dẫn đầu coding trong nhóm model nhỏ
Ảnh: thinkingmachines.ai — Ảnh bìa do Thinking Machines Lab phát hànhẢnh: thinkingmachines.ai — Ảnh bìa do Thinking Machines Lab phát hành

Thinking Machines Lab vừa phát hành Inkling 2 Mini — một model mở trọng số chỉ 26,4 tỷ tham số nhưng "suy nghĩ" bằng cách chạy lại các lớp giữa ba lần cho mỗi token, nhờ đó vượt Qwen3.8-27B ở nhiều benchmark lập trình agentic mà chỉ cần khoảng 20GB bộ nhớ: đủ chạy offline ngay trên một chiếc MacBook.Thinking Machines Lab has just released Inkling 2 Mini — an open-weights model with only 26.4 billion parameters that "thinks" by running its middle layers three times for every token, letting it beat Qwen3.8-27B on many agentic coding benchmarks while needing only about 20GB of memory: enough to run offline right on a MacBook.

Thinking Machines Lab vừa phát hành Inkling 2 Mini — một model mở trọng số chỉ 26,4 tỷ tham số nhưng "suy nghĩ" bằng cách chạy lại các lớp giữa ba lần cho mỗi token, nhờ đó vượt Qwen3.8-27B ở nhiều benchmark lập trình agentic mà chỉ cần khoảng 20GB bộ nhớ: đủ chạy offline ngay trên một chiếc MacBook.

Thông số nổi bật

Hạng mụcThông số
Kiến trúcLooped transformer, Mixture-of-Experts
Tổng tham số26,4 tỷ
Tham số active mỗi token3,4 tỷ (5,4 tỷ lượt kích hoạt tính cả lặp lớp)
Số lớp24 lớp, khối giữa (12 lớp) chạy 3 lần → 48 lượt áp dụng lớp/token
Bộ nhớ khi chạy~20GB (20 lớp ở NVFP4, 4 lớp cuối ở MXFP8 — đúng độ chính xác lúc huấn luyện, không mất mát do lượng tử hóa sau)
Cửa sổ ngữ cảnh1 triệu token (theo Artificial Analysis)
Đầu vào / đầu raVăn bản + hình ảnh → văn bản
Giấy phépApache 2.0
Giá API trên Tinker0,15 USD / 0,50 USD / 0,015 USD cho 1 triệu token input / output / cache hit (theo Artificial Analysis)

Giá và thời điểm dùng được

Model đã có từ ngày 20/11/2026 trên nhiều kênh:

  • Tinker — inference, fine-tuning và chat trên Tinker Playground (kênh chính thức của hãng).
  • Hugging Face — tải trọng số tại thinkingmachines/Inkling-2-Mini.
  • Chạy local — Ollama trên Mac từ 32GB RAM trở lên; GGUF qua Unsloth và llama.cpp; chạy được trên DGX Spark.
  • Chạy server — SGLang và vLLM (vLLM hỗ trợ ngay ngày ra mắt, hiện cần bản nightly hoặc image chuyên dụng vllm/vllm-openai:inkling-2-mini cho tới khi vào bản ổn định).

Giá API trên Tinker là 0,15 USD / 0,50 USD cho 1 triệu token input / output — rẻ hơn nhiều so với các model frontier đóng, phù hợp để chạy agent với khối lượng lớn.

Ai nên thử

  • Dev muốn coding agent chạy local/offline: 20GB là mức vừa với MacBook 32GB+ hoặc máy trạm có VRAM 32GB; hãng demo model chạy offline trên MacBook Pro M5 Pro (48GB) ở chế độ máy bay và tự viết một game mô phỏng bay chơi được chỉ trong vài phút.
  • Team chạy nhiều agent thường trực trên một máy: hiệu quả trên mỗi joule cao và chi phí API thấp khiến model hợp để chạy nhiều phiên agent song song.
  • Nhà nghiên cứu: kiến trúc lặp lớp và model biến thể vòng lặp đi kèm là chất liệu hiếm để nghiên cứu về khả năng giám sát suy luận (CoT ngắn lại khi lặp nhiều nhưng vẫn đọc được, theo phân tích của hãng).

Điểm mới chính

Inkling 2 Mini là một looped transformer: trong 24 lớp của model, 12 lớp giữa được chạy lại ba lần cho mỗi token, tạo thành 48 lượt áp dụng lớp từ chỉ 24 lớp lưu trữ. Cách này cho model "suy luận lâu hơn trong đầu" mà không cần viết chain-of-thought dài ra — đặc biệt có lợi cho các tác vụ coding agentic vốn phụ thuộc vào chất lượng suy luận. Theo Thinking Machines, việc lặp lớp giữa cho hiệu quả cao hơn lặp lớp cuối trên 27/28 phép đo, tương đương tiết kiệm 1,51–1,91 lần chi phí tính toán so với baseline không lặp.

Model được phát hành mở trọng số theo giấy phép Apache 2.0, nhận đầu vào văn bản và hình ảnh, và đi kèm một model nghiên cứu biến thể vòng lặp (TML-d24-varloop-research) để cộng đồng nghiên cứu về khả năng giám sát của kiến trúc lặp lớp.

Mạnh ở đâu: điểm benchmark

Các con số dưới đây do Thinking Machines công bố (hãng lưu ý cách đo có thể khác nhau giữa các model), so với các model mở cùng cỡ:

BenchmarkInkling 2 MiniĐối thủ gần nhất
DeepSWE v1.148,2% — cao nhất nhóm model mở dưới 100B tham sốQwen3.8-27B: 42,2%
SWE-bench Pro v2 Hard (51 task)77,9%Qwen3.8-27B: 73,8%
SWE-bench Verified79,2%Qwen3.8-27B: 77,8%
SWE-bench Multilingual73,7%Qwen3.8-27B: 70,0%
Vals Index v2.246,5%—
Artificial Analysis Index20,1 (ngang Muse Glimmer 20,1)Gemma 4 31B: 4,4
BrowseComp (tìm kiếm agentic)79,0%Nemotron 3.5 Super VL: 78,9%
MCP Atlas (dùng công cụ)82,7%Qwen3.8-27B: 77,3%
Terminal-Bench v2.171,6%Qwen3.8-27B: 73,0%

Điểm đáng chú ý về hiệu quả: theo Artificial Analysis, Inkling 2 Mini tốn 0,59 USD và 9 phút cho mỗi task của Intelligence Index, so với 3,53 USD và 38,2 phút của Qwen3.8-27B. Nhóm Stanford đo "trí tuệ trên mỗi joule": model đạt 0,703 khi chạy trên DGX Spark, cao hơn hẳn Qwen3.6-35B-A3B (0,430) và Gemma-4-26B-A4B (0,159).

Khác gì so với đối thủ

  • So với Qwen3.8-27B: Qwen là model dense 27B (toàn bộ tham số đều hoạt động), còn Inkling 2 Mini chỉ kích hoạt 3,4B tham số mỗi token nên nhẹ hơn rất nhiều khi chạy local — và thắng ở hầu hết benchmark coding agentic. Đổi lại, Inkling 2 Mini thua Qwen ở chat nhiều lượt và bài toán đòi hỏi nhiều kiến thức nền: MultiChallenge 50,0%, ComplexConstraints 33,4%.
  • So với Inkling 2 Small: bản Small mạnh hơn nhưng hiện vẫn đóng trọng số; Thinking Machines cho biết sẽ mở trọng số của Small vào tuần sau sau khi hoàn tất kiểm tra an toàn bên ngoài. Mini là bản mở ngay từ ngày đầu.
  • Về kiến thức nền: hãng nói thẳng rằng lặp lớp không giúp model "nhớ" thêm fact — kiến thức vẫn phụ thuộc vào tổng số tham số. Inkling 2 Mini bù đắp bằng khả năng dùng search và công cụ rất tốt (dẫn đầu BrowseComp, DeepSearchQA, MCP Atlas trong nhóm so sánh).

Hạn chế cần biết

  • Chat nhiều lượt và instruction nhiều ràng buộc không phải điểm mạnh: model đứng sau Qwen3.8-27B ở MultiChallenge và ComplexConstraints.
  • Kiến thức nền hạn chế theo cỡ model: đừng kỳ vọng model nhớ nhiều fact như model lớn; hãy cho nó dùng search và công cụ.
  • vLLM cần bản nightly trong giai đoạn đầu; bản ổn định sẽ có sau.

Cách dùng thử

  • Trải nghiệm nhanh nhất: chat thử trên Tinker Playground (link trong bài blog chính thức của hãng).
  • Tải trọng số: Hugging Face — thinkingmachines/Inkling-2-Mini.
  • Chạy local trên Mac (từ 32GB RAM): dùng Ollama theo hướng dẫn trong bài blog chính thức.
  • Chạy server bằng vLLM:
   vllm serve thinkingmachines/Inkling-2-Mini

(Hiện cần bản nightly hoặc image vllm/vllm-openai:inkling-2-mini.)

  • Chạy trên Windows bằng llama.cpp (bản GGUF 4-bit):
   winget install llama.cpp
   llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

Việc cần làm

  • Thử ngay nếu đang cần coding agent local: tải model qua Ollama (Mac 32GB+) hoặc Hugging Face, ưu tiên tác vụ sửa code, viết test và chạy tool — đó là điểm mạnh nhất của model.
  • Nếu chạy vLLM: dùng image chuyên dụng vllm/vllm-openai:inkling-2-mini hoặc bản nightly cho tới khi hỗ trợ vào bản ổn định.
  • Đọc kỹ trước khi dùng cho chat dài: model yếu ở hội thoại nhiều lượt và instruction phức tạp; với các tác vụ đó, Qwen3.8-27B vẫn là lựa chọn tốt hơn trong cùng tầm cỡ.

Nguồn: Thinking Machines — Introducing Inkling 2 Mini: https://thinkingmachines.ai/news/inkling-2-mini/ · Giá và cửa sổ ngữ cảnh theo Artificial Analysis: https://artificialanalysis.ai/articles/inkling-2-mini

#AIModel #QuocTe #HOT #Inkling2Mini #ThinkingMachines #OpenWeights

Thinking Machines Lab has just released Inkling 2 Mini — an open-weights model with only 26.4 billion parameters that "thinks" by running its middle layers three times for every token, letting it beat Qwen3.8-27B on many agentic coding benchmarks while needing only about 20GB of memory: enough to run offline right on a MacBook.

What's new

Inkling 2 Mini is a looped transformer: of the model's 24 layers, the 12 middle layers are run again three times for each token, making 48 layer applications from just 24 stored layers. This lets the model "reason longer in its head" without writing out a long chain-of-thought — especially valuable for agentic coding tasks, which depend on reasoning quality. According to Thinking Machines, looping the middle layers beats looping the final layers on 27 of 28 measurements, equivalent to saving 1.51–1.91× the compute cost versus a non-looped baseline.

The model is released open-weights under the Apache 2.0 license, takes text and image input, and comes with a research variant-loop model (TML-d24-varloop-research) so the community can study the monitorability of the looped architecture.

Key specs

ItemSpec
ArchitectureLooped transformer, Mixture-of-Experts
Total parameters26.4 billion
Active parameters per token3.4 billion (5.4 billion layer activations counting the looping)
Layers24 layers, middle block (12 layers) run 3× → 48 layer applications/token
Runtime memory~20GB (20 layers in NVFP4, final 4 layers in MXFP8 — the exact training precision, no loss from post-training quantization)
Context window1 million tokens (per Artificial Analysis)
Input / outputText + image → text
LicenseApache 2.0
API pricing on TinkerUSD 0.15 / 0.50 / 0.015 per 1M input / output / cache-hit tokens (per Artificial Analysis)

Who should try it

  • Developers who want a coding agent that runs locally/offline: 20GB fits a 32GB+ MacBook or a workstation with 32GB of VRAM; the company demoed the model running offline on a MacBook Pro M5 Pro (48GB) in airplane mode, writing a playable flight-simulator game in just a few minutes.
  • Teams running many always-on agents on one machine: high intelligence per joule and low API cost make the model a good fit for running many agent sessions in parallel.
  • Researchers: the looped architecture and the accompanying variant-loop model are rare material for studying reasoning monitorability (chains-of-thought get shorter with more looping but stay readable, per the company's analysis).

Where it shines: benchmark scores

The figures below are published by Thinking Machines (the company notes measurement setups may differ between models), against open models of similar size:

BenchmarkInkling 2 MiniClosest rival
DeepSWE v1.148.2% — highest among open models under 100B parametersQwen3.8-27B: 42.2%
SWE-bench Pro v2 Hard (51 tasks)77.9%Qwen3.8-27B: 73.8%
SWE-bench Verified79.2%Qwen3.8-27B: 77.8%
SWE-bench Multilingual73.7%Qwen3.8-27B: 70.0%
Vals Index v2.246.5%—
Artificial Analysis Index20.1 (level with Muse Glimmer 20.1)Gemma 4 31B: 4.4
BrowseComp (agentic search)79.0%Nemotron 3.5 Super VL: 78.9%
MCP Atlas (tool use)82.7%Qwen3.8-27B: 77.3%
Terminal-Bench v2.171.6%Qwen3.8-27B: 73.0%

One notable efficiency point: according to Artificial Analysis, Inkling 2 Mini costs USD 0.59 and 9 minutes per Intelligence Index task, versus USD 3.53 and 38.2 minutes for Qwen3.8-27B. A Stanford group measured "intelligence per joule": the model scored 0.703 running on a DGX Spark, far above Qwen3.6-35B-A3B (0.430) and Gemma-4-26B-A4B (0.159).

How it differs from rivals

  • Versus Qwen3.8-27B: Qwen is a dense 27B model (all parameters active), while Inkling 2 Mini activates only 3.4B parameters per token, so it is far lighter to run locally — and it wins most agentic coding benchmarks. In return, Inkling 2 Mini trails Qwen at multi-turn chat and knowledge-heavy problems: MultiChallenge 50.0%, ComplexConstraints 33.4%.
  • Versus Inkling 2 Small: Small is stronger but its weights are still closed for now; Thinking Machines says Small's weights will open next week once external safety checks are complete. Mini is open from day one.
  • On background knowledge: the company is candid that looping does not help the model "remember" more facts — knowledge still depends on total parameter count. Inkling 2 Mini compensates with excellent search and tool use (leading BrowseComp, DeepSearchQA and MCP Atlas in its comparison group).

Pricing and availability

The model has been available since November 20, 2026 through many channels:

  • Tinker — inference, fine-tuning and chat on Tinker Playground (the company's official channel).
  • Hugging Face — download the weights at thinkingmachines/Inkling-2-Mini.
  • Run locally — Ollama on Macs with 32GB RAM or more; GGUF via Unsloth and llama.cpp; also runs on DGX Spark.
  • Run on servers — SGLang and vLLM (vLLM supported it on launch day; for now it needs a nightly build or the dedicated image vllm/vllm-openai:inkling-2-mini until support lands in a stable release).

API pricing on Tinker is USD 0.15 / 0.50 per 1M input / output tokens — far cheaper than closed frontier models, a good fit for running agents at volume.

Limitations to know

  • Multi-turn chat and heavily constrained instructions are not its strength: the model sits behind Qwen3.8-27B on MultiChallenge and ComplexConstraints.
  • Background knowledge is limited by model size: don't expect it to remember as many facts as a large model; give it search and tools instead.
  • vLLM needs a nightly build in the early phase; a stable release will follow.

How to try it

  • Fastest taste: chat with it on Tinker Playground (link in the company's official blog post).
  • Download the weights: Hugging Face — thinkingmachines/Inkling-2-Mini.
  • Run locally on a Mac (32GB RAM or more): use Ollama, following the guide in the official blog post.
  • Serve with vLLM:
   vllm serve thinkingmachines/Inkling-2-Mini

(For now it needs a nightly build or the vllm/vllm-openai:inkling-2-mini image.)

  • Run on Windows with llama.cpp (4-bit GGUF build):
   winget install llama.cpp
   llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

What to do

  • Try it now if you need a local coding agent: download the model via Ollama (Mac 32GB+) or Hugging Face, and prioritize code-fixing, test-writing and tool-running tasks — that is the model's greatest strength.
  • If you serve with vLLM: use the dedicated vllm/vllm-openai:inkling-2-mini image or a nightly build until support reaches a stable release.
  • Read carefully before using it for long chats: the model is weak at multi-turn conversation and complex instructions; for those tasks, Qwen3.8-27B is still the better choice in the same size class.

Source: Thinking Machines — Introducing Inkling 2 Mini: https://thinkingmachines.ai/news/inkling-2-mini/ · Pricing and context window per Artificial Analysis: https://artificialanalysis.ai/articles/inkling-2-mini

#AIModel #QuocTe #HOT #Inkling2Mini #ThinkingMachines #OpenWeights

Nguồn tham chiếuSource: Thinking Machines

Đăng bàiPostXem bài viết gốcView original article

Đọc tiếpKeep reading

Ảnh bìa bài viết: Microsoft ra mắt 7 mô hình MAI mới: MAI Code 2 đạt 96% hiệu năng Claude Opus 5.5 với chỉ 5% chi phí
Ảnh: genk.vn — Đối đầu Anthropic, Microsoft ra mắt 7 mô hình AI mới, chi phí thấp hơn tới 95%Ảnh: genk.vn — Đối đầu Anthropic, Microsoft ra mắt 7 mô hình AI mới, chi phí thấp hơn tới 95%
HOTAI Model & InferenceAI Models & InferenceViệt NamVietnam

Microsoft ra mắt 7 mô hình MAI mới: MAI Code 2 đạt 96% hiệu năng Claude Opus 5.5 với chỉ 5% chi phíMicrosoft launches 7 new MAI models: MAI Code 2 reaches 96% of Claude Opus 5.5 programming performance at only 5% of the cost

AI Model & InferenceAI Models & Inference · genk.vn · Việt NamVietnam · 21/11

Tại hội nghị Ignite ngày 17/11, Microsoft công bố 7 mô hình AI mới thuộc dòng MAI, nhắm đến lập trình, an ninh mạng, xử lý hình ảnh và giọng nói. Đáng chú ý, MAI Code 2 được tuyên bố đạt 96% hiệu năng lập trình của Claude Opus 5.5 nhưng chỉ tốn 5% chi phí.At the Ignite conference on November 17, Microsoft announced 7 new AI models in the MAI line, targeting programming, cybersecurity, image processing and voice. Notably, MAI Code 2 is claimed to achieve 96% of the programming performance of Claude Opus 5.5 but at only 5% of the cost.

HãngProvider: Microsoft
Ảnh bìa bài viết: Google DeepMind giới thiệu Gemini 4 Neon
Ảnh: Google DeepMind Blog — Introducing Gemini 4 NeonẢnh: Google DeepMind Blog — Introducing Gemini 4 Neon
HOTAI Model & InferenceAI Models & InferenceQuốc tếInternational

Google DeepMind giới thiệu Gemini 4 NeonGoogle DeepMind introduces Gemini 4 Neon

AI Model & InferenceAI Models & Inference · Google DeepMind Blog · Quốc tếInternational · 21/11

Google DeepMind công bố Gemini 4 Neon, một mô hình mới, qua bài đăng trên blog chính thức ngày 18/11/2026.Google DeepMind announced Gemini 4 Neon, a new model, in a post on its official blog on November 18, 2026.

HãngProvider: Google DeepMind
Ảnh bìa bài viết: Google DeepMind: Genie 4 hiện đã khả dụng
Ảnh: Google DeepMind Blog — Genie 4 is now availableẢnh: Google DeepMind Blog — Genie 4 is now available
AI Model & InferenceAI Models & InferenceQuốc tếInternational

Google DeepMind: Genie 4 hiện đã khả dụngGoogle DeepMind: Genie 4 is now available

AI Model & InferenceAI Models & Inference · Google DeepMind Blog · Quốc tếInternational · 21/11

Google DeepMind thông báo Genie 4 hiện đã khả dụng qua bài đăng trên blog chính thức ngày 18/11/2026.Google DeepMind announced that Genie 4 is now available in a post on its official blog on November 18, 2026.

HãngProvider: Google DeepMind