Inkling 2 Mini ra mắt với hiệu năng tiên tiến cho thiết lập localInkling 2 Mini launches with cutting-edge performance for your local setup
Mẹo: Dùng Microsoft Edge để nghe giọng đọc tiếng Việt tự nhiên hơn (HoaiMy, NamMinh).Tip: Use Microsoft Edge for more natural Vietnamese read-aloud voices (HoaiMy, NamMinh).

Hugging Face Blog ngày 20/11/2026 đăng bài chào đón Inkling 2 Mini, nhấn mạnh hiệu năng tiên tiến cho thiết lập local của người dùng. Model được giới thiệu với tên đầy đủ là Inkling 2 Mini.On 20 November 2026, the Hugging Face Blog published a post welcoming Inkling 2 Mini, highlighting cutting-edge performance for users' local setups. The model was introduced under the full name Inkling 2 Mini.
Inkling 2 Mini chỉ kích hoạt 3B tham số mỗi token nhưng thực thi 48 lượt lớp nhờ lặp lõi transformer ba lần — thiết kế giúp model nhỏ này nhắm tới AI local. Model nhận văn bản và hình ảnh, hỗ trợ ngữ cảnh 1M token và được Thinking Machines Lab đóng gói kèm drafter DSpark để tăng tốc với chi phí bộ nhớ nhỏ. Kết luận là: đây là lựa chọn nhỏ hơn hẳn Inkling 2 Small, nhưng qua kiểm tra cảm tính ban đầu của nhóm đăng bài, hiệu năng ít nhất ngang Qwen 3.8 27B.
Điểm mới
Khác biệt cốt lõi nằm ở kiến trúc transformer vòng lặp, không phải chỉ ở việc cắt giảm kích thước. Inkling 2 Mini là model Mixture-of-Experts có 24 lớp decoder vật lý, trong đó các lớp 6–17 được chạy ba lần, còn các lớp 0–5 và 18–23 chỉ chạy một lần; cả ba lượt qua lõi đều dùng chung trọng số. Cách tái sử dụng này giảm số lớp riêng biệt mà checkpoint phải lưu, nhưng model vẫn thực thi đầy đủ mọi lượt lớp, và mỗi lượt vẫn giữ trạng thái KV cùng trạng thái chập ngắn riêng.
Thông tin giữa các lượt không bị cắt đứt. Mỗi lượt qua lõi bắt đầu từ cùng một đầu vào — đầu ra của sáu lớp đầu tiên — đồng thời đọc một thông điệp xuyên lượt từ đầu ra của lượt trước bằng truy vấn đã học riêng; có một thông điệp cho các đầu vào query, key, value và MLP. Một bộ điều khiển cổng nhỏ nhìn vào đầu vào hiện tại và thông điệp, rồi quyết định quên bao nhiêu phần đầu vào và cộng thêm bao nhiêu phần thông điệp. Nhờ vậy, mỗi lượt tinh chỉnh lại những gì lượt trước đã tính.
Cùng đợt phát hành còn có một artifact nghiên cứu dùng chung kiến trúc, nhưng được huấn luyện để chấp nhận số lượt qua vòng lặp thay đổi được.
Thông số nổi bật
Mỗi khối sáu lớp gồm năm lớp cửa sổ trượt và một lớp full-attention; cửa sổ cục bộ chứa tối đa 1.024 token. Các lớp full-attention dùng phép chập động cho key và value, trong khi attention dùng logit vị trí tương đối đã học, một sink đã học và một cổng đầu ra. Ở lượt 2 và 3, mỗi lớp lõi còn attend trên hai khối residual từ lượt trước. Bốn cổng hạng 64 trộn các thông điệp riêng biệt vào đầu vào của query, key, value và MoE, còn router SwiGLU chuẩn hoá điểm của các chuyên gia được chọn và nhân trọng số với hệ số 8.
| Hạng mục | Inkling 2 Mini |
|---|---|
| Tổng tham số vật lý | ~26B |
| Tham số kích hoạt mỗi token | 3B |
| Lớp decoder vật lý / logic | 24 / 48 |
| Độ rộng decoder văn bản | 2.304 |
| Chuyên gia mỗi lớp / được chọn mỗi token | 128 / 8 |
| Ngữ cảnh tối đa | 1M token |
| Đầu vào | Văn bản, hình ảnh |
| Query heads / KV heads | 24 / 8 |
| Độ rộng trung gian mỗi chuyên gia | 1.152 |
| Định dạng trọng số chuyên gia | NVFP4, MXFP8 |
Khác gì bản trước
Điểm so sánh chính trong bài nguồn là Inkling 2 Small. Mini được mô tả là nhỏ hơn rất, rất nhiều so với Small, nhưng cả hai đều thực thi 48 lượt lớp mỗi token. Khác biệt nằm ở dung lượng trên mỗi lượt: độ rộng ẩn của Mini là 2.304, so với 4.608 của Small. Ở mỗi lượt, cả hai đều định tuyến token tới 8 chuyên gia, nhưng Mini chọn từ 128 chuyên gia mỗi lớp, còn Small chọn từ 384.
Nói cách khác, việc thu nhỏ không rút ngắn độ sâu tính toán danh nghĩa, mà dựa vào decoder hẹp hơn, bể chuyên gia nhỏ hơn và trọng số lõi dùng chung. Chính nhóm tác giả cũng lưu ý các “vibe test” so với Qwen 3.8 27B vẫn cần thêm kiểm chứng, và nguồn chưa nêu điểm benchmark cụ thể để biến nhận xét đó thành thứ hạng chính thức.
Giá và thời điểm dùng được
Bài viết được đăng ngày 20/11/2026. Về giá, nguồn chưa công bố giá và không nêu phí mua, nên chưa thể xác nhận chi phí sở hữu từ bài này. Thông tin dùng được mà nguồn khẳng định nằm ở hệ sinh thái: bản phát hành hỗ trợ Transformers, Llama App (llama.cpp) và MLX. Với triển khai production trên phần cứng trung tâm dữ liệu, SGLang cung cấp hỗ trợ suy luận ngay từ ngày đầu. Model được phát hành ở định dạng độ chính xác hỗn hợp, với trọng số chuyên gia NVFP4 và MXFP8 — chi tiết quan trọng cho người tính toán bộ nhớ khi chạy local, dù nguồn không đưa ra yêu cầu phần cứng tối thiểu cụ thể.
Ai nên thử
Người dùng local là nhóm được nhắm tới trực tiếp.
"We think this is a refreshingly new great local model."
Nhóm có lý do thử sớm nhất là những người cần xử lý văn bản kèm hình ảnh hoặc cần ngữ cảnh dài trong một thiết lập tự vận hành, và chấp nhận rằng đánh giá hiệu năng hiện vẫn cần thêm kiểm chứng. Nhà nghiên cứu quan tâm tới looping cũng nên chú ý tới artifact cho phép thay đổi số lượt qua lõi — một hướng mà các kiến trúc như Nanbeige từng khám phá, nhưng Mini triển khai bằng thông điệp xuyên lượt. Ngược lại, ai cần điểm benchmark đầy đủ hoặc giá rõ ràng để lập ngân sách thì nên chờ thông tin tiếp theo.
Inkling 2 Mini activates only 3B parameters per token but executes 48 layer visits by looping its transformer core three times — a design that lets this small model target local AI. The model accepts text and images, supports a 1M-token context and is packaged by Thinking Machines Lab with the DSpark drafter to speed up inference at a small memory cost. The takeaway is: this is a much smaller option than Inkling 2 Small, yet in the posting team's initial vibe tests its performance is at least on par with Qwen 3.8 27B.
What's New
The core difference lies in the looped transformer architecture, not merely in a reduction in size. Inkling 2 Mini is a Mixture-of-Experts model with 24 physical decoder layers, of which layers 6–17 are run three times, while layers 0–5 and 18–23 run only once; all three passes through the core reuse the same weights. This reuse reduces the number of distinct layers the checkpoint must store, but the model still executes every layer visit in full, and each visit keeps its own KV state and short-convolution state.
Information between passes is not cut off. Each pass through the core starts from the same input — the output of the first six layers — while also reading a cross-pass message from the previous pass's output using its own learned query; there is one message for the query, key, value and MLP inputs. A small gating controller then looks at the layer's current input and the message, and decides how much of the current input to forget and how much of the message to add. Each pass therefore refines what the previous pass computed.
The release also includes a research artifact that shares the same architecture but was trained to accept a variable number of passes through the loop.
Key Specifications
Each six-layer block consists of five sliding-window layers and one full-attention layer; the local window holds up to 1,024 tokens. The full-attention layers use dynamic convolutions for key and value, while attention uses learned relative position logits, a learned sink and an output gate. In passes 2 and 3, each core layer also attends over two residual blocks from the previous pass. Four rank-64 gates mix separate messages into the query, key, value and MoE inputs, while the SwiGLU router normalizes the scores of the selected experts and scales the weights by a factor of 8.
| Item | Inkling 2 Mini |
|---|---|
| Total physical parameters | ~26B |
| Active parameters per token | 3B |
| Physical / logical decoder layers | 24 / 48 |
| Text decoder width | 2,304 |
| Experts per layer / selected per token | 128 / 8 |
| Maximum context | 1M tokens |
| Inputs | Text, images |
| Query heads / KV heads | 24 / 8 |
| Intermediate width of each expert | 1,152 |
| Expert weight formats | NVFP4, MXFP8 |
How It Differs From the Previous Version
The main comparison in the source article is Inkling 2 Small. Mini is described as much, much smaller than Small, but both execute 48 layer visits per token. The difference lies in the capacity per visit: Mini's hidden width is 2,304, compared with 4,608 for Small. At each visit, both route a token to 8 experts, but Mini selects from 128 experts per layer, while Small selects from 384.
In other words, the downsizing does not shorten the nominal computational depth, but instead relies on a narrower decoder, a smaller expert pool and shared core weights. The authors themselves note that the “vibe tests” against Qwen 3.8 27B still need more validation, and the source gives no specific benchmark score that would turn that impression into an official ranking.
Price and Availability
The article was published on November 20, 2026. On price, the source has not announced a price and does not state a purchase fee, so the cost of ownership cannot be confirmed from this article. The usability information the source does confirm lies in the ecosystem: the release supports Transformers, Llama App (llama.cpp) and MLX. For production deployments on datacenter hardware, SGLang provides inference support from day zero. The model is released in a mixed-precision format, with NVFP4 and MXFP8 expert weights — an important detail for anyone calculating memory for local runs, although the source gives no specific minimum hardware requirement.
Who Should Try It
Local users are the group targeted directly.
"We think this is a refreshingly new great local model."
The group with the strongest reason to try it early is people who need to process text together with images, or who need a long context in a self-run setup, and who accept that performance assessments still need more validation. Researchers interested in looping should also note the artifact that allows the number of passes through the core to be varied — a direction that architectures such as Nanbeige have explored before, but which Mini implements through cross-pass messages. Conversely, anyone who needs full benchmark scores or a clear price for budgeting should wait for further information.
Nguồn tham chiếuSource: Hugging Face Blog


