Bài báo arXiv 2611.21885: Mô hình ngôn ngữ có thể tự viết lại trọng số của chính mìnharXiv paper 2611.21885: Language models can rewrite their own weights
Mẹo: Dùng Microsoft Edge để nghe giọng đọc tiếng Việt tự nhiên hơn (HoaiMy, NamMinh).Tip: Use Microsoft Edge for more natural Vietnamese read-aloud voices (HoaiMy, NamMinh).

Bài báo trên arXiv với mã 2611.21885 trình bày tuyên bố rằng các mô hình ngôn ngữ có thể tự viết lại trọng số của chính mình.The paper on arXiv, numbered 2611.21885, presents the claim that language models can rewrite their own weights.
Một mô hình mở 27B đã tự chẩn đoán lỗi của chính mình, viết lại trọng số gây ra lỗi đó và đạt thêm 6,6 điểm độ chính xác trên các bài toán chưa từng thấy — không dùng gradient và không qua một đợt huấn luyện mới. Kết luận đáng mang về là ranh giới giữa huấn luyện và suy luận có thể không cố định: theo nhóm tác giả, mô hình có thể tự đóng vai trò bộ tối ưu cho chính nó và lưu cải tiến trực tiếp vào trọng số.
Thay đổi gì
Cách làm thông thường mà bài báo đặt ra làm nền là mô hình được huấn luyện một lần rồi đóng băng. Muốn nó tốt hơn, người ta phải chạy một đợt huấn luyện khác; nếu không, chỉ còn prompt, harness hoặc thêm tính toán lúc suy luận, và những can thiệp đó biến mất khi nhiệm vụ kết thúc. Nói cách khác, cải tiến hoặc nằm ở một vòng đào tạo bên ngoài, hoặc chỉ tồn tại tạm thời trong lúc trả lời.
Nhóm 11 tác giả, đứng đầu là Jiajun Fan, gọi cơ chế mới là self-rewriting. Điểm khác căn bản so với công trình trước mà họ trích dẫn là ở đó một mô hình frontier sửa một mô hình nhỏ hơn nhiều, còn ở đây chính mô hình được sửa cũng là mô hình thực hiện việc chẩn đoán và chỉnh sửa. Bài báo thuộc lĩnh vực cs.AI, nộp lần đầu ngày 16 tháng 11 năm 2026 và đã có bản sửa v2 ngày 18 tháng 11 năm 2026. Họ cũng lưu ý đây là lần đầu tiên điều này được thực hiện, theo hiểu biết của họ.
Vì sao dev cần quan tâm
Khác biệt thực dụng nhất nằm ở nơi cải tiến được lưu và chi phí phải trả sau đó. Nhóm tác giả đối chiếu self-rewriting với test-time scaling: thay vì tiếp tục chi thêm tính toán cho từng câu trả lời để đạt kết quả tốt hơn, mức tăng ở đây được ghi vào trọng số nên, theo bài báo, không phát sinh chi phí cho mỗi đáp án. Đồng thời, quá trình sửa chỉ chạy các lượt forward pass như khi phục vụ mô hình, chứ không phải một quy trình huấn luyện thông thường.
Nếu tuyên bố này đứng vững, vòng đời phần mềm quanh mô hình sẽ thay đổi: hệ thống có thể tự nâng cấp mà không cần mô hình lớn hơn đứng phía trên, không cần prompt engineering hay harness bao quanh, và không cần tiền huấn luyện hay hậu huấn luyện lại. Đó là lý do nhóm tác giả gọi đây là bước cần thiết hướng tới recursive self-improvement — tự cải tiến đệ quy. Tuy vậy, cần đọc đúng phạm vi: đây là kết quả nhóm tác giả báo cáo, và phần tóm tắt trên trang nguồn không nêu tên cụ thể của mô hình, tên bộ bài toán hay mã nguồn để tự kiểm chứng.
Chi tiết cách hoạt động
Đầu vào của vòng tự sửa gồm ba thứ được bài báo nêu rõ. Mô hình được trao chính trọng số của nó, các câu trả lời đã được chấm điểm và khả năng tự chạy chính nó. Từ đó, nó chẩn đoán thất bại, truy tới trọng số đứng sau thất bại rồi viết lại chúng bằng suy luận của chính nó — vì vậy nhóm tác giả gọi mô hình là bộ tối ưu của chính nó, không phải đối tượng bị bộ tối ưu bên ngoài tác động.
Việc sửa không diễn ra một lần. Mô hình thử các bản sửa trên bài toán luyện tập và chỉ nộp bản nào hiệu quả, nên mỗi lần sửa đều cải thiện so với lần trước. Qua tám phiên liên tiếp, độ chính xác được báo cáo là chỉ tăng. Chi tiết này biến tự sửa thành vòng chọn lọc có kiểm thử, thay vì một lần viết lại trọng số tùy tiện rồi giữ nguyên.
Thử nghiệm thứ hai khắc nghiệt hơn: một bản sao bị hư hỏng gần như không giải được gì. Bản sao đó tự khôi phục mà không huấn luyện lại và chưa từng đọc trọng số gốc, rồi đạt lại hơn 80% độ chính xác gốc trên các nhiệm vụ hình ảnh chưa từng thấy. Nhóm tác giả ví nó như robot hỏng tự sửa mình mà không cần chế tạo lại — sửa được ngay cả khi thiếu bản tham chiếu gốc.
Khả năng này cũng không xuất hiện ở mọi kích thước. Trong một họ mô hình, các bản nhỏ hơn hoặc không sửa gì, hoặc tự làm hỏng mình; chỉ mô hình lớn nhất mới vừa cải thiện, vừa tự sửa chữa được. Self-rewriting vì thế được báo cáo như khả năng trỗi dậy theo quy mô, không phải tính năng mặc định ở mọi checkpoint nhỏ.
"The wall between training and inference is a limit of our tools, not a property of intelligence."
| Thử nghiệm | Kết quả được báo cáo |
|---|---|
| Tự sửa trên bài toán chưa thấy | +6,6 điểm độ chính xác |
| Tự sửa liên tiếp | 8 phiên, độ chính xác chỉ tăng |
| Tự khôi phục bản sao hư hỏng | >80% độ chính xác gốc trên nhiệm vụ hình ảnh chưa thấy |
| Theo quy mô trong một họ mô hình | Chỉ mô hình lớn nhất cải thiện và tự sửa được |
An open 27B model diagnosed its own failure, rewrote the weights behind that failure and gained 6.6 points of accuracy on problems it had never seen — with no gradients and no new training run. The takeaway is that the boundary between training and inference may not be fixed: according to the authors, a model can act as its own optimizer and store the improvement directly in its weights.
What Changed
The conventional setup the paper uses as its backdrop is a model that is trained once and then frozen. To make it better, another training run is required; otherwise, only a prompt, a harness or extra computation at inference remains, and those interventions disappear once the task ends. In other words, improvement either sits in an external training loop or exists only temporarily while an answer is being produced.
The 11 authors, led by Jiajun Fan, call the new mechanism self-rewriting. The fundamental difference from the earlier work they cite is that a frontier model there edited a much smaller model, whereas here the model being edited is also the model performing the diagnosis and the edit. The paper is in cs.AI, first submitted on 16 November 2026 and already revised as v2 on 18 November 2026. They also note that, to their knowledge, this is the first time this has been done.
Why Developers Should Care
The most practical difference lies in where the improvement is stored and what must be paid afterwards. The authors contrast self-rewriting with test-time scaling: instead of continuing to spend extra computation on each answer to get a better result, the gain here is written into the weights so, according to the paper, it incurs no cost per answer. At the same time, the editing process runs only forward passes, as serving does, rather than a conventional training procedure.
If this claim holds, the software lifecycle around a model would change: a system could keep upgrading itself with no larger model above it, no prompt engineering or harness around it, and no pre-training or post-training again. That is why the authors call this a necessary step toward recursive self-improvement. However, it should be read within its proper scope: this is a result reported by the authors, and the abstract on the source page does not name the specific model, the problem set or source code for independent checking.
How It Works in Detail
The input to the self-rewriting loop consists of three things the paper states explicitly. The model is given its own weights, its graded answers and the ability to run itself. From there, it diagnoses its failure, traces it to the weights behind that failure and rewrites them through its own reasoning — which is why the authors call the model its own optimizer, rather than the object acted on by an external optimizer.
The edit does not happen just once. The model tests its edits on practice problems and submits only what works, so each edit improves on the last. Over eight consecutive sessions, accuracy is reported to have only risen. This detail turns self-rewriting into a tested selection loop, rather than a single arbitrary rewrite of the weights whose result is simply kept.
The second experiment is harsher: a damaged copy of the model solves almost nothing. That copy restores itself without retraining and without ever reading the original weights, then recovers over 80% of the original accuracy on image tasks it had never seen. The authors liken it to a broken robot that fixes itself without being rebuilt — it repairs itself even without the original reference copy.
The ability also does not appear at every size. In one model family, the smaller models either make no edit or break themselves; only the largest both improves and repairs itself. Self-rewriting is therefore reported as an ability that emerges with scale, not a default feature to expect at every small checkpoint.
"The wall between training and inference is a limit of our tools, not a property of intelligence."
| Experiment | Reported result |
|---|---|
| Self-rewriting on unseen problems | +6.6 points of accuracy |
| Consecutive self-rewriting | 8 sessions, accuracy only rose |
| Repair of a damaged copy | >80% of original accuracy on unseen image tasks |
| By scale within one model family | Only the largest model improved and repaired itself |
Nguồn tham chiếuSource: Hacker News


