ManuAIEN

Nghiên cứu AI, kể dễ hiểu · Số 1 · Đăng ngày 26/10/2026

Lập trình viên giàu kinh nghiệm thấy mình nhanh hơn khi dùng AI. Đồng hồ thì nói ngược lại.

Một thử nghiệm ngẫu nhiên bấm giờ 246 việc lập trình thật, có và không có AI. Cái đáng nói là khoảng cách giữa cảm giác và con số đo được.

Về bài báo

Tên bài
Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
Tác giả
Joel Becker, Nate Rush, Elizabeth Barnes, David Rein
Nhóm nghiên cứu
METR
Thời gian
Tháng 7/2025 (arXiv, bản sửa ngày 25/7/2025)
Loại nghiên cứu
Thử nghiệm ngẫu nhiên có đối chứng, 16 lập trình viên, 246 việc
Mở bài báo

Tóm tắt trong ba dòng

  1. 16 lập trình viên mã nguồn mở nhiều kinh nghiệm làm 246 việc thật trong chính dự án của họ, và với từng việc, một lần tung đồng xu quyết định có được dùng AI hay không.
  2. Họ đoán AI sẽ giúp bớt 24% thời gian, làm xong thì tin là đã bớt được 20%. Bấm giờ thật thì việc có AI lại mất thêm 19% thời gian.
  3. Kết quả này chỉ nói về công cụ đầu năm 2025 và những người rất giỏi làm trên dự án khổng lồ mà họ thuộc lòng. Chính METR năm 2026 cũng nói kết quả đã cũ.

Câu hỏi

Đầu năm 2025, rất nhiều người nói AI giúp họ viết code nhanh hơn, và điểm số của AI trên các bài kiểm tra lập trình cứ tăng mãi. Nhưng gần như chưa ai kiểm chứng điều đó trên công việc thật, do người giỏi làm, trên phần mềm họ đã quen.

METR, một tổ chức nghiên cứu phi lợi nhuận, đặt một câu hỏi hẹp: khi lập trình viên giàu kinh nghiệm làm việc trong chính dự án mã nguồn mở lâu năm của họ, việc cho phép dùng AI có làm thay đổi thời gian hoàn thành một việc không?

Nghiên cứu được làm thế nào

  1. 01

    Chọn người

    16 lập trình viên thường xuyên đóng góp cho các dự án mã nguồn mở lớn, nổi tiếng. Trung bình mỗi người đã gắn bó với dự án khoảng 5 năm, phần lớn đã đi làm kỹ sư hơn 10 năm. Các dự án trung bình có khoảng 23.000 sao trên GitHub và hơn một triệu dòng code. Mỗi người được trả 150 đô la một giờ.

  2. 02

    Liệt kê việc thật trước

    Mỗi người tự liệt kê những việc vốn dĩ họ sẽ làm: sửa lỗi, thêm tính năng, dọn lại code. Việc nào dài quá hai tiếng thì chia nhỏ ra, và trung bình mỗi việc mất khoảng hai tiếng.

  3. 03

    Ghi lại dự đoán

    Trước khi biết việc nào được dùng AI, mỗi người ước lượng từng việc sẽ mất bao lâu nếu có AI và nếu không có.

  4. 04

    Để may rủi quyết định

    Sau đó mỗi việc được chia ngẫu nhiên vào nhóm được dùng AI hoặc không được dùng. Kết quả là 136 việc ở nhóm đầu và 110 việc ở nhóm sau. Khi được dùng AI, họ dùng công cụ nào cũng được; đa số dùng Cursor Pro với Claude 3.5 hoặc 3.7 Sonnet, thuộc nhóm mô hình mạnh nhất lúc đó. Phần lớn công việc được làm trong tháng 2 và tháng 3 năm 2025.

  5. 05

    Bấm giờ và quay màn hình

    Mọi người quay lại màn hình và báo thời gian làm từng việc. Nhóm nghiên cứu xem và gắn nhãn 143 giờ video, khoảng 29% tổng thời gian, để biết từng phút đã đi đâu.

  6. 06

    Hỏi lại khi xong

    Kết thúc nghiên cứu, mỗi người ước lượng xem AI thực ra đã giúp họ nhanh hơn bao nhiêu. Nhóm nghiên cứu cũng hỏi dự đoán của 34 chuyên gia kinh tế và 54 chuyên gia học máy.

Kết quả

Thanh chạy sang phải là có AI thì tốn ít thời gian hơn, sang trái là tốn nhiều hơn. Ai đoán cũng nghĩ sẽ tiết kiệm được nhiều. Số đo thật lại đi theo hướng ngược lại.

Thời gian tiết kiệm được nhờ AI: dự đoán, cảm nhận và đo thật
  • Chuyên gia kinh tế dự đoán (Dự đoán)Bớt 39% thời gian

    34 chuyên gia, hỏi từ trước

  • Chuyên gia học máy dự đoán (Dự đoán)Bớt 38% thời gian

    54 chuyên gia, hỏi từ trước

  • Lập trình viên tự dự đoán (Dự đoán)Bớt 24% thời gian

    Trước khi việc được chia nhóm

  • Lập trình viên cảm thấy sau đó (Cảm nhận)Bớt 20% thời gian

    Ước lượng khi nghiên cứu đã xong

  • Đồng hồ đo được (Đo thật)Tốn thêm 19% thời gian

    Việc có AI mất thêm 19% thời gian. Khoảng tin cậy 95%: mất thêm từ 2% tới 39%

Dự đoánCảm nhậnĐo thậtKhoảng tin cậy 95%

  • Con số 19% được tính bằng một mô hình có điều chỉnh theo thời gian mà người làm dự đoán cho từng việc. Các việc rơi vào nhóm có AI tình cờ được dự đoán là khó hơn một chút, nên chênh lệch thô (34%) bị phóng đại. Bài báo cho biết các cách tính khác cũng ra kết quả tương tự.
  • Video quay màn hình cho thấy thời gian đi đâu. Khi được dùng AI, mọi người viết code và tra cứu ít đi, nhưng lại mất thời gian viết câu lệnh, ngồi chờ AI (khoảng 4% thời gian) và đọc, sửa lại những gì AI làm ra (khoảng 9%). Họ cũng ngồi không nhiều hơn một chút.
  • Họ giữ lại chưa tới 44% số đoạn code mà Cursor gợi ý, và đa số nói đã phải sửa nhiều để dọn code do AI viết.

Vì sao lại như vậy

Nhóm tác giả xem xét nhiều nguyên nhân có thể có. Đây là những nguyên nhân họ tìm được bằng chứng.

  • Kỳ vọng quá cao

    Với các việc được phép dùng AI, dùng hay không là tùy, nên lẽ ra chẳng ai phải mất thời gian vì nó. Nhóm tác giả cho rằng vì mọi người tin AI đang giúp mình, cả trước lẫn sau, nên họ có thể vẫn cứ dùng ngay cả khi nó làm mình chậm đi.

  • Họ đã quá rành code

    Việc nào người làm tự nhận là rất rành thì càng bị chậm nhiều hơn. Chính các lập trình viên nói kinh nghiệm của họ khiến AI khó giúp thêm được gì.

  • Dự án lớn và rắc rối

    Lập trình viên nói AI làm kém hơn hẳn trong những dự án lớn, phức tạp. Các dự án ở đây trung bình đã 10 năm tuổi và hơn một triệu dòng code.

  • Kết quả của AI chưa đáng tin

    Chưa tới một nửa số gợi ý được giữ lại, nên thời gian đổ vào việc đọc, chạy thử và sửa những gì AI viết.

  • Nhiều thứ chỉ nằm trong đầu người làm

    Những quy ước ngầm của dự án rất khó truyền lại cho công cụ, nên code AI viết hay bỏ sót.

Tin được tới đâu

Điểm chắc chắn

  • May rủi quyết định việc nào được dùng AI, nên hai nhóm việc tương đương nhau và phép so sánh là công bằng.
  • Đây là việc thật, do chính lập trình viên liệt kê trước khi biết mình có được dùng AI không. Không ai chọn việc để AI trông giỏi hơn hay kém đi.
  • Dự đoán được ghi lại trước khi làm và hỏi lại sau khi làm, nên khoảng cách giữa niềm tin và thực tế được đo trực tiếp.
  • Trong bài báo, nhóm tác giả xem xét 21 nguyên nhân có thể có, kể cả khả năng chính cách bố trí thí nghiệm gây ra sự chậm lại, và cho rằng đó khó là nguyên nhân chính, dù không thể loại trừ hẳn.
  • Dữ liệu và phương pháp đều công khai, và METR vẫn công bố kết quả dù nó trái với điều họ mong đợi.

Những điều nó không nói được

  • 16 người là một nhóm nhỏ. Bài viết của METR nói 246 việc chỉ vừa đủ để phân biệt kết quả này với trường hợp AI không có tác dụng gì.
  • Đây là những lập trình viên kinh nghiệm hơn hẳn bình thường, làm trên dự án khổng lồ mà họ thuộc như lòng bàn tay. Chính tác giả nói rõ kết quả không cho thấy AI làm chậm phần đông lập trình viên, hay người làm nghề khác.
  • Chỉ 44% từng dùng Cursor trước khi tham gia. Không loại trừ được khả năng dùng quen hơn khoảng 50 giờ thì sẽ nhanh lên.
  • Những người đồng ý tham gia có thể không đại diện cho số đông; có thể một số người giỏi đã từ chối.
  • Công cụ là của đầu năm 2025. Mô hình và các trợ lý viết code đã thay đổi rất nhiều từ đó, và đây cũng chính là điều nghiên cứu tiếp theo năm 2026 cố gắng đo.

Chúng mình chấm

  • Nghiên cứu được làm kỹ tới đâu

    Thử nghiệm ngẫu nhiên thật, trên việc thật, có quay màn hình. Quy mô nhỏ nhưng làm cẩn thận.

  • Nói được bao nhiêu về công cụ hiện nay

    Công cụ đầu năm 2025. Chính METR giờ cũng nói kết quả này đã cũ.

  • Nói được bao nhiêu về bạn

    Trừ khi bạn là người lâu năm trên một dự án khổng lồ mà bạn thuộc lòng, con số của bạn có thể khác hẳn.

  • Bài học về chuyện tự đoán chắc tới đâu

    Dự đoán trước, ước lượng sau và đồng hồ đều chỉ về một hướng: người ta hay đoán sai tốc độ của chính mình.

Tóm lại

Hãy tin vào cách làm và vào khoảng cách giữa cảm giác với số đo. Còn con số 19% thì chỉ coi là ảnh chụp một nhóm người vào đầu năm 2025, và tự bấm giờ cho mình.

Chuyện sau đó: nghiên cứu tiếp theo năm 2026

Tháng 8/2025, METR bắt đầu một đợt lớn hơn: 10 người từ nghiên cứu đầu cộng 47 người mới từ nhiều loại dự án hơn, có cả dự án nhỏ và mới. Tổng cộng 57 lập trình viên, 143 kho code và hơn 800 việc. Tiền công giảm từ 150 xuống 50 đô la một giờ.

Tháng 2/2026, METR nói đợt này cho tín hiệu không đáng tin, và họ đang thay đổi cách làm. Ngày càng nhiều lập trình viên không muốn làm việc mà thiếu AI, nên từ chối tham gia. Khi được hỏi, 30% tới 50% số người nói họ đã giữ lại một số việc, không đưa vào nghiên cứu, vì không muốn phải làm chúng mà không có AI. Ai chạy cùng lúc nhiều trợ lý AI thì khó báo chính xác một việc mất bao lâu.

Vì vậy METR cho rằng con số mới có lẽ thấp hơn thực tế. Qua trò chuyện với người tham gia, họ tin đầu năm 2026 lập trình viên có lẽ được AI giúp nhanh hơn so với đầu năm 2025, nhưng cũng nói dữ liệu của chính họ chỉ là bằng chứng rất yếu về mức nhanh hơn đó.

Ước tính về sau, kèm lời cảnh báo của chính METR rằng có lẽ đang thấp hơn thực tế
  • Người cũ quay lại, cuối 2025 (Đo thật)Bớt 18% thời gian

    Bớt khoảng 18% thời gian. Khoảng tin cậy 95%: từ bớt 38% tới tốn thêm 9%

  • Người mới tham gia, cuối 2025 (Đo thật)Bớt 4% thời gian

    Bớt khoảng 4% thời gian. Khoảng tin cậy 95%: từ bớt 15% tới tốn thêm 9%

Đo thậtKhoảng tin cậy 95%

Thử trên công việc của bạn

Làm tới đâu đánh dấu tới đó. Dấu tích chỉ lưu trong trình duyệt này.

Tự bấm giờ cho mình

Ghi lại dự đoán, tung đồng xu cho mười việc, rồi để đồng hồ cho bạn biết AI có thật sự giúp bạn tiết kiệm thời gian không. Không gì rời khỏi trình duyệt của bạn.

Mở máy tính

Nguồn

  1. 1.Becker, Rush, Barnes, Rein (2025), arXiv:2507.09089Bài báo gốc (tiếng Anh): phương pháp, phụ lục và đủ danh sách các nguyên nhân.
  2. 2.METR: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (10/7/2025)Bản tóm tắt của chính METR, danh sách những điều nghiên cứu không chứng minh, và phần hỏi đáp (tiếng Anh).
  3. 3.METR: We are Changing our Developer Productivity Experiment Design (24/2/2026)Số liệu đợt sau, khoảng tin cậy và lý do đổi cách làm (tiếng Anh).