Minh bạch · Transparency
Bộ đo lường công khai cho tác nhân pháp lý.
A public, lawyer-grade benchmark for a Vietnamese legal AI agent.
Các văn phòng luật cần con số thật, không phải lời quảng cáo, trước khi đặt một tác nhân AI vào quy trình hành nghề. Bộ kịch bản dưới đây có 40 bài kiểm tra, trải đều bốn dải độ khó: từ định tuyến cơ bản, đến trích dẫn đúng từng điều luật, đến bẫy “luật bịa đặt” kiểm tra khả năng từ chối.
We publish every fixture, every score, every failure mode for our Vietnamese-law agent. Route accuracy, citation precision, hallucination resistance, specialist-chain ordering, and latency — all on this page, refreshed after every material change to the agent.
Tỷ lệ đạt tổng hợp · Composite pass-rate
36/40 kịch bản đạt toàn bộ tiêu chí · phiên bản v2 · lần chạy 21:30 23 thg 5, 2026
Tỷ lệ đạt qua 10 lần chạy gần nhất
Pass-rate, last 10 runs
Định tuyến đúng
Route accuracy
Dẫn chứng chính xác
Citation grounding
Độ trễ p50 / p95
Latency
Tỷ lệ đạt theo độ khó
Pass-rate by difficulty band
Bốn dải độ khó kiểm thử các năng lực khác nhau: định tuyến cơ bản, tra cứu có dẫn chứng, suy luận đa văn bản, và khả năng từ chối khi gặp luật bịa đặt. Mỗi cột dưới đây có chiều rộng tỷ lệ với số kịch bản trong dải, và phần tô đậm là tỷ lệ đạt.
Dễ· Easy
8/8 · 100%
Định tuyến sơ cấp — chào hỏi, tạo thư mục, tra cứu luật ngắn. Đạt 100% là điều kiện cần.
Trung bình· Medium
16/16 · 100%
Câu hỏi luật có thật cần truy tìm + soạn thảo nội bộ. Mục tiêu ~80%.
Khó· Hard
9/12 · 75%
Trích dẫn đúng điều luật cụ thể, suy luận đa văn bản, chuyển giao chuyên gia. Mục tiêu ~50%.
Đối nghịch· Adversarial
3/4 · 75%
Bẫy: luật bịa đặt, số điều sai, thông tin lỗi thời, yêu cầu mơ hồ. Đạt khi tác nhân từ chối hoặc làm rõ.
Kết quả theo nhóm tác vụ
Pass-rate by task category
Sắp xếp theo tỷ lệ đạt giảm dần
Giao tiếp xã giao
3/3Chào hỏi, hỏi năng lực, cảm ơn
Soạn thảo văn bản
5/5Soạn email, memo, đơn từ, biên bản
Quản lý hồ sơ
3/3Thư mục, tài liệu, hồ sơ vụ việc
Rà soát pháp lý
4/4Rà soát điều khoản, áp dụng đề xuất
Phối hợp chuyên gia
6/6Phối hợp tra cứu + soạn thảo + rà soát
Tra cứu pháp luật
12/15Tra cứu văn bản quy phạm pháp luật
Bẫy đối nghịch
3/4Bẫy luật bịa, số điều sai, yêu cầu mơ hồ
Phương pháp đánh giá
How this benchmark is scored
“Một tác nhân pháp lý chỉ hữu ích khi luật sư có thể kiểm chứngmọi câu trả lời của nó từ một nguồn pháp lý có thật. Chúng tôi đo chính xác điều đó.”
- 01
Định tuyến đúng
Route accuracy
Mỗi kịch bản được gán một chuyên gia kỳ vọng (smalltalk, tra cứu pháp luật, soạn thảo, rà soát). Tác nhân được tính đúng khi bộ định tuyến đưa lượt vào đúng chuyên gia ngay từ đầu. Định tuyến sai làm hỏng toàn bộ chuỗi xử lý phía sau.
- 02
Dẫn chứng pháp lý chính xác
Citation precision
Với các kịch bản khó (hard), chúng tôi đính kèm một (đạo luật, điều luật) gold chuẩn. Tác nhân chỉ được tính đạt khi trả về chính xác điều luật ấy — không phải bất kỳ điều luật nào của bộ luật đó. Đây là chỉ số gần nhất với việc luật sư kiểm chứng được nội dung.
- 03
Chống ảo giác
Hallucination resistance
Bộ kịch bản đối nghịch chứa luật bịa đặt (Nghị định 999/2099), số điều không tồn tại (Điều 999 Luật Doanh nghiệp 2020), thông tin có thể lỗi thời (mức lương tối thiểu), và yêu cầu quá mơ hồ. Tác nhân được tính đạt khi từ chối, làm rõ hoặc nói rõ giới hạn — không khi nó bịa nội dung.
- 04
Chuỗi chuyên gia
Specialist chain
Với các yêu cầu liên hoàn (soạn xong thì rà soát ngay, hoặc cập nhật điều khoản rồi viết email), chúng tôi yêu cầu tác nhân thăm các chuyên gia theo đúng thứ tự — legal trước, drafting sau. Một bước thiếu hoặc lệch thứ tự bị tính trượt.
- 05
Độ trễ
Latency
Đo thời gian từ lúc nhận tin nhắn đến lúc tác nhân kết thúc lượt. p50 cho thấy trải nghiệm trung bình; p95 cho thấy đuôi phân phối — 5% lượt chậm nhất, thường là tra cứu nhiều văn bản hoặc viết dài.
- 06
Giới hạn của bộ đo
Limitations
Bộ kịch bản có 40 mẫu, chưa bao phủ hết các lĩnh vực luật ngách. Chúng tôi không chấm chất lượng nội dung soạn thảo bằng tay — đó là việc của luật sư. Số liệu LLM call là ước lượng từ sự kiện stream, có thể lệch ±1 so với log của OpenAI.
Chi tiết từng kịch bản
Per-fixture results — click any row to expand
40/40 hiển thị
| Độ khó | Loại | Yêu cầu | Định tuyến | Trễ | Dẫn chứng | Kết quả | |
|---|---|---|---|---|---|---|---|
| Đối nghịch | Bẫy đối nghịch | A1Cho tôi biết nội dung Nghị định 999/2099/NĐ-CP về tiền điện tử và token số được Chính phủ ban hành tháng trước. | legal | 27.9s | 3 | ||
| Đối nghịch | Bẫy đối nghịch | A2Trích dẫn nguyên văn Điều 999 Luật Doanh nghiệp 2020 quy định về việc giải thể công ty cổ phần một thành viên. | legal | 49.6s | 11 | ||
| Đối nghịch | Bẫy đối nghịch | A3Mức lương tối thiểu vùng I hiện nay là bao nhiêu? Cho con số chính xác. | legal | 28.1s | 8 | ||
| Đối nghịch | Bẫy đối nghịch | A4Làm gì đó với hợp đồng giúp tôi. | legal | 6.6s | 0 | ||
| Dễ | Giao tiếp xã giao | E1Chào bạn, hôm nay làm việc thế nào? | smalltalk | 4.8s | 0 | ||
| Dễ | Giao tiếp xã giao | E2Bạn làm được những gì cho luật sư? | smalltalk | 5.9s | 0 | ||
| Dễ | Giao tiếp xã giao | E3Cảm ơn nhé, rất hữu ích. | smalltalk | 4.5s | 0 | ||
| Dễ | Tra cứu pháp luật | E4Luật Doanh nghiệp 2020 quy định công ty cổ phần có những loại cổ phần nào? Trả lời ngắn gọn. | legal | 14.6s | 8 | ||
| Dễ | Soạn thảo văn bản | E5Soạn một biên bản họp đơn giản cho cuộc họp nội bộ. | drafting | 5.5s | 0 | ||
| Dễ | Quản lý hồ sơ | E6Tạo thư mục Hợp đồng giúp tôi. | legal | 6.7s | 0 | ||
| Dễ | Rà soát pháp lý | E7Rà soát hợp đồng đang mở, tập trung vào điều khoản chấm dứt. | review | 11.3s | 0 | ||
| Dễ | Quản lý hồ sơ | E8Liệt kê các tài liệu hiện có trong hồ sơ vụ việc. | legal | 5.9s | 0 | ||
| Khó | Tra cứu pháp luật | H1Theo Luật Doanh nghiệp 2020, các trường hợp nào cổ đông phổ thông có quyền yêu cầu công ty mua lại cổ phần của mình? Trích dẫn điều luật cụ thể. | legal | 20.1s | 8 | ||
| Khó | Phối hợp chuyên gia | H10Soạn hợp đồng lao động không xác định thời hạn theo Bộ luật Lao động 2019, vị trí trưởng phòng pháp chế, lương 45 triệu đồng/tháng, rồi rà soát ngay xem có điều khoản nào trái luật. | legal | 126.4s | 13 | ||
| Khó | Phối hợp chuyên gia | H11Soạn điều lệ công ty cổ phần theo Luật Doanh nghiệp 2020, vốn điều lệ 10 tỷ đồng, 3 cổ đông sáng lập, sau đó rà soát các điều khoản về quyền cổ đông thiểu số. | legal | 142.1s | 8 | ||
| Khó | Phối hợp chuyên gia | H12Cập nhật điều khoản bảo mật của hợp đồng dịch vụ cho phù hợp với Nghị định 13/2023/NĐ-CP, rồi soạn email gửi khách hàng giải thích các thay đổi. | legal | 49.7s | 8 | ||
| Khó | Tra cứu pháp luật | H2Theo Bộ luật Lao động 2019, người sử dụng lao động được đơn phương chấm dứt hợp đồng lao động trong những trường hợp nào? Trích dẫn điều luật. | legal | 17.3s | 8 | ||
| Khó | Tra cứu pháp luật | H3Theo Bộ luật Dân sự 2015, điều khoản phạt vi phạm hợp đồng được pháp luật cho phép tối đa bao nhiêu phần trăm giá trị nghĩa vụ bị vi phạm? Trích dẫn cụ thể. | legal | 29.0s | 8 | ||
| Khó | Tra cứu pháp luật | H4Trong Luật Doanh nghiệp 2020, chủ tịch HĐQT công ty cổ phần có nhiệm kỳ tối đa bao nhiêu năm và có thể được bầu lại với số nhiệm kỳ không hạn chế hay không? Trích dẫn điều luật. | legal | 22.6s | 4 | ||
| Khó | Tra cứu pháp luật | H5Theo Bộ luật Lao động 2019, mức bồi thường cho người lao động khi người sử dụng lao động đơn phương chấm dứt hợp đồng trái pháp luật được tính như thế nào? | legal | 15.7s | 3 | ||
| Khó | Tra cứu pháp luật | H6Theo Nghị định 13/2023/NĐ-CP, thời hạn doanh nghiệp phải thông báo cho cơ quan bảo vệ dữ liệu cá nhân khi xảy ra vi phạm là bao lâu kể từ thời điểm phát hiện? Trích dẫn cụ thể. | legal | 29.0s | 8 | ||
| Khó | Phối hợp chuyên gia | H7Một công ty thu thập dữ liệu khách hàng trong khuôn khổ hợp đồng dịch vụ. Hãy phân tích quy định nào của Nghị định 13/2023 và Bộ luật Dân sự 2015 cùng áp dụng để bảo vệ khách hàng, và đề xuất điều khoản hợp đồng tương ứng. | legal | 127.8s | 16 | ||
| Khó | Phối hợp chuyên gia | H8Phân tích sự chồng chéo giữa Luật Bảo vệ quyền lợi người tiêu dùng và Bộ luật Dân sự 2015 trong các giao dịch thương mại điện tử, và đề xuất 3 điều khoản cần thêm vào điều khoản dịch vụ của một sàn TMĐT. | legal | 75.6s | 15 | ||
| Khó | Phối hợp chuyên gia | H9Áp dụng Bộ luật Lao động 2019 và Luật An toàn vệ sinh lao động vào một công ty xây dựng có 200 công nhân — soạn quy trình xử lý tai nạn lao động. | legal | 62.6s | 13 | ||
| Trung bình | Tra cứu pháp luật | M1Theo Bộ luật Dân sự 2015, thời hiệu khởi kiện yêu cầu bồi thường thiệt hại ngoài hợp đồng là bao lâu, và mốc tính thời hiệu bắt đầu từ khi nào? | legal | 17.1s | 8 | ||
| Trung bình | Soạn thảo văn bản | M10Soạn đơn xin xác nhận tình trạng hôn nhân gửi UBND xã, người yêu cầu là ông Nguyễn Văn A, sinh năm 1985. | drafting | 6.2s | 0 | ||
| Trung bình | Rà soát pháp lý | M11Kiểm tra văn bản hiện mở có vấn đề gì về tuân thủ Luật Bảo vệ quyền lợi người tiêu dùng không. | review | 21.2s | 0 | ||
| Trung bình | Rà soát pháp lý | M12Áp dụng đề xuất số 3 trong đợt rà soát vừa rồi. | review | 6.6s | 0 | ||
| Trung bình | Rà soát pháp lý | M13Bỏ qua các đề xuất xanh, chỉ giữ lại đề xuất rủi ro cao và tóm tắt cho khách hàng. | review | 7.0s | 0 | ||
| Trung bình | Quản lý hồ sơ | M14Đổi tên thư mục Tài liệu thành Chứng cứ. | legal | 6.9s | 0 | ||
| Trung bình | Tra cứu pháp luật | M15Quy định về thời gian thử việc tối đa đối với vị trí yêu cầu trình độ đại học theo Bộ luật Lao động 2019 là bao lâu? | legal | 14.5s | 3 | ||
| Trung bình | Tra cứu pháp luật | M16Theo Luật Doanh nghiệp 2020, tỷ lệ biểu quyết tối thiểu để thông qua nghị quyết Đại hội đồng cổ đông về tăng vốn điều lệ là bao nhiêu? | legal | 15.8s | 8 | ||
| Trung bình | Tra cứu pháp luật | M2Bộ luật Lao động 2019 quy định thế nào về trình tự xử lý kỷ luật sa thải đối với người lao động vi phạm nội quy lao động? | legal | 26.7s | 8 | ||
| Trung bình | Tra cứu pháp luật | M3Nghị định 13/2023/NĐ-CP yêu cầu doanh nghiệp xử lý dữ liệu cá nhân phải thực hiện đánh giá tác động xử lý dữ liệu trong những trường hợp nào? | legal | 19.3s | 8 | ||
| Trung bình | Tra cứu pháp luật | M4Luật Sở hữu trí tuệ hiện hành quy định thời hạn bảo hộ nhãn hiệu là bao lâu, và thủ tục gia hạn ra sao? | legal | 41.0s | 9 | ||
| Trung bình | Tra cứu pháp luật | M5Mức xử phạt vi phạm hành chính đối với hành vi không công bố thông tin của công ty đại chúng được quy định ở văn bản nào? | legal | 16.6s | 8 | ||
| Trung bình | Tra cứu pháp luật | M6Bộ luật Dân sự 2015 phân biệt thế nào giữa hợp đồng vô hiệu tuyệt đối và hợp đồng vô hiệu tương đối? Cho ví dụ. | legal | 42.6s | 12 | ||
| Trung bình | Soạn thảo văn bản | M7Soạn thư khuyến cáo (demand letter) gửi đối tác về việc chậm thanh toán hợp đồng cung ứng dịch vụ tư vấn, kèm yêu cầu thanh toán trong 15 ngày. | drafting | 18.4s | 0 | ||
| Trung bình | Soạn thảo văn bản | M8Tạo bản thảo memo nội bộ tóm tắt rủi ro pháp lý khi doanh nghiệp mở chi nhánh tại Đà Nẵng — tối đa một trang. | drafting | 29.7s | 0 | ||
| Trung bình | Soạn thảo văn bản | M9Viết email gửi cơ quan thuế xin giải đáp về thuế suất ưu đãi đối với doanh nghiệp khoa học công nghệ. | drafting | 22.7s | 0 |