Công cụ đoán văn bản do AI viết: cách nó hoạt động và vì sao không nên tin kết quả
Công cụ chấm một đoạn văn bản theo vài quy tắc thống kê đơn giản rồi đưa ra tỷ lệ phần trăm cùng nhãn phân loại. Cần nói rõ ngay: đây không phải mô hình phát hiện thật, nó chỉ dò một danh sách từ khóa tiếng Anh và đo mức lặp từ, kết quả mang tính minh họa và tuyệt đối không được dùng làm bằng chứng buộc tội bất kỳ ai.
Tính năng nổi bật
- Ô dán văn bản không giới hạn độ dài, phân tích chạy ngay trong trình duyệt
- Tách văn bản thành câu theo dấu chấm, chấm hỏi và chấm than, bỏ qua câu ngắn dưới 10 ký tự
- Dò một danh sách cố định gồm 14 cụm từ nối tiếng Anh thường gặp trong văn bản máy sinh
- Tính độ đa dạng từ vựng của từng câu bằng tỷ lệ số từ khác nhau trên tổng số từ
- Đánh dấu câu có dấu hiệu nghi vấn khi độ đa dạng dưới 0,6 và câu dài trên 15 từ
- Hiển thị điểm phần trăm kèm thanh tiến trình và ba mức màu xanh, vàng, đỏ
- Phân loại ba nhãn theo ngưỡng 40 và 70 phần trăm
- Liệt kê lại từng câu kèm đánh dấu để bạn tự đối chiếu quy tắc nào đã kích hoạt
Nên coi kết quả ở đây là gì
Cách dùng hợp lý duy nhất của công cụ này là để hiểu cơ chế, không phải để kết luận. Khi bạn dán một đoạn văn vào rồi xem câu nào bị đánh dấu, bạn thấy ngay điều mà mọi công cụ cùng loại đều làm ở mức nền tảng: chúng tìm dấu hiệu bề mặt của văn phong, chứ không có cách nào biết ai đã gõ ra đoạn chữ đó. Một người viết cẩn thận, dùng nhiều từ nối và câu cấu trúc chỉnh chu sẽ bị chấm điểm cao; một đoạn do máy sinh rồi được sửa lại vài chỗ sẽ tụt điểm xuống. Nhận ra điều đó có giá trị thực tế: nó giúp bạn ngừng tìm một con số để làm bằng chứng và chuyển sang những cách đánh giá thực chất hơn, chẳng hạn kiểm tra tính chính xác của thông tin, hỏi tác giả về quá trình làm, hoặc xem lịch sử chỉnh sửa của tài liệu. Nếu bạn cần một kết luận có sức nặng về nguồn gốc một văn bản, không có công cụ nào trên thị trường hiện nay đủ tin cậy để cung cấp điều đó.
Lợi ích khi sử dụng
- Thấy tận mắt cơ chế chấm điểm dựa trên dấu hiệu bề mặt của loại công cụ này
- Hiểu vì sao văn viết chỉnh chu lại hay bị chấm điểm cao
- Nhận ra ngay tính không ổn định của kết quả khi chạy lại cùng một đoạn
- Văn bản không rời khỏi trình duyệt nên không lộ nội dung bản thảo
- Không cần đăng ký tài khoản hay trả phí cho một kết quả vốn không đáng tin
Cách chạy thử và đọc kết quả
- 1Dán đoạn văn bản cần xem vào ô nhập, nên dùng đoạn đủ dài để có nhiều câu cho công cụ chấm.
- 2Bấm nút phân tích và chờ khoảng một giây rưỡi, đây là khoảng dừng cố định chứ không phải thời gian tính toán.
- 3Đọc con số phần trăm, nhưng đừng dừng ở đó vì bản thân con số có yếu tố ngẫu nhiên.
- 4Kéo xuống phần liệt kê từng câu để xem câu nào bị đánh dấu và tự đoán quy tắc nào đã kích hoạt.
- 5Chạy lại đúng đoạn văn đó một lần nữa và so hai con số, đây là bài kiểm tra nhanh nhất về độ tin cậy của loại công cụ này.
Công cụ này chấm điểm bằng cách nào
Toàn bộ logic gói trong vài quy tắc và không có mô hình học máy nào tham gia. Trước hết văn bản được cắt thành câu theo dấu kết thúc câu, những mảnh ngắn dưới 10 ký tự bị bỏ. Mỗi câu chịu hai phép kiểm tra. Phép thứ nhất dò xem câu có chứa một trong 14 cụm từ trong danh sách cố định hay không, gồm những từ nối tiếng Anh như furthermore, additionally, moreover, consequently, therefore, in conclusion, cùng vài cụm như it is important to note, research suggests, studies show, according to experts, và cả ba từ ai, artificial intelligence, machine learning. Trúng một cụm là câu bị đánh dấu và cộng 0,3 điểm. Phép thứ hai tính độ đa dạng từ vựng bằng cách lấy số từ khác nhau chia cho tổng số từ trong câu; nếu tỷ lệ này dưới 0,6 và câu dài hơn 15 từ thì cộng thêm 0,2 điểm. Cuối cùng tổng điểm được chia cho số câu, nhân 100, rồi cộng thêm một lượng ngẫu nhiên và ép vào khoảng từ 5 đến 95. Từ 70 phần trăm trở lên nhận nhãn nhiều khả năng do AI tạo, từ 40 đến 70 là có thể do AI tạo, dưới 40 là do người viết.
Ba lỗ hổng khiến kết quả không dùng được để kết luận
Lỗ hổng thứ nhất và nghiêm trọng nhất là yếu tố ngẫu nhiên trong công thức. Điểm cuối cùng có cộng thêm một lượng ngẫu nhiên, nghĩa là chạy lại đúng một đoạn văn bản hai lần sẽ ra hai con số khác nhau, và chênh lệch đủ lớn để đổi cả nhãn phân loại. Bất kỳ phép đo nào cho kết quả khác nhau trên cùng một đầu vào đều không thể dùng làm căn cứ, đây là nguyên tắc cơ bản. Lỗ hổng thứ hai là danh sách từ khóa hoàn toàn bằng tiếng Anh. Với một bài viết tiếng Việt, phép kiểm tra thứ nhất gần như không bao giờ kích hoạt, trừ khi bài có nhắc tới chữ ai, mà trong tiếng Việt ai lại là một đại từ rất thông dụng, nên câu chứa từ ai trong nghĩa hỏi người nào cũng bị đánh dấu oan. Lỗ hổng thứ ba là chỉ số độ đa dạng từ vựng phạt những câu lặp từ, trong khi văn bản chuyên ngành buộc phải lặp thuật ngữ, và ngược lại nó không phát hiện được văn bản máy sinh có vốn từ phong phú, vốn là điểm mạnh của các mô hình ngôn ngữ hiện nay. Cộng ba điều này lại, kết quả của công cụ mang tính minh họa chứ không có giá trị chẩn đoán.
Không chỉ công cụ này: cả nhóm công cụ phát hiện AI đều không đáng tin
Vấn đề không nằm ở một sản phẩm cụ thể mà ở giới hạn của chính bài toán. Bằng chứng rõ nhất đến từ chính OpenAI: tháng 1 năm 2023 họ phát hành một công cụ phân loại văn bản AI, và đến tháng 7 cùng năm thì gỡ bỏ vì tỷ lệ chính xác quá thấp. Theo chính con số họ công bố, công cụ đó chỉ nhận đúng khoảng 26 phần trăm văn bản do AI viết, đồng thời gán nhầm nhãn AI cho khoảng 9 phần trăm văn bản do người viết. Nếu đơn vị tạo ra mô hình còn không phát hiện nổi sản phẩm của chính mình thì các công cụ bên ngoài khó khá hơn. Nghiêm trọng hơn là vấn đề thiên lệch: một nghiên cứu của nhóm tại Đại học Stanford công bố năm 2023 cho thấy các công cụ phát hiện AI gán nhầm nhãn cho bài viết của người không nói tiếng Anh bản ngữ với tỷ lệ cao hơn hẳn, đơn giản vì người học ngoại ngữ có xu hướng dùng cấu trúc câu đơn giản và vốn từ hạn chế hơn, đúng những đặc điểm mà công cụ coi là dấu hiệu của máy. Với người Việt viết tiếng Anh, đây không phải rủi ro lý thuyết mà là rủi ro trực tiếp.
Vì sao không được dùng kết quả để buộc tội học sinh hay nhân viên
Hãy hình dung con số cụ thể. Giả sử một công cụ có tỷ lệ báo nhầm 5 phần trăm, tức nó gán nhãn AI cho 5 trong 100 bài hoàn toàn do người viết. Con số này nghe nhỏ, nhưng với một lớp 200 học sinh thì đã có khoảng 10 em bị nghi oan trong mỗi lần chấm, và không em nào chứng minh được mình vô tội vì không ai lưu lại bằng chứng cho quá trình suy nghĩ của mình. Thiệt hại rơi vào những người bị oan là thiệt hại thật và không thể sửa bằng lời xin lỗi. Thêm vào đó, việc lách công cụ lại rất dễ: chỉ cần yêu cầu mô hình viết theo văn phong đời thường hơn, hoặc sửa tay vài câu, là điểm số tụt xuống ngay. Kết cục là công cụ bắt được người trung thực nhiều hơn bắt được người gian. Cách làm có trách nhiệm là không dùng bất kỳ con số nào làm căn cứ kỷ luật, mà chuyển sang các phương pháp chịu được kiểm chứng: yêu cầu nộp kèm bản nháp và lịch sử chỉnh sửa của tài liệu, phỏng vấn ngắn để tác giả trình bày lại lập luận, hoặc thiết kế đề bài gắn với trải nghiệm cá nhân và dữ liệu cụ thể mà mô hình không có.
Việc dùng nội dung do AI hỗ trợ dưới góc nhìn của công cụ tìm kiếm
Nhiều người tìm tới công cụ phát hiện AI vì lo bài viết bị công cụ tìm kiếm phạt. Quan điểm mà Google công bố công khai là họ không quan tâm nội dung được tạo ra thế nào, mà quan tâm nội dung có hữu ích và đáng tin hay không; nội dung tạo hàng loạt nhằm thao túng thứ hạng thì vi phạm chính sách của họ, còn dùng công cụ hỗ trợ để tạo nội dung có giá trị thì không. Nói cách khác, câu hỏi đúng không phải bài này bao nhiêu phần trăm do AI viết, mà là bài này có mang lại điều gì mà mười bài đang xếp trên chưa có hay không. Thực tế hằng ngày cho thấy vấn đề của nội dung máy sinh không nằm ở nguồn gốc mà nằm ở chất lượng: nó hay nêu chung chung, thiếu số liệu cụ thể, không có trải nghiệm trực tiếp, và đôi khi bịa ra dữ kiện nghe rất thuyết phục. Vì vậy thay vì chạy bài viết qua công cụ chấm điểm, hãy dành thời gian đó để kiểm chứng từng con số và tên riêng trong bài, bổ sung ví dụ thật từ công việc của bạn, và cắt bỏ những đoạn không nói được điều gì cụ thể.
Câu hỏi thường gặp (FAQ)
Công cụ này có dùng mô hình phát hiện AI thật không?
Không. Nó chỉ chạy vài quy tắc thống kê đơn giản: dò một danh sách 14 cụm từ tiếng Anh cố định và đo mức lặp từ trong câu. Không có mô hình học máy nào tham gia, và điểm số còn có thêm một thành phần ngẫu nhiên. Kết quả mang tính minh họa cơ chế chứ không có giá trị chẩn đoán.
Vì sao chạy lại cùng một đoạn văn lại ra điểm khác nhau?
Vì công thức tính điểm có cộng thêm một lượng ngẫu nhiên trước khi hiển thị. Đây là điểm yếu chí mạng: một phép đo cho kết quả khác nhau trên cùng một đầu vào thì không thể dùng làm căn cứ cho bất cứ kết luận nào. Bạn nên tự chạy thử hai lần để thấy điều này.
Dùng được cho văn bản tiếng Việt không?
Gần như không. Danh sách từ khóa hoàn toàn bằng tiếng Anh nên với bài tiếng Việt, phép kiểm tra đó không kích hoạt. Tệ hơn, một trong các từ khóa là chữ ai, vốn là đại từ rất thông dụng trong tiếng Việt, nên những câu hỏi ai làm việc này sẽ bị đánh dấu oan.
Kết quả 80 phần trăm nghĩa là bài viết chắc chắn do AI tạo phải không?
Không. Con số đó chỉ nói rằng nhiều câu trong bài đã kích hoạt các quy tắc bề mặt, cộng với một lượng ngẫu nhiên. Một người viết cẩn thận, dùng nhiều từ nối và câu dài chỉnh chu, hoàn toàn có thể nhận điểm cao mà không dùng công cụ hỗ trợ nào.
Có công cụ phát hiện AI nào đáng tin không?
Hiện chưa có công cụ nào đủ tin cậy để làm bằng chứng. Chính OpenAI đã gỡ bỏ công cụ phân loại của họ vào tháng 7 năm 2023 vì tỷ lệ chính xác thấp: theo số liệu họ công bố, nó chỉ nhận đúng khoảng 26 phần trăm văn bản do AI viết và gán nhầm nhãn cho khoảng 9 phần trăm văn bản do người viết.
Vì sao người không nói tiếng Anh bản ngữ hay bị báo nhầm?
Một nghiên cứu của nhóm tại Đại học Stanford công bố năm 2023 chỉ ra các công cụ phát hiện AI gán nhầm nhãn cho bài của người học ngoại ngữ với tỷ lệ cao hơn hẳn, vì họ thường dùng cấu trúc câu đơn giản và vốn từ hạn chế hơn, đúng những đặc điểm mà công cụ coi là dấu hiệu của máy.
Có nên dùng kết quả này để xử lý học sinh hoặc nhân viên không?
Tuyệt đối không. Với tỷ lệ báo nhầm dù chỉ 5 phần trăm, một lớp 200 người đã có khoảng 10 người bị nghi oan mỗi lần chấm, và họ không có cách nào chứng minh mình vô tội. Trong khi đó người cố tình gian lận chỉ cần sửa vài câu là qua được, nên công cụ bắt nhầm nhiều hơn bắt đúng.
Vậy làm sao để biết một bài có thật sự do người viết hay không?
Dùng các phương pháp chịu được kiểm chứng thay vì một con số. Yêu cầu nộp kèm bản nháp và lịch sử chỉnh sửa của tài liệu, phỏng vấn ngắn để tác giả trình bày lại lập luận và nguồn tham khảo, hoặc thiết kế đề bài gắn với trải nghiệm cá nhân và dữ liệu cụ thể mà mô hình không thể có.
Nội dung viết có sự hỗ trợ của AI có bị Google phạt không?
Google công bố rằng họ đánh giá nội dung theo mức hữu ích và đáng tin chứ không theo cách nội dung được tạo ra. Thứ bị coi là vi phạm là nội dung sản xuất hàng loạt nhằm thao túng thứ hạng. Dùng công cụ hỗ trợ để tạo nội dung có giá trị thật thì không nằm trong nhóm vi phạm đó.
Vì sao phân tích luôn mất khoảng một giây rưỡi?
Đó là một khoảng dừng cố định được đặt sẵn trong mã, không phải thời gian tính toán thật. Các quy tắc trong công cụ chạy xong gần như tức thì. Khoảng dừng chỉ để giao diện trông giống một quá trình phân tích đang diễn ra.
Văn bản tôi dán vào có bị gửi đi đâu không?
Không. Toàn bộ việc tách câu, dò từ khóa và tính điểm chạy bằng JavaScript trong trình duyệt của bạn, không có bước gọi máy chủ. Đây là điểm khác biệt đáng kể so với các dịch vụ phát hiện AI trả phí, vốn phải tải nội dung của bạn lên hệ thống của họ.
Có cách nào đánh dấu nội dung do AI tạo một cách đáng tin hơn không?
Hướng được xem là khả thi hơn là gắn dấu vết ngay từ lúc sinh nội dung, chẳng hạn cách tiếp cận đánh dấu chìm vào văn bản mà Google DeepMind giới thiệu với tên SynthID. Cách này chỉ hiệu lực với nội dung do chính hệ thống đó tạo ra, nên nó không giải quyết được bài toán chung.
Từ khóa liên quan
- công cụ phát hiện nội dung ai
- ai content detector
- kiểm tra văn bản do chatgpt viết
- ai detector có chính xác không
- openai gỡ bỏ ai text classifier
- tỷ lệ báo nhầm của ai detector
- turnitin phát hiện ai
- perplexity và burstiness là gì
- phát hiện ai với văn bản tiếng việt
- gian lận học thuật bằng ai
- google có phạt nội dung ai không
- chính sách nội dung hữu ích của google
- cách kiểm tra bài viết có phải ai viết
- lịch sử chỉnh sửa google docs
- synthid đánh dấu nội dung ai
- thiên lệch với người học tiếng anh
- nhận biết văn bản máy sinh
- viết nội dung với sự hỗ trợ của ai
- kiểm chứng thông tin trong bài viết
- eeat và nội dung ai
