Lọc trùng Excel theo một hoặc nhiều cột, xem trước dòng nào bị xóa
Danh sách khách hàng gộp từ nhiều nguồn, danh sách đăng ký sự kiện hay file xuất từ phần mềm bán hàng thường có dòng trùng. Tính năng Remove Duplicates của Excel xóa ngay mà không cho xem trước, lại coi Nguyễn Văn An và nguyễn văn an là hai người khác nhau khi có khoảng trắng thừa. Công cụ lọc trùng Excel này cho bạn chọn cột xác định trùng, bỏ qua hoa thường, khoảng trắng và cả dấu tiếng Việt, xem trước từng nhóm trùng, rồi tải file đã lọc và file các dòng bị xóa.
Tính năng nổi bật
- Tải file .xlsx, .xls, .csv hoặc dán bảng copy từ Excel, Google Sheets
- Chọn một hoặc nhiều cột để xác định trùng, không chọn cột nào thì so toàn bộ dòng
- Giữ dòng xuất hiện đầu tiên hoặc dòng cuối cùng của mỗi nhóm trùng
- Bỏ qua khoảng trắng thừa, không phân biệt hoa thường, bỏ qua dấu tiếng Việt kể cả chữ Đ
- Xem trước từng nhóm trùng với số dòng Excel thật, biết dòng nào bị xóa và trùng với dòng nào
- Đếm số nhóm trùng, số dòng bị xóa, số dòng còn lại và liệt kê các nhóm trùng nhiều nhất
- Tải file đã lọc trùng và file riêng các dòng bị xóa để đối chiếu, định dạng .xlsx
- Giữ nguyên số điện thoại, mã có số 0 đứng đầu; xử lý trong trình duyệt, không tải dữ liệu lên máy chủ
Vì sao Remove Duplicates của Excel đôi khi không đủ
Remove Duplicates trong thẻ Data của Excel so sánh chính xác từng ký tự, và xóa ngay khi bạn bấm OK. Với dữ liệu nhập tay, một khách hàng có thể xuất hiện dưới dạng Nguyễn Văn An, nguyễn văn an, Nguyễn Văn An có dấu cách thừa, thậm chí Nguyen Van An không dấu nếu nhập từ điện thoại. Excel coi đó là bốn người khác nhau. Khi Excel có báo đã xóa bao nhiêu dòng, bạn cũng không biết cụ thể là những dòng nào để kiểm tra lại. Công cụ này chuẩn hóa giá trị trước khi so, hiện rõ từng nhóm trùng trước khi bạn tải kết quả, và luôn cho bạn một file riêng các dòng bị loại để đối chiếu khi cần.
Lợi ích khi sử dụng
- Thấy trước dòng nào sẽ bị xóa thay vì xóa mù rồi mới phát hiện sai
- Bắt được dòng trùng do khác hoa thường, khoảng trắng hoặc có dấu, không dấu
- Luôn còn file các dòng bị xóa để khôi phục nếu cần
- Không phải thêm cột phụ COUNTIF rồi lọc tay
- Danh sách khách hàng không rời khỏi máy của bạn
Cách lọc dữ liệu trùng trong Excel bằng công cụ
- 1Chọn Tải file Excel, CSV và mở file của bạn, hoặc chọn Dán bảng rồi dán vùng dữ liệu đã copy từ Excel hoặc Google Sheets.
- 2Chọn sheet nếu file có nhiều sheet và nhập số dòng tiêu đề. Các dòng phía trên dòng tiêu đề như tên báo cáo sẽ không được xét.
- 3Tích các cột dùng để xác định trùng, ví dụ Số điện thoại, hoặc Họ tên cộng Số điện thoại. Không tích cột nào thì hai dòng chỉ bị coi là trùng khi giống nhau ở mọi cột.
- 4Chọn giữ dòng đầu tiên hay dòng cuối cùng, bật các tùy chọn bỏ qua khoảng trắng, hoa thường, dấu tiếng Việt nếu cần.
- 5Xem bảng kết quả ở chế độ Chỉ các dòng thuộc nhóm trùng để kiểm tra, rồi tải file đã lọc trùng và file các dòng bị xóa.
Chọn cột để xác định trùng thế nào cho đúng mục đích
Cột bạn chọn quyết định thế nào là trùng. Muốn mỗi số điện thoại chỉ còn một dòng để gửi tin nhắn, hãy chỉ chọn cột Số điện thoại. Muốn loại những lần một người đăng ký hai lần nhưng vẫn giữ hai người khác nhau dùng chung số máy bàn công ty, hãy chọn cả Họ tên và Số điện thoại, khi đó hai dòng chỉ bị coi là trùng khi giống cả hai cột. Không chọn cột nào tương đương chọn tất cả, phù hợp khi bạn chỉ muốn bỏ những dòng bị dán lặp nguyên xi. Tiêu đề cột được chọn được tô vàng trong bảng xem trước để bạn dễ kiểm tra.
Ví dụ với dữ liệu mẫu có sẵn trong công cụ
Bấm Dán ví dụ ở chế độ Dán bảng để nạp bảng sáu khách hàng với các cột Mã KH, Họ tên, Số điện thoại, Email. Công cụ tự chọn hai cột Họ tên và Số điện thoại. Với các tùy chọn mặc định là bỏ qua khoảng trắng và không phân biệt hoa thường, kết quả có 2 nhóm trùng và 2 dòng bị xóa: KH003 nguyễn văn an trùng với KH001 Nguyễn Văn An, KH006 trùng với KH002 Trần Thị Bình, còn lại 4 dòng. Dòng KH005 Nguyen Van An có số điện thoại thừa một dấu cách ở cuối; nhờ bỏ qua khoảng trắng nên số điện thoại khớp, nhưng họ tên không dấu nên vẫn được giữ. Bật thêm Bỏ qua dấu tiếng Việt, KH005 cũng bị gộp vào nhóm của KH001 và số dòng bị xóa tăng lên 3.
Giữ dòng đầu tiên hay dòng cuối cùng
Mỗi nhóm trùng chỉ giữ lại một dòng. Giữ dòng đầu tiên phù hợp khi dữ liệu xếp theo thời gian đăng ký và bạn muốn giữ lần đăng ký sớm nhất, hoặc khi dòng phía trên thường là dòng đầy đủ thông tin nhất. Giữ dòng cuối cùng phù hợp khi file được cộng dồn theo thời gian và dòng sau là bản cập nhật mới nhất, ví dụ khách đổi địa chỉ giao hàng. Dòng được giữ luôn nằm đúng vị trí của nó trong bảng gốc, thứ tự các dòng còn lại không bị xáo trộn. Nếu bạn cần giữ dòng theo tiêu chí khác, như dòng có ngày mới nhất, hãy sắp xếp bảng theo cột ngày trong Excel trước khi đưa vào công cụ.
Bỏ qua dấu tiếng Việt hoạt động thế nào
Khi bật tùy chọn này, công cụ bỏ các dấu thanh và dấu mũ, dấu móc trước khi so sánh, và đổi đ thành d, Đ thành D. Nhờ vậy Nguyễn Văn Đức và Nguyen Van Duc được coi là giống nhau. Giá trị trong file kết quả vẫn giữ nguyên có dấu như ban đầu, việc bỏ dấu chỉ dùng để so sánh. Chữ tiếng Việt dựng sẵn và tổ hợp, là hai cách mã hóa khác nhau của cùng một chữ có dấu thường gặp khi copy từ file PDF hay phần mềm cũ, luôn được đưa về cùng một dạng trước khi so, kể cả khi tùy chọn này tắt. Lưu ý rằng bỏ dấu có thể gộp nhầm những tên khác nhau thật như Lê và Lễ, nên chỉ bật khi dữ liệu của bạn có lẫn dòng nhập không dấu.
Dòng trống và ô để trống được xử lý ra sao
Dòng trống hoàn toàn mặc định bị bỏ khỏi file kết quả và được đếm riêng, không tính vào số dòng trùng. Dòng có dữ liệu nhưng để trống ở mọi cột bạn chọn làm cột so trùng, ví dụ khách chưa có số điện thoại, mặc định không bị coi là trùng với nhau, vì hai ô trống không có nghĩa là cùng một người. Nếu bạn muốn gộp cả những dòng đó, hãy bỏ tích tùy chọn Không coi các dòng có cột so trùng để trống là trùng nhau. Bảng mà hàng dài hàng ngắn khác nhau cũng được xử lý đúng: ô thiếu ở cuối dòng được coi là ô trống.
Hai file tải về dùng để làm gì
File đã lọc trùng giữ dòng tiêu đề và các dòng được giữ theo đúng thứ tự ban đầu, sẵn sàng để dùng tiếp. File các dòng bị xóa có thêm hai cột ở đầu: Dòng gốc cho biết dòng đó nằm ở dòng số mấy trong file ban đầu, Trùng với dòng cho biết nó đã bị gộp vào dòng nào được giữ lại. Khi cần kiểm tra một khách hàng có bị loại nhầm không, bạn mở file này và dùng Ctrl+F tìm tên. Số dòng dùng trong cả hai file và trong bảng xem trước là số dòng thật trong Excel, tính cả dòng tiêu đề và các dòng phía trên nó. Nếu chỉ cần dán nhanh sang sheet khác, dùng nút Sao chép bảng đã lọc.
Giới hạn của công cụ
Công cụ không nhận ra những cách viết khác nhau về nội dung như 0901 234 567 và 0901234567, hay +84901234567 và 0901234567; hãy chuẩn hóa số điện thoại trước nếu cần. Công cụ không gộp thông tin của các dòng trùng lại với nhau, dòng bị xóa là bị loại nguyên dòng. Định dạng màu, công thức, ô gộp của file gốc không được giữ trong file tải về, chỉ có giá trị. Ngày tháng được ghi dạng văn bản ngày/tháng/năm. File tối đa 50 MB, file có mật khẩu cần gỡ trước. Bảng xem trước chỉ hiện 300 dòng và 15 cột đầu, file tải về chứa đủ toàn bộ.
Câu hỏi thường gặp (FAQ)
Lọc trùng theo nhiều cột nghĩa là gì?
Hai dòng chỉ bị coi là trùng khi giống nhau ở tất cả các cột bạn chọn. Ví dụ chọn Họ tên và Số điện thoại thì hai người cùng tên nhưng khác số vẫn được giữ cả hai.
Công cụ khác gì so với Remove Duplicates của Excel?
Công cụ cho xem trước từng nhóm trùng trước khi tải kết quả, có tùy chọn bỏ qua hoa thường, khoảng trắng và dấu tiếng Việt, cho chọn giữ dòng đầu hay dòng cuối, và luôn xuất riêng file các dòng bị xóa.
Có đếm được mỗi giá trị trùng bao nhiêu lần không?
Có. Mục Các nhóm trùng nhiều nhất liệt kê những nhóm có nhiều dòng nhất kèm số lượng và số dòng Excel của từng dòng trong nhóm. Bảng xem trước cũng ghi số nhóm cho mỗi dòng trùng.
Nguyễn Văn An và nguyễn văn an có bị coi là trùng không?
Có, khi tùy chọn Không phân biệt chữ hoa, chữ thường đang bật (mặc định bật). Tắt tùy chọn này nếu bạn cần phân biệt hoa thường.
Nguyễn và Nguyen không dấu có bị coi là trùng không?
Chỉ khi bạn bật tùy chọn Bỏ qua dấu tiếng Việt. Mặc định tùy chọn này tắt vì có thể gộp nhầm các tên khác nhau thật.
Số điện thoại có số 0 ở đầu có bị mất không?
Không. Số điện thoại lưu dạng văn bản hoặc dạng số có định dạng số 0 đứng đầu đều được đọc đúng như hiển thị và ghi ra file kết quả dạng văn bản, giữ số 0.
Có lọc trùng được trên file CSV không?
Được. File CSV được tự nhận dấu phân cách phẩy, chấm phẩy hoặc tab, và mã hóa UTF-8, UTF-16 hay Windows-1258, nên tiếng Việt từ phần mềm cũ không bị lỗi font.
Tôi chỉ muốn đánh dấu dòng trùng chứ không xóa thì sao?
Dùng file các dòng bị xóa: cột Dòng gốc cho biết chính xác những dòng nào là bản trùng. Bạn có thể dùng danh sách số dòng đó để tô màu trong file gốc thay vì xóa.
Dòng tiêu đề có bị tính là dữ liệu không?
Không, miễn là bạn nhập đúng số dòng tiêu đề. Dòng tiêu đề được giữ ở đầu file đã lọc, các dòng phía trên nó không được xét và không có trong file kết quả.
Có lọc trùng trên nhiều sheet cùng lúc được không?
Mỗi lần công cụ xét một sheet. Nếu dữ liệu nằm ở nhiều sheet hoặc nhiều file, hãy gộp chúng thành một bảng trước bằng công cụ gộp file Excel, rồi lọc trùng trên bảng đã gộp.
File lớn bao nhiêu thì xử lý được?
Mỗi file tối đa 50 MB. Trong thử nghiệm của chúng tôi, bước tìm trùng trên hai trăm nghìn dòng theo hai cột mất khoảng một phần ba giây; thời gian đọc file .xlsx lớn thường dài hơn và phụ thuộc cấu hình máy.
Dữ liệu có bị gửi lên máy chủ không?
Không. Việc đọc file, tìm trùng và tạo file kết quả đều chạy trong trình duyệt trên máy bạn.
Từ khóa liên quan
- lọc trùng excel
- lọc dữ liệu trùng trong excel
- xóa dữ liệu trùng trong excel
- lọc trùng nhiều cột excel
- tìm dữ liệu trùng trong excel
- remove duplicates excel
- lọc trùng online
- xóa dòng trùng lặp excel
- đếm số lần trùng trong excel
- lọc trùng số điện thoại
- lọc trùng danh sách khách hàng
- lọc trùng họ tên excel
- lọc trùng không phân biệt hoa thường
- lọc trùng file csv
- lọc giá trị duy nhất excel
- tìm dòng trùng lặp giữa các cột
- lọc trùng google sheets
- loại bỏ dữ liệu trùng lặp