Xóa dòng trùng trong danh sách: quy tắc so khớp và những cái bẫy hay gặp
Công cụ đọc từng dòng trong ô nhập, giữ lại lần xuất hiện đầu tiên của mỗi dòng và bỏ tất cả các lần lặp phía sau, đồng thời giữ nguyên thứ tự ban đầu. Hai công tắc cho phép bật tắt việc phân biệt chữ hoa chữ thường và việc cắt khoảng trắng đầu cuối dòng, kết quả cập nhật ngay khi bạn dán dữ liệu vào.
Tính năng nổi bật
- So khớp theo từng dòng, giữ lại lần xuất hiện đầu tiên và bỏ các lần lặp sau
- Giữ nguyên thứ tự dòng ban đầu, không sắp xếp lại danh sách
- Công tắc phân biệt chữ hoa chữ thường, mặc định bật
- Công tắc cắt khoảng trắng đầu và cuối mỗi dòng trước khi so sánh, mặc định bật
- Tự động bỏ mọi dòng trống khỏi kết quả
- Đếm sẵn số dòng đầu vào, số dòng còn lại và số dòng đã bị xóa
- Xử lý ngay khi gõ hoặc dán, không cần bấm nút chạy
- Nút sao chép kết quả và toàn bộ xử lý diễn ra trên trình duyệt, dữ liệu không gửi đi
Vì sao hàm lọc trùng trong bảng tính hay bỏ sót
Ai cũng biết bảng tính có sẵn chức năng xóa giá trị trùng, nhưng nó chỉ so khớp chuỗi ký tự y hệt nhau. Trong danh sách thật, phần lớn bản trùng không giống nhau từng ký tự: một dòng có khoảng trắng thừa ở cuối do sao chép từ trang web, một dòng viết hoa chữ cái đầu do người nhập gõ tay, một dòng bị dính ký tự xuống dòng thừa khi xuất từ hệ thống khác. Bảng tính coi đó là ba giá trị khác nhau và giữ lại cả ba. Công cụ này xử lý đúng hai nguyên nhân phổ biến nhất bằng hai công tắc: cắt khoảng trắng đầu cuối và bỏ phân biệt chữ hoa chữ thường. Ưu điểm thứ hai là bạn thấy ngay con số dòng đã bị xóa, nên biết được danh sách bẩn tới mức nào — nếu dán một nghìn dòng mà xóa mất tám trăm thì rõ ràng khâu thu thập dữ liệu đang có vấn đề chứ không phải chỉ cần dọn một lần là xong.
Lợi ích khi sử dụng
- Bắt được các bản trùng mà bảng tính bỏ sót vì khác nhau khoảng trắng hoặc chữ hoa
- Giữ nguyên thứ tự ban đầu nên vẫn đối chiếu được với bản gốc
- Con số dòng bị xóa cho biết ngay chất lượng nguồn dữ liệu
- Không cần công thức, không cần cài tiện ích, dán vào là có kết quả
- Dữ liệu không rời khỏi trình duyệt nên dùng được với danh sách khách hàng nội bộ
Cách lọc trùng một danh sách
- 1Dán danh sách vào ô Input, mỗi mục nằm trên một dòng riêng, không cần bấm nút nào.
- 2Đọc con số ở tiêu đề hai ô để biết đầu vào có bao nhiêu dòng và còn lại bao nhiêu dòng.
- 3Tắt công tắc phân biệt hoa thường nếu đang xử lý email, tên miền hay từ khóa, vì với các loại này chữ hoa và chữ thường thường là cùng một giá trị.
- 4Giữ công tắc cắt khoảng trắng ở trạng thái bật, trừ khi dữ liệu của bạn cố ý dùng khoảng trắng đầu dòng để biểu diễn cấp bậc.
- 5Bấm nút sao chép ở ô Output rồi dán sang bảng tính, hệ quản trị khách hàng hoặc công cụ gửi thư.
Chính xác thì công cụ so khớp theo quy tắc nào
Công cụ tách văn bản theo ký tự xuống dòng, xử lý lần lượt từ trên xuống và ghi nhớ những dòng đã gặp. Dòng nào chưa từng gặp thì được giữ lại và ghi vào bộ nhớ, dòng nào đã gặp thì bị bỏ. Kết quả là lần xuất hiện đầu tiên luôn được giữ và các lần sau bị loại, thứ tự các dòng còn lại y như thứ tự ban đầu. Có ba điểm cần biết rõ. Thứ nhất, mọi dòng trống đều bị loại khỏi kết quả bất kể bạn bật tắt công tắc nào, nên nếu danh sách của bạn dùng dòng trống để phân nhóm thì cấu trúc đó sẽ mất. Thứ hai, khi công tắc cắt khoảng trắng bật, dòng được cắt trước rồi mới đem so sánh, và dòng ghi ra kết quả cũng là dòng đã cắt chứ không phải dòng gốc. Thứ ba, phép so sánh áp dụng cho toàn bộ dòng chứ không cho một phần của dòng, nên hai dòng chỉ khác nhau một dấu phẩy cuối vẫn được coi là hai giá trị khác nhau.
Hai công tắc và ảnh hưởng thật của chúng
Công tắc phân biệt hoa thường mặc định bật, nghĩa là Hà Nội và hà nội được coi là hai dòng khác nhau. Tắt nó đi thì công cụ đưa cả hai về chữ thường để so sánh, nhưng dòng được giữ lại vẫn là dòng gốc với cách viết hoa ban đầu — cụ thể là dòng xuất hiện đầu tiên. Nên tắt khi xử lý email, tên miền, mã sản phẩm hay từ khóa tìm kiếm, vì ở các loại dữ liệu này cách viết hoa không tạo ra giá trị khác. Nên bật khi xử lý danh sách mà chữ hoa mang nghĩa, chẳng hạn mã phân biệt hoa thường trong lập trình hoặc tên riêng cần giữ đúng. Công tắc cắt khoảng trắng mặc định bật và nên để nguyên trong hầu hết trường hợp: khoảng trắng thừa ở cuối dòng là nguyên nhân số một khiến bản trùng lọt lưới, và nó gần như luôn vô hình khi nhìn bằng mắt. Chỉ tắt khi danh sách dùng thụt đầu dòng để biểu diễn cấp bậc, ví dụ khi bạn đang xử lý cây danh mục.
Ba cái bẫy riêng của dữ liệu tiếng Việt
Bẫy thứ nhất là dấu tổ hợp Unicode. Chữ ế có thể được lưu bằng một ký tự duy nhất, hoặc bằng ký tự ê ghép với dấu sắc rời thành hai ký tự. Hai cách lưu này hiển thị y hệt nhau trên màn hình nhưng là hai chuỗi khác nhau đối với máy, nên công cụ sẽ giữ lại cả hai. Tình huống này rất hay xảy ra khi trộn dữ liệu từ máy Mac với dữ liệu từ Windows, hoặc khi người nhập dùng bộ gõ khác nhau. Cách xử lý là chuẩn hóa văn bản về cùng một dạng trước, trong bảng tính hoặc bằng một đoạn mã ngắn. Bẫy thứ hai là ký tự khoảng trắng vô hình không phải khoảng trắng thường, điển hình là khoảng trắng không ngắt và khoảng trắng rộng bằng không thường lẫn vào khi sao chép từ trang web hoặc từ tài liệu Word. Công tắc cắt khoảng trắng xử lý được loại thứ nhất nhưng không xử lý được loại thứ hai. Bẫy thứ ba là khoảng trắng nằm giữa dòng: giày nam với một dấu cách và giày nam với hai dấu cách vẫn là hai dòng khác nhau, vì công cụ chỉ cắt hai đầu chứ không rút gọn khoảng trắng bên trong.
Dọn danh sách email, từ khóa và mã sản phẩm cho đúng cách
Với danh sách email, luôn tắt phân biệt hoa thường vì phần tên miền theo chuẩn là không phân biệt hoa thường và trên thực tế mọi nhà cung cấp đều xử lý phần trước dấu a còng theo cách đó. Nhưng lưu ý công cụ không nhận ra hai địa chỉ dẫn về cùng một hộp thư khi chúng khác nhau về ký tự chấm hoặc phần đuôi thêm sau dấu cộng — nhiều dịch vụ thư coi những biến thể đó là cùng một hộp, còn công cụ thì coi là khác nhau. Muốn dọn triệt để, hãy chuẩn hóa các biến thể đó trước rồi mới lọc trùng. Với danh sách từ khóa lấy từ công cụ nghiên cứu, thường có cả bản có dấu và bản không dấu, đây là hai truy vấn thật sự khác nhau về hành vi tìm kiếm nên đừng gộp chúng lại. Với mã sản phẩm, hãy kiểm tra xem hệ thống của bạn có phân biệt hoa thường hay không trước khi tắt công tắc; nếu mã có tiền tố chữ và hậu tố số thì nên giữ phân biệt để tránh gộp nhầm hai mã hợp lệ.
Khi nào công cụ này không phải lựa chọn đúng
Công cụ làm việc trên từng dòng nguyên vẹn, nên nó không phù hợp với ba nhóm việc. Thứ nhất, dữ liệu nhiều cột: nếu bạn dán một bảng gồm tên, số điện thoại và địa chỉ ngăn cách bằng dấu phẩy, công cụ chỉ loại được những dòng giống nhau hoàn toàn cả ba cột, còn hai bản ghi cùng một số điện thoại nhưng khác cách viết địa chỉ thì vẫn giữ cả hai. Muốn lọc theo một cột, hãy dùng chức năng xóa trùng theo cột của bảng tính. Thứ hai, khi bạn cần biết mỗi giá trị lặp bao nhiêu lần: công cụ chỉ cho tổng số dòng đã xóa chứ không liệt kê tần suất từng giá trị. Thứ ba, khi bạn muốn giữ lại bản xuất hiện cuối cùng thay vì bản đầu tiên, chẳng hạn khi các dòng sau là bản cập nhật mới hơn — công cụ luôn giữ bản đầu, cách vòng qua là đảo ngược thứ tự danh sách trước khi dán vào. Ngoài ra với tệp rất lớn cỡ hàng trăm nghìn dòng, trình duyệt sẽ chậm rõ rệt vì mọi thứ chạy trong bộ nhớ trang.
Câu hỏi thường gặp (FAQ)
Công cụ giữ lại dòng đầu tiên hay dòng cuối cùng?
Luôn giữ lần xuất hiện đầu tiên và bỏ mọi lần lặp phía sau. Nếu bạn cần giữ bản mới nhất trong khi bản mới nằm ở cuối danh sách, hãy đảo ngược thứ tự danh sách trước khi dán vào, sau đó đảo lại lần nữa sau khi lọc xong để trở về thứ tự ban đầu.
Thứ tự các dòng có bị xáo trộn không?
Không. Công cụ giữ nguyên thứ tự xuất hiện ban đầu của những dòng được giữ lại, nên bạn vẫn đối chiếu được với bản gốc. Nếu bạn cần danh sách được sắp xếp theo bảng chữ cái hay theo số, đó là việc của công cụ sắp xếp danh sách chứ không phải công cụ này.
Khi nào nên tắt công tắc phân biệt hoa thường?
Khi xử lý email, tên miền, từ khóa tìm kiếm hoặc bất cứ dữ liệu nào mà cách viết hoa không tạo ra giá trị khác. Giữ bật khi chữ hoa mang nghĩa, chẳng hạn mã định danh trong lập trình hay tên riêng cần giữ đúng cách viết. Dòng được giữ lại luôn giữ cách viết hoa gốc.
Vì sao hai dòng trông giống hệt nhau mà không bị gộp?
Thường do khác nhau ở phần mắt không nhìn thấy: khoảng trắng thừa giữa hai từ, ký tự khoảng trắng đặc biệt lẫn vào khi sao chép từ web, hoặc dấu tiếng Việt được lưu ở dạng ký tự tổ hợp thay vì ký tự đơn. Công cụ chỉ cắt khoảng trắng hai đầu chứ không rút gọn khoảng trắng bên trong.
Dấu tiếng Việt có gây lỗi lọc trùng không?
Có thể. Một chữ có dấu như ế được lưu bằng một ký tự hoặc bằng hai ký tự ghép lại, hiển thị giống hệt nhau nhưng máy coi là hai chuỗi khác nhau. Tình huống này hay gặp khi trộn dữ liệu từ máy Mac và máy Windows. Cần chuẩn hóa văn bản về cùng một dạng trước khi lọc.
Dòng trống có được giữ lại không?
Không, mọi dòng trống đều bị loại khỏi kết quả bất kể bạn đặt hai công tắc thế nào. Nếu danh sách của bạn dùng dòng trống để phân nhóm thì cấu trúc phân nhóm đó sẽ mất sau khi lọc, nên hãy đánh dấu nhóm bằng một dòng tiêu đề thay vì bằng dòng trống.
Lọc trùng danh sách email có an toàn tuyệt đối không?
Công cụ chỉ so khớp chuỗi ký tự nên nó không nhận ra hai địa chỉ dẫn về cùng một hộp thư khi chúng khác nhau ở ký tự chấm hoặc phần đuôi thêm sau dấu cộng. Nhiều nhà cung cấp coi những biến thể đó là cùng một hộp. Hãy chuẩn hóa các biến thể này trước rồi mới lọc.
Có lọc trùng theo một cột trong bảng được không?
Không. Công cụ so sánh trọn cả dòng nên nếu bạn dán bảng nhiều cột, chỉ những dòng giống nhau hoàn toàn ở mọi cột mới bị gộp. Muốn lọc theo một cột cụ thể, hãy dùng chức năng xóa giá trị trùng có chọn cột của Excel hoặc Google Sheets.
Công cụ xử lý được tối đa bao nhiêu dòng?
Không có giới hạn cứng, nhưng vì mọi thứ chạy trong bộ nhớ của trang nên với vài chục nghìn dòng bạn sẽ thấy độ trễ khi gõ, và với hàng trăm nghìn dòng trình duyệt có thể treo tạm. Với khối lượng đó nên tách nhỏ tệp hoặc xử lý bằng bảng tính hay dòng lệnh.
Có xem được danh sách các dòng bị xóa không?
Không, công cụ chỉ hiển thị tổng số dòng đã bị xóa chứ không liệt kê chúng và cũng không đếm tần suất từng giá trị. Nếu bạn cần biết giá trị nào lặp bao nhiêu lần, hãy dùng bảng tổng hợp trong Excel hoặc hàm đếm theo điều kiện.
Kết quả có tự sao chép được ra tệp không?
Công cụ có nút sao chép đưa toàn bộ kết quả vào bộ nhớ tạm, bạn dán thẳng vào bảng tính, trình soạn thảo hay hệ quản trị khách hàng. Không có chức năng tải về tệp, nên nếu cần lưu thành tệp thì dán vào trình soạn thảo văn bản rồi lưu lại.
Danh sách tôi dán vào có bị gửi lên máy chủ không?
Không. Việc tách dòng, so khớp và đếm đều chạy bằng JavaScript ngay trong trình duyệt của bạn, không có bước gọi máy chủ và không có gì được lưu lại sau khi bạn đóng tab. Vì vậy dùng được với danh sách khách hàng hay dữ liệu nội bộ.
Từ khóa liên quan
- xóa dòng trùng lặp online
- lọc trùng danh sách
- duplicate remover online
- remove duplicate lines
- lọc email trùng
- xóa giá trị trùng trong excel
- lấy dòng duy nhất trong danh sách
- dedupe list online
- làm sạch danh sách từ khóa
- xóa trùng giữ thứ tự
- phân biệt hoa thường khi lọc trùng
- cắt khoảng trắng thừa văn bản
- chuẩn hóa unicode tiếng việt
- công cụ dọn dữ liệu online
- lọc trùng mã sản phẩm
- xử lý danh sách trước khi import
- unique lines tool
- xóa dòng trống trong danh sách
- công cụ text online miễn phí
- làm sạch dữ liệu trước khi nhập crm
