Kiểm tra hàng loạt URL đã được Google lập chỉ mục hay chưa, đọc từ sitemap hoặc danh sách dán tay
Công cụ nhận danh sách URL dán tay hoặc tự đọc toàn bộ đường dẫn từ một tệp sitemap, rồi lần lượt tra từng URL trên Google bằng toán tử site kết hợp đường dẫn chính xác. Kết quả chia làm ba nhóm đã lập chỉ mục, chưa lập chỉ mục và lỗi, kèm thanh tiến độ, nút dừng giữa chừng và nút xuất tệp CSV.
Tính năng nổi bật
- Hai cách nhập liệu: dán danh sách URL mỗi dòng một đường dẫn, hoặc nhập địa chỉ tệp sitemap để tự lấy toàn bộ
- Đếm sẵn số URL hợp lệ đã nhận diện trước khi bạn bấm chạy
- Chạy theo lô ba URL một lượt kèm khoảng nghỉ để giảm nguy cơ bị chặn
- Thanh tiến độ theo phần trăm và bảng thống kê cập nhật liên tục trong lúc chạy
- Nút dừng lại có hiệu lực ngay, các URL chưa chạy sẽ được bỏ qua
- Tự giãn thêm thời gian nghỉ khi gặp nhiều lỗi liên tiếp
- Thông báo chỉ rõ loại lỗi gặp phải kèm hướng xử lý cho từng loại
- Xuất kết quả ra tệp CSV hoặc sao chép sang bộ nhớ tạm để dán vào bảng tính
Vì sao cần kiểm tra chỉ mục hàng loạt thay vì tra từng trang
Một website bán hàng cỡ vừa có vài trăm trang sản phẩm, một trang tin có hàng nghìn bài. Việc mở từng đường dẫn ra tra thủ công là không khả thi, mà không tra thì bạn không bao giờ biết bao nhiêu phần trăm nội dung mình sản xuất ra thực sự có mặt trên Google. Đây không phải câu hỏi hàn lâm: một trang chưa được lập chỉ mục thì dù nội dung hay tới đâu, tối ưu kỹ tới đâu, nó cũng nhận về đúng không lượt truy cập từ tìm kiếm. Trong thực tế làm nghề, tỷ lệ trang không được lập chỉ mục trên các website lớn thường cao hơn nhiều so với dự đoán của chủ website, và nguyên nhân hầu như luôn nằm ở vài lỗi kỹ thuật lặp lại có hệ thống chứ không rải rác ngẫu nhiên. Chạy một lượt kiểm tra trên toàn bộ sitemap giúp bạn nhìn thấy quy luật: nhóm trang nào bị bỏ sót, chúng có điểm gì chung, từ đó sửa một lần cho cả nhóm thay vì đi chữa từng trang một.
Lợi ích khi sử dụng
- Nhìn được bức tranh toàn cục thay vì đoán mò về tình trạng chỉ mục của website
- Phát hiện nhóm trang bị bỏ sót có chung đặc điểm, từ đó sửa một lần cho cả nhóm
- Lấy được danh sách URL từ sitemap mà không phải mở tệp XML ra chép tay
- Xuất CSV nên đối chiếu được với dữ liệu lưu lượng để ưu tiên xử lý theo giá trị trang
- Không cần khóa giao diện lập trình, không cần cấp quyền quản trị website
Cách kiểm tra chỉ mục cho một loạt URL
- 1Chọn thẻ Từ Sitemap rồi nhập địa chỉ tệp sitemap của website nếu muốn lấy toàn bộ đường dẫn, hoặc chọn thẻ Nhập URL thủ công để dán danh sách.
- 2Đối chiếu con số URL đã nhận diện hiện dưới ô nhập, chỉ những dòng bắt đầu bằng http hoặc https mới được tính.
- 3Nếu danh sách quá dài, hãy cắt bớt xuống dưới 50 đường dẫn cho mỗi lượt để giảm nguy cơ bị giới hạn tần suất.
- 4Bấm Bắt đầu kiểm tra và để tab mở, theo dõi thanh tiến độ cùng bảng thống kê ba nhóm kết quả.
- 5Khi chạy xong, bấm xuất tệp CSV để mở bằng bảng tính, hoặc bấm sao chép nếu chỉ cần dán nhanh sang tài liệu làm việc.
Được thu thập, được lập chỉ mục và được xếp hạng là ba việc khác nhau
Một trang muốn xuất hiện trên kết quả tìm kiếm phải đi qua bốn bước và có thể rớt lại ở bất kỳ bước nào. Bước một là được khám phá, tức Google biết đường dẫn ấy tồn tại thông qua sitemap, thông qua liên kết từ trang khác hoặc từ một nguồn nào đó. Bước hai là được thu thập, tức bọ tìm kiếm thực sự tải nội dung trang về; bước này có thể bị chặn bởi tệp robots.txt hoặc bởi lỗi máy chủ. Bước ba là được lập chỉ mục, tức Google phân tích nội dung, đánh giá và quyết định lưu trang vào kho dữ liệu; rất nhiều trang được thu thập nhưng không được lập chỉ mục vì nội dung bị coi là trùng lặp, quá mỏng hoặc không đáng lưu. Bước bốn là được xếp hạng cho một truy vấn cụ thể. Công cụ này chỉ trả lời cho bước ba, và đó đã là thông tin quan trọng nhất, vì trang chưa qua bước này thì mọi nỗ lực ở bước bốn đều vô nghĩa. Ngược lại, một trang đã được lập chỉ mục mà vẫn không có lượt truy cập là vấn đề về nội dung và cạnh tranh, không phải vấn đề kỹ thuật.
Công cụ kiểm tra bằng cách nào và độ tin cậy tới đâu
Với mỗi đường dẫn, máy chủ tạo một truy vấn tìm kiếm gồm toán tử site giới hạn theo tên miền kèm chính đường dẫn đó đặt trong dấu ngoặc kép, rồi đọc trang kết quả để xem có bản ghi nào khớp hay không. Đây đúng là cách mà một người làm nghề vẫn tra thủ công, chỉ khác là được lặp lại tự động. Cần nói rõ hai điều về độ tin cậy. Thứ nhất, chính Google đã nhiều lần lưu ý rằng toán tử site không phải công cụ chẩn đoán chính xác: số lượng kết quả nó trả về là ước lượng, và trong một số trường hợp một trang đã được lập chỉ mục vẫn không hiện ra với truy vấn kiểu này. Thứ hai, nguồn dữ liệu chính thức và chính xác nhất về tình trạng chỉ mục là công cụ kiểm tra URL trong Google Search Console, nơi bạn đọc được cả lý do trang bị loại và thời điểm thu thập gần nhất. Vậy công cụ này dùng để làm gì? Nó là bước quét nhanh trên diện rộng, dùng để khoanh vùng những trang cần xem kỹ, sau đó bạn mới đem từng trang đáng ngờ vào Search Console để xác minh và đọc nguyên nhân.
Vì sao chạy chậm và vì sao thỉnh thoảng báo lỗi
Google có cơ chế phát hiện truy vấn tự động, và khi bị kích hoạt thì phản ứng là chặn tạm thời chứ không phải trả về dữ liệu sai. Vì vậy công cụ cố tình chạy chậm ở cả hai tầng: mỗi lô chỉ ba đường dẫn, giữa các lô nghỉ tám giây, và ngay bên trong mỗi lô ba đường dẫn đó máy chủ còn tự chèn thêm khoảng tám giây nghỉ giữa các lượt tra cứu; nếu gặp lỗi liên tiếp thì thời gian nghỉ giữa các lô tự giãn thêm tối đa mười giây nữa. Cộng cả hai tầng nghỉ lại, tốc độ thực tế chỉ vào khoảng mười một tới mười hai đường dẫn mỗi phút, nghĩa là một trăm đường dẫn mất khoảng chín phút và năm trăm đường dẫn mất khoảng bốn mươi lăm phút. Ba mã lỗi hay gặp có ý nghĩa khác nhau. Mã 429 là bị giới hạn tần suất, cách xử lý là dừng lại và thử lại sau mười tới ba mươi phút. Mã 403 là địa chỉ mạng bị chặn, thường phải đợi vài giờ hoặc đổi kết nối. Mã 302 kèm yêu cầu xác minh nghĩa là Google đang đòi giải mã xác thực, cũng cần đợi. Điểm quan trọng cần nhớ: dòng nào rơi vào nhóm lỗi thì hoàn toàn không mang thông tin gì về tình trạng chỉ mục, đừng đọc nó thành chưa được lập chỉ mục. Hãy tách riêng nhóm lỗi và chạy lại sau.
Những nguyên nhân thường gặp khiến một trang không được lập chỉ mục
Nhóm nguyên nhân do bạn chủ động mà quên mất gồm thẻ meta robots đặt giá trị noindex còn sót lại từ giai đoạn phát triển, tiêu đề phản hồi X-Robots-Tag ở tầng máy chủ, và đường dẫn bị chặn trong robots.txt. Nhóm do cấu hình sai gồm thẻ canonical trỏ sang một địa chỉ khác khiến Google gộp trang của bạn vào trang kia, chuyển hướng dây chuyền qua nhiều chặng, hoặc trang trả về mã lỗi khi bọ tìm kiếm ghé thăm dù người dùng vẫn xem được. Nhóm do nội dung gồm trang quá mỏng, trang tự sinh theo mẫu chỉ khác nhau vài chữ, trang danh mục có bộ lọc tạo ra hàng nghìn địa chỉ gần giống nhau, và nội dung sao chép từ nơi khác. Nhóm do cấu trúc gồm trang mồ côi không có liên kết nội bộ nào trỏ tới nên bọ tìm kiếm khó tìm ra, và trang nằm quá sâu tính theo số cú nhấp từ trang chủ. Cuối cùng là nhóm chỉ cần kiên nhẫn: trang mới xuất bản trong vài ngày tới vài tuần đầu có thể chưa được xử lý, đặc biệt với website mới hoặc website có ít tín hiệu uy tín.
Xử lý kết quả sau khi có bảng thống kê
Đừng lao vào sửa theo thứ tự danh sách. Việc đầu tiên nên làm là xuất tệp CSV rồi ghép với dữ liệu lưu lượng và dữ liệu doanh thu của bạn trong bảng tính, sau đó sắp xếp theo mức độ quan trọng: một trang danh mục chính chưa được lập chỉ mục đáng xử lý gấp trăm lần so với một trang thẻ hiếm ai vào. Việc thứ hai là tìm quy luật: nếu các trang bị bỏ sót đều nằm cùng một thư mục, cùng một mẫu giao diện hoặc cùng được tạo trong một đợt, thì gần như chắc chắn có một lỗi cấu hình chung. Việc thứ ba là lấy vài đường dẫn đại diện đem vào công cụ kiểm tra URL trong Search Console để đọc lý do cụ thể, vì đó là nơi duy nhất nói cho bạn biết Google đang nghĩ gì về trang đó. Chỉ sau khi đã sửa được nguyên nhân thì mới yêu cầu lập chỉ mục lại; gửi yêu cầu khi lỗi vẫn còn nguyên chỉ tốn thời gian. Một lưu ý cuối: giao diện lập trình dành cho việc gửi yêu cầu lập chỉ mục của Google chỉ hỗ trợ chính thức cho hai loại nội dung là tin tuyển dụng và sự kiện phát trực tiếp, nên đừng tin những hướng dẫn hứa hẹn ép chỉ mục hàng loạt cho mọi trang.
Câu hỏi thường gặp (FAQ)
Kết quả của công cụ có chính xác tuyệt đối không?
Không. Công cụ tra bằng toán tử site kèm đường dẫn chính xác, cách này cho kết quả tốt trên diện rộng nhưng vẫn có sai lệch vì chính Google lưu ý toán tử site không phải công cụ chẩn đoán. Hãy dùng nó để khoanh vùng, rồi xác minh từng trang đáng ngờ bằng công cụ kiểm tra URL trong Search Console.
Vì sao kiểm tra chậm thế, một trăm đường dẫn mất mấy phút?
Vì công cụ cố tình giãn nhịp ở hai tầng để tránh bị Google chặn: mỗi lô ba đường dẫn nghỉ tám giây giữa các lô, cộng thêm khoảng tám giây nghỉ nội bộ giữa các lượt tra cứu bên trong mỗi lô, và tự giãn thêm khi gặp lỗi liên tiếp. Tốc độ thực tế khoảng mười một tới mười hai đường dẫn mỗi phút, nên một trăm đường dẫn mất khoảng chín phút.
Gặp lỗi 429 thì phải làm gì?
Đó là dấu hiệu bị giới hạn tần suất do gửi quá nhiều truy vấn trong thời gian ngắn. Hãy dừng lại, đợi từ mười tới ba mươi phút rồi chạy lại với danh sách nhỏ hơn, dưới năm mươi đường dẫn mỗi lượt. Chạy tiếp ngay lập tức thường chỉ khiến thời gian bị chặn kéo dài thêm.
Dòng báo lỗi có nghĩa là trang chưa được lập chỉ mục không?
Không, và đây là hiểu nhầm nguy hiểm nhất. Nhóm lỗi nghĩa là không lấy được câu trả lời chứ không phải câu trả lời là chưa lập chỉ mục. Hãy lọc riêng những dòng này ra và chạy lại sau, đừng gộp chúng vào nhóm cần xử lý.
Nhập sitemap dạng chỉ mục chứa nhiều sitemap con có được không?
Được, và không cần thao tác gì thêm. Công cụ tự nhận diện sitemap dạng chỉ mục và tự động mở từng tệp sitemap con để gộp toàn bộ đường dẫn lại thành một danh sách duy nhất trước khi đổ vào ô nhập thủ công cho bạn xem lại. Bạn chỉ cần dán đúng địa chỉ của tệp sitemap chỉ mục ở ngoài cùng; việc còn lại là tự động, không phải nhập tay từng tệp sitemap con.
Nên kiểm tra bao nhiêu đường dẫn mỗi lần?
Dưới năm mươi là vùng an toàn. Từ năm mươi tới một trăm sẽ hiện cảnh báo vì nguy cơ bị giới hạn tần suất tăng lên. Trên một trăm thì nên chia thành nhiều đợt chạy cách nhau, vừa giảm rủi ro bị chặn vừa dễ đối chiếu kết quả theo từng nhóm trang.
Trang mới đăng bao lâu thì được lập chỉ mục?
Không có mốc cố định. Website có uy tín và cập nhật đều đặn thường được xử lý trong vài giờ tới vài ngày, website mới hoặc ít được liên kết tới có thể mất vài tuần, thậm chí không bao giờ nếu nội dung bị đánh giá là không đáng lưu. Hãy đợi ít nhất một tuần trước khi kết luận có vấn đề.
Trang đã được lập chỉ mục nhưng không có lượt truy cập thì sao?
Đó là vấn đề khác hẳn và công cụ này không trả lời được. Lập chỉ mục chỉ nghĩa là trang có mặt trong kho dữ liệu, còn việc có xuất hiện ở vị trí người dùng nhìn thấy hay không phụ thuộc chất lượng nội dung, mức độ cạnh tranh của truy vấn và uy tín tổng thể của website.
Vì sao nhiều trang danh mục có bộ lọc lại không được lập chỉ mục?
Vì bộ lọc thường sinh ra hàng nghìn đường dẫn có nội dung gần giống nhau, và Google gộp chúng lại rồi chỉ giữ một bản đại diện. Đây là hành vi bình thường chứ không phải lỗi. Cách xử lý là đặt thẻ canonical trỏ về trang danh mục gốc và chỉ mở chỉ mục cho những tổ hợp lọc thực sự có nhu cầu tìm kiếm.
Có cách nào ép Google lập chỉ mục hàng loạt không?
Không có cách chính thức. Giao diện lập trình gửi yêu cầu lập chỉ mục của Google chỉ hỗ trợ chính thức cho tin tuyển dụng và sự kiện phát trực tiếp. Với nội dung thông thường, bạn chỉ có sitemap luôn cập nhật, liên kết nội bộ tốt và nút yêu cầu lập chỉ mục thủ công trong Search Console cho từng đường dẫn.
Dữ liệu URL của tôi có bị lưu lại không?
Danh sách được gửi tới máy chủ để thực hiện việc tra cứu vì trình duyệt không tự truy vấn Google được, nhưng kết quả chỉ trả về cho tab của bạn và không có bước ghi vào cơ sở dữ liệu nào. Dù vậy, nếu danh sách URL của bạn thuộc diện bảo mật, hãy cân nhắc trước khi dùng bất kỳ dịch vụ trực tuyến nào.
Nên làm gì với danh sách trang chưa được lập chỉ mục?
Xuất CSV rồi ghép với dữ liệu lưu lượng để ưu tiên theo giá trị trang, sau đó tìm điểm chung giữa các trang bị bỏ sót. Nếu chúng cùng một thư mục hoặc cùng một mẫu giao diện thì gần như chắc chắn có lỗi cấu hình chung, sửa một lần là giải quyết được cả nhóm.
Từ khóa liên quan
- kiểm tra index google
- check url đã được google index chưa
- kiểm tra index hàng loạt
- google index checker miễn phí
- kiểm tra index từ sitemap
- trang không được index google
- cách kiểm tra website đã lên google chưa
- toán tử site trong google
- google search console kiểm tra url
- tỷ lệ index của website
- sitemap xml kiểm tra
- lỗi discovered currently not indexed
- trang bị noindex
- canonical trỏ sai làm mất index
- kiểm tra index cho website bán hàng
- công cụ seo kiểm tra chỉ mục
- xuất báo cáo index ra csv
- yêu cầu google index lại
- vì sao bài viết mới chưa lên google
- kiểm tra index cho hàng nghìn url
