Kiểm tra noindex/nofollow của trang web
Công cụ kiểm tra robots meta tag online miễn phí của Tấn Phát Digital giúp phát hiện các directives quan trọng ảnh hưởng đến SEO: noindex (chặn index trang), nofollow (chặn follow links), noarchive (chặn cache), nosnippet (chặn snippet), noimageindex (chặn index hình ảnh). Fetch và parse HTML của bất kỳ URL nào. Hiển thị raw content của meta robots tag. Trạng thái trực quan với icon xanh/đỏ cho từng directive. Giải thích ý nghĩa từng directive bằng tiếng Việt. Cảnh báo khi không tìm thấy robots meta tag. Hữu ích cho SEO specialists, web developers, và content managers để audit và debug indexing issues.
Robots meta tag là một trong những yếu tố quan trọng nhất quyết định trang web có được Google index hay không. Một sai sót nhỏ có thể gây hậu quả nghiêm trọng: Vô tình thêm noindex khiến trang biến mất khỏi Google hoàn toàn. nofollow trên internal links làm mất link equity và ảnh hưởng rankings. nosnippet khiến trang hiển thị kém hấp dẫn trong search results. noarchive ngăn users xem cached version khi site down. Các tình huống cần kiểm tra: Sau khi migrate website hoặc redesign. Khi trang quan trọng không xuất hiện trên Google. Debug indexing issues trong Google Search Console. Audit SEO technical cho client hoặc đối thủ. Kiểm tra staging site trước khi go live (staging thường có noindex). Verify sau khi remove noindex để re-index. Công cụ này giúp kiểm tra nhanh chóng, chính xác, không cần view source thủ công.
index/noindex: Quyết định trang có được thêm vào Google index hay không. noindex = trang không xuất hiện trong search results. Đây là directive quan trọng nhất. follow/nofollow: Quyết định Google có follow links trên trang hay không. nofollow = Google không truyền PageRank qua links. Lưu ý: nofollow trên meta tag áp dụng cho TẤT CẢ links trên trang. archive/noarchive: Quyết định Google có lưu cached version hay không. noarchive = không có link 'Cached' trong search results. snippet/nosnippet: Quyết định Google có hiển thị text snippet hay không. nosnippet = chỉ hiển thị title, không có description. Có thể dùng max-snippet:0 thay thế. imageindex/noimageindex: Quyết định hình ảnh trên trang có được index trong Google Images hay không. noimageindex = hình ảnh không xuất hiện trong Image Search.
robots.txt: File đặt ở root domain (example.com/robots.txt). Hướng dẫn bots KHÔNG CRAWL certain URLs. Nếu URL bị Disallow, Google không đọc content nhưng VẪN CÓ THỂ INDEX URL (nếu có links trỏ đến). Không thể ngăn indexing hoàn toàn. Robots meta tag: Đặt trong <head> của từng trang HTML. Hướng dẫn bots SAU KHI ĐÃ CRAWL trang. noindex = chắc chắn không index. Có thể control chi tiết hơn (nosnippet, noarchive...). Để chặn indexing hoàn toàn: Dùng noindex trong meta tag (recommended). KHÔNG dùng robots.txt để block vì Google vẫn có thể index URL. Kết hợp cả hai: robots.txt để tiết kiệm crawl budget, noindex để chắc chắn không index.
Ngoài meta tag trong HTML, còn có X-Robots-Tag trong HTTP response headers. Cùng chức năng với meta robots nhưng set ở server level. Hữu ích cho: Non-HTML files (PDF, images) không có <head>. Apply rules cho nhiều URLs cùng lúc qua server config. Ví dụ trong .htaccess: Header set X-Robots-Tag 'noindex, nofollow'. Ví dụ trong nginx: add_header X-Robots-Tag 'noindex'. Tool này hiện check meta tag trong HTML. X-Robots-Tag cần check qua HTTP headers (dùng tool khác hoặc browser DevTools).
Quên remove noindex sau khi launch: Staging/dev sites thường có noindex. Khi go live, quên remove = site không được index. Luôn check sau khi launch. noindex trên pagination: Đừng noindex trang 2, 3... của pagination. Google cần crawl để discover content. Dùng rel='next/prev' hoặc để mặc định. nofollow trên internal links: nofollow trong meta tag áp dụng cho TẤT CẢ links. Làm mất internal link equity. Chỉ dùng nofollow cho external links không tin tưởng. Conflicting directives: noindex + follow = OK (không index nhưng vẫn follow links). index + nofollow = OK (index nhưng không follow). noindex + nofollow = Trang không index VÀ links không được follow. Case sensitivity: Directives là case-insensitive. 'NOINDEX', 'noindex', 'NoIndex' đều giống nhau.
KHÔNG. noindex chỉ ngăn Google INDEX trang (thêm vào search results). Google vẫn CRAWL trang để đọc noindex directive. Nếu muốn ngăn crawl, dùng robots.txt Disallow. Tuy nhiên, Disallow không ngăn indexing nếu có links trỏ đến. Best practice: Dùng noindex để chắc chắn không index, robots.txt để tiết kiệm crawl budget.
Nếu không có meta robots tag, mặc định là 'index, follow'. Google sẽ: Index trang (thêm vào search results). Follow tất cả links trên trang. Lưu cached version. Hiển thị snippet. Index hình ảnh. Đây là behavior mong muốn cho hầu hết trang. Chỉ thêm meta robots khi cần RESTRICT behavior mặc định.
CÓ. Thay vì name='robots' (áp dụng cho tất cả), có thể dùng: name='googlebot' - chỉ Google. name='bingbot' - chỉ Bing. name='googlebot-news' - chỉ Google News. Ví dụ: <meta name='googlebot' content='noindex'> chỉ chặn Google, Bing vẫn index. Hữu ích khi muốn control khác nhau cho từng search engine.
Meta robots nofollow: Áp dụng cho TẤT CẢ links trên trang. Một directive ảnh hưởng toàn bộ. rel='nofollow' trên link: Chỉ áp dụng cho link cụ thể đó. Granular control. Best practice: Dùng rel='nofollow' cho từng link cần (sponsored, user-generated). Tránh dùng meta nofollow vì ảnh hưởng cả internal links.
Trong Google Search Console: URL Inspection tool > Xem 'Indexing allowed?' Nếu có noindex, sẽ hiển thị 'No: noindex detected'. Coverage report > Excluded > 'Excluded by noindex tag'. Sau khi remove noindex, request indexing trong URL Inspection. Google sẽ re-crawl và index nếu không còn noindex.
KHÔNG trực tiếp. noindex chỉ ảnh hưởng trang chứa nó. Tuy nhiên, gián tiếp: Nếu trang A có noindex và link đến trang B, link equity từ A vẫn truyền đến B (trừ khi có nofollow). Nếu trang A là hub quan trọng bị noindex, users không tìm thấy A qua search, ảnh hưởng traffic đến B.
KHÔNG. noindex áp dụng cho TOÀN BỘ trang. Không thể noindex một section hoặc div. Nếu muốn hide một phần content khỏi search: Dùng JavaScript để load dynamic (Google có thể vẫn thấy). Đặt content trong iframe với noindex. Tốt nhất: Tách thành trang riêng nếu cần noindex.
Hiện tại tool chỉ check meta robots tag trong HTML. X-Robots-Tag nằm trong HTTP headers, cần tool khác để check. Cách check X-Robots-Tag: Browser DevTools > Network > Headers. curl -I https://example.com | grep -i x-robots. Các SEO tools như Screaming Frog. Tính năng check X-Robots-Tag có thể được thêm trong tương lai.
Chúng tôi không chỉ thiết kế website, mà còn giúp doanh nghiệp xây dựng thương hiệu số mạnh mẽ. Cung cấp dịch vụ thiết kế website trọn gói từ thiết kế đến tối ưu SEO. Hãy liên hệ ngay với Tấn Phát Digital để cùng tạo nên những giải pháp công nghệ đột phá, hiệu quả và bền vững cho doanh nghiệp của bạn tại Hồ Chí Minh.
Kiểm tra backlinks của website.
Kiểm tra thẻ canonical URL.
Phân tích cấu trúc H1-H6.
Crawl hình ảnh từ website.
Phân tích mật độ từ khóa.
Kiểm tra độ dài Title & Description.
Kiểm tra meta redirect.
Tạo meta tags chuẩn SEO.
Tạo ảnh OpenGraph từ URL.
Xem trước meta tags khi share.
Kiểm tra chuỗi redirect URL.
Kiểm tra file robots.txt.
