Robots.txt Generator - Tạo File Robots.txt

Tạo file robots.txt chuẩn SEO cho website

Cấu hình

Sitemap URL

Crawl Delay (giây)

Rule #1

User-agent

Disallow (Chặn)

Allow (Cho phép)

Kết quả robots.txt

# robots.txt generated by Tấn Phát Digital
# https://tanphatdigital.com/vi/tools/robots-txt-generator

User-agent: *

Công cụ tạo file Robots.txt chuẩn SEO miễn phí

Tạo file robots.txt chuẩn SEO với công cụ Robots.txt Generator của Tấn Phát Digital. Hỗ trợ preset cho WordPress, E-commerce. Thêm Sitemap, Crawl-delay. Chọn User-agent: Googlebot, Bingbot. Disallow/Allow paths phổ biến. Tải xuống file robots.txt ngay. Hoàn toàn miễn phí.

Tính năng nổi bật

4 preset có sẵn: Mặc định, WordPress, E-commerce, Chặn tất cả

Hỗ trợ nhiều User-agent: *, Googlebot, Bingbot, AdsBot-Google

Thêm Sitemap URL tự động

Cấu hình Crawl-delay cho bot

Danh sách paths Disallow/Allow phổ biến

Thêm nhiều rules cho các bot khác nhau

Xem trước kết quả realtime

Copy hoặc tải xuống file robots.txt

Giao diện trực quan, dễ sử dụng

Hoàn toàn miễn phí, không giới hạn

Tại sao cần file robots.txt?

File robots.txt là file văn bản đặt ở root domain, hướng dẫn các search engine bot nên và không nên crawl những trang nào. Robots.txt giúp tiết kiệm crawl budget, ngăn index các trang không cần thiết (admin, checkout, search results), bảo vệ nội dung riêng tư, và cải thiện hiệu quả SEO. Một file robots.txt được cấu hình đúng là nền tảng quan trọng cho Technical SEO.

Lợi ích khi sử dụng

•Kiểm soát những gì search engines crawl và index
•Tiết kiệm crawl budget cho các trang quan trọng
•Ngăn index các trang duplicate hoặc low-value
•Bảo vệ các trang admin, checkout khỏi index
•Chỉ định vị trí sitemap cho search engines
•Cải thiện hiệu quả crawling và indexing

Hướng dẫn tạo file robots.txt

1Chọn preset phù hợp với loại website (WordPress, E-commerce, etc.)
2Nhập URL sitemap của website
3Thêm Crawl-delay nếu cần giảm tải server
4Chọn User-agent muốn áp dụng rule
5Thêm các paths cần Disallow (chặn crawl)
6Thêm các paths cần Allow (cho phép crawl)
7Xem trước kết quả và tải xuống file
8Upload file robots.txt lên root domain (example.com/robots.txt)

Cú pháp robots.txt cơ bản

User-agent: Chỉ định bot áp dụng rule (* = tất cả). Disallow: Chặn crawl path cụ thể. Allow: Cho phép crawl (override Disallow). Sitemap: Chỉ định vị trí sitemap. Crawl-delay: Thời gian chờ giữa các request (giây). Wildcard (*) match nhiều ký tự, ($) kết thúc URL.

Những lỗi phổ biến cần tránh

Disallow: / chặn toàn bộ website - chỉ dùng khi cần thiết. Quên thêm sitemap. Chặn CSS/JS khiến Google không render được trang. Không test robots.txt sau khi upload. Sử dụng sai cú pháp wildcard. Không cập nhật khi cấu trúc website thay đổi.

Câu hỏi thường gặp (FAQ)

Robots.txt có chặn được index hoàn toàn không?

Không. Robots.txt chỉ ngăn crawl, không ngăn index. Nếu có link trỏ đến trang, Google vẫn có thể index URL (không có nội dung). Để chặn index hoàn toàn, dùng meta robots noindex.

Đặt file robots.txt ở đâu?

File robots.txt phải đặt ở root domain: https://example.com/robots.txt. Không đặt trong subfolder. Mỗi subdomain cần file robots.txt riêng.

Crawl-delay có tác dụng với Googlebot không?

Không. Googlebot không tuân theo Crawl-delay. Để điều chỉnh tốc độ crawl của Google, sử dụng Google Search Console. Crawl-delay chỉ có tác dụng với Bing, Yandex.

Làm sao test robots.txt?

Sử dụng Google Search Console > URL Inspection > Test robots.txt. Hoặc dùng công cụ Robots.txt Tester của Google. Kiểm tra xem các URL quan trọng có bị block không.

Từ khóa liên quan

robots.txt generatortạo file robots.txtrobots.txt là gìcách viết robots.txtrobots.txt wordpressrobots.txt seokiểm tra robots.txtrobots.txt disallow

Hợp tác ngay với Tấn Phát Digital

Chúng tôi không chỉ thiết kế website, mà còn giúp doanh nghiệp xây dựng thương hiệu số mạnh mẽ. Cung cấp dịch vụ thiết kế website trọn gói từ thiết kế đến tối ưu SEO. Hãy liên hệ ngay với Tấn Phát Digital để cùng tạo nên những giải pháp công nghệ đột phá, hiệu quả và bền vững cho doanh nghiệp của bạn tại Hồ Chí Minh.

Công cụ SEO Tools liên quan

Backlink Checker

Kiểm tra backlinks của website.

Canonical Checker

Kiểm tra thẻ canonical URL.

Heading Analyzer

Phân tích cấu trúc H1-H6.

Image Crawler

Crawl hình ảnh từ website.

Keyword Density

Phân tích mật độ từ khóa.

Meta Checker

Kiểm tra độ dài Title & Description.

Meta Refresh Checker

Kiểm tra meta redirect.

Meta Tag Generator

Tạo meta tags chuẩn SEO.

OG Image Generator

Tạo ảnh OpenGraph từ URL.

OpenGraph Preview

Xem trước meta tags khi share.

Redirect Checker

Kiểm tra chuỗi redirect URL.

Robots Meta Checker

Kiểm tra noindex/nofollow.