Có một file nhỏ trên website mà một dòng sai có thể khiến toàn bộ trang biến mất khỏi Google — đó là robots.txt.
Nghe có vẻ nghiêm trọng, và đúng là như vậy. Đây là một trong số ít thay đổi kỹ thuật mà một lỗi nhỏ gây hậu quả lớn và không có cảnh báo nào. Website vẫn chạy bình thường, khách vẫn truy cập được — chỉ là Google dần ngừng thu thập, và thứ hạng biến mất.
Bài viết này giải thích file này làm gì (và không làm gì — đây là chỗ nhiều người hiểu sai), cách tạo, các quy tắc thường dùng, và những lỗi nghiêm trọng cần tránh.
robots.txt là gì?
Đây là một file văn bản đơn giản đặt ở thư mục gốc của website, tại địa chỉ dạng tenmiencuaban.com/robots.txt.
Chức năng của nó: hướng dẫn các chương trình thu thập dữ liệu (như bot của Google) nên và không nên truy cập vào những phần nào của website.
Khi một bot đến website của bạn, việc đầu tiên nó làm thường là đọc file này để biết được phép đi đâu.
Cách kiểm tra website bạn đã có chưa: gõ địa chỉ website kèm /robots.txt vào trình duyệt. Nếu thấy nội dung văn bản, bạn đã có. Nếu báo lỗi không tìm thấy, website chưa có file này.
Điều quan trọng nhất: robots.txt KHÔNG ngăn được việc lập chỉ mục
Đây là hiểu lầm phổ biến nhất và cũng nguy hiểm nhất về file này.
Nhiều người nghĩ: chặn một trang trong robots.txt là trang đó sẽ không xuất hiện trên Google.
Thực tế: robots.txt chỉ ngăn bot truy cập vào nội dung trang. Nhưng nếu có liên kết từ nơi khác trỏ về trang đó, Google vẫn có thể biết trang tồn tại và hiển thị nó trong kết quả tìm kiếm — chỉ là không có mô tả, vì bot không đọc được nội dung.
Hệ quả thực tế: nếu bạn muốn một trang không xuất hiện trên Google, dùng robots.txt là sai công cụ.
Cách đúng để ẩn một trang khỏi kết quả tìm kiếm:
Dùng thẻ chặn lập chỉ mục (
noindex) trên chính trang đóVà không chặn trang đó trong robots.txt — vì nếu chặn, bot không vào được để đọc thẻ
noindex, nên thẻ đó vô tác dụng
Đây là nghịch lý mà rất nhiều người mắc phải: chặn trong robots.txt và đặt thẻ noindex cùng lúc → thẻ noindex không bao giờ được đọc → trang vẫn có thể xuất hiện.
Nếu cần bảo mật thực sự (thông tin nhạy cảm, khu vực quản trị), robots.txt hoàn toàn không phù hợp — bất kỳ ai cũng đọc được file này và biết bạn đang giấu gì ở đâu. Hãy dùng mật khẩu hoặc phân quyền truy cập.
Cấu trúc cơ bản
File robots.txt có cú pháp rất đơn giản, gồm các khối lệnh:
User-agent — chỉ định lệnh áp dụng cho bot nào. Dấu sao (*) nghĩa là áp dụng cho mọi bot.
Disallow — chỉ định đường dẫn không cho phép truy cập.
Allow — chỉ định ngoại lệ được phép, trong một khu vực đã bị chặn.
Sitemap — chỉ ra địa chỉ sitemap của website, giúp bot tìm thấy danh sách các trang.
Một file cơ bản thường có dạng: một khối áp dụng cho mọi bot, liệt kê các khu vực không cần thu thập, và một dòng chỉ đến sitemap.
Lưu ý về cú pháp:
Mỗi lệnh trên một dòng riêng
Phân biệt chữ hoa chữ thường trong đường dẫn
Dấu gạch chéo ở đầu đường dẫn là bắt buộc
Dòng bắt đầu bằng dấu thăng (
#) là ghi chú, bot bỏ qua
Những gì thường nên chặn
Với phần lớn website doanh nghiệp, các khu vực sau không cần bot thu thập:
Khu vực quản trị. Trang đăng nhập và bảng điều khiển — bot không cần vào, và việc thu thập chúng chỉ lãng phí.
Trang kết quả tìm kiếm nội bộ. Nếu website có chức năng tìm kiếm, mỗi truy vấn tạo ra một địa chỉ riêng — có thể sinh ra vô số trang gần giống nhau.
Các trang tạo tự động từ bộ lọc. Website bán hàng có bộ lọc sản phẩm thường sinh ra rất nhiều địa chỉ với các tổ hợp tham số. Đây là nguồn trùng lặp lớn.
Trang giỏ hàng, thanh toán, tài khoản cá nhân. Không có giá trị với người tìm kiếm và chứa thông tin riêng tư.
File hệ thống, thư mục kỹ thuật không liên quan đến nội dung.
Lưu ý quan trọng: đây là hướng dẫn chung. Cấu trúc mỗi website khác nhau, nên đường dẫn cụ thể cần được xác định theo website của bạn — đừng sao chép file robots.txt của website khác.
Những gì TUYỆT ĐỐI không nên chặn
Đây là phần quan trọng nhất của bài viết.
1. Toàn bộ website. Một dòng lệnh chặn tất cả sẽ khiến Google ngừng thu thập mọi thứ. Đây là lỗi tai hại nhất và thường xảy ra khi website từ giai đoạn phát triển được đưa lên chính thức mà quên gỡ lệnh chặn.
2. File CSS và JavaScript. Nhiều người nghĩ chặn chúng giúp bot tập trung vào nội dung. Thực tế ngược lại: Google cần đọc chúng để hiển thị trang như người dùng thấy và đánh giá trải nghiệm. Chặn chúng khiến Google thấy một trang méo mó và có thể đánh giá thấp.
3. Thư mục chứa hình ảnh (nếu bạn muốn ảnh xuất hiện trong tìm kiếm hình ảnh).
4. Các trang bạn muốn ẩn khỏi kết quả tìm kiếm. Như đã giải thích ở trên — dùng thẻ noindex thay vì chặn ở đây.
5. Sitemap. Nghe hiển nhiên nhưng vẫn xảy ra khi ai đó chặn nhầm cả thư mục chứa nó.
Lỗi nguy hiểm nhất: quên gỡ lệnh chặn sau khi phát triển
Đây là tình huống thực tế xảy ra thường xuyên và gây hậu quả nghiêm trọng.
Diễn biến: trong lúc xây dựng website, đơn vị kỹ thuật đặt lệnh chặn toàn bộ để tránh Google thu thập bản chưa hoàn thiện. Đây là việc đúng. Nhưng khi website ra mắt chính thức, lệnh chặn không được gỡ.
Hậu quả: website hoạt động bình thường với người dùng, nhưng Google dần ngừng thu thập. Thứ hạng tụt, traffic giảm — và không ai hiểu vì sao.
Điều tệ nhất: không có cảnh báo nào. Bạn chỉ phát hiện khi kiểm tra hoặc khi thấy traffic giảm mạnh sau vài tuần.
Cách phòng ngừa: ngay sau khi website mới ra mắt, kiểm tra file robots.txt là việc bắt buộc. Mất 30 giây và tránh được thiệt hại rất lớn.
Đây cũng nên là hạng mục trong danh sách kiểm tra sau mỗi lần thay đổi lớn — chi tiết về các vấn đề tương tự có trong bài vì sao từ khóa mãi không lên top.
Cách kiểm tra file của bạn
Bước 1: Xem file hiện tại
Gõ địa chỉ website kèm /robots.txt. Đọc nội dung và tự hỏi:
Có dòng nào chặn toàn bộ website không?
Có chặn nhầm thư mục nào chứa nội dung quan trọng không?
Có chặn file CSS/JavaScript không?
Có dòng chỉ đến sitemap không?
Bước 2: Kiểm tra trong Google Search Console
Search Console có công cụ kiểm tra file robots.txt, cho biết Google đọc được file của bạn thế nào và có lỗi cú pháp nào không.
Bước 3: Kiểm tra các trang quan trọng
Dùng công cụ kiểm tra URL trong Search Console cho các trang quan trọng nhất (trang chủ, trang dịch vụ chính). Nếu báo bị chặn bởi robots.txt, bạn có vấn đề nghiêm trọng cần sửa ngay.
Cách kiểm tra hàng loạt nhiều trang có trong bài kiểm tra index URL hàng loạt.
Bước 4: Kiểm tra định kỳ
Đưa việc này vào lịch bảo trì website — và bắt buộc kiểm tra sau mỗi lần:
Website ra mắt hoặc làm mới
Chuyển hosting
Cập nhật hệ thống lớn
Đổi đơn vị kỹ thuật
Cách tạo hoặc sửa file
Nếu website dùng hệ quản trị nội dung phổ biến: nhiều nền tảng có sẵn phần cấu hình robots.txt trong trang quản trị, hoặc thông qua các thành phần bổ sung về SEO. Đây là cách an toàn nhất cho người không rành kỹ thuật.
Nếu tạo thủ công: file phải đặt đúng ở thư mục gốc — tức truy cập được tại tenmien.com/robots.txt, không phải trong thư mục con.
Nguyên tắc an toàn khi sửa:
Sao lưu nội dung file cũ trước khi sửa
Sửa từng chút một, không thay đổi hàng loạt
Kiểm tra ngay sau khi sửa bằng công cụ trong Search Console
Theo dõi vài ngày sau đó xem có trang nào bị ảnh hưởng không
Nếu không chắc, đừng tự sửa — nhờ người có chuyên môn
Lời khuyên thực tế: với phần lớn website doanh nghiệp nhỏ, một file robots.txt đơn giản là đủ. Càng phức tạp càng dễ sai, và rủi ro cao hơn nhiều so với lợi ích.
robots.txt và crawl budget
Một khái niệm thường được nhắc khi nói về file này: ngân sách thu thập — lượng tài nguyên Google dành để thu thập website của bạn.
Ý tưởng: chặn các khu vực không quan trọng giúp Google tập trung vào những trang có giá trị.
Thực tế cần biết: với website nhỏ và vừa (dưới vài nghìn trang), đây thường không phải vấn đề đáng lo. Google có đủ tài nguyên để thu thập hết.
Ngân sách thu thập trở nên quan trọng với website rất lớn, hoặc website sinh ra vô số địa chỉ tự động từ bộ lọc và tìm kiếm nội bộ.
Lời khuyên: đừng phức tạp hóa file robots.txt vì lo ngân sách thu thập nếu website của bạn không lớn. Rủi ro chặn nhầm cao hơn lợi ích thu được.
Sai lầm thường gặp
Chặn toàn bộ website — lỗi tai hại nhất, thường do quên gỡ lệnh sau giai đoạn phát triển.
Chặn file CSS và JavaScript — khiến Google không hiển thị được trang như người dùng thấy.
Dùng robots.txt để ẩn trang khỏi kết quả tìm kiếm — sai công cụ; trang vẫn có thể xuất hiện.
Chặn trang đồng thời đặt thẻ noindex — bot không vào được nên không đọc được thẻ, noindex vô tác dụng.
Dùng robots.txt để bảo mật — file này ai cũng đọc được, chẳng khác nào chỉ đường đến nơi bạn muốn giấu.
Sao chép file của website khác — cấu trúc khác nhau, dễ chặn nhầm.
Không kiểm tra sau khi sửa — lỗi âm thầm, phát hiện muộn.
Không kiểm tra sau khi ra mắt website mới — thời điểm rủi ro cao nhất.
Phức tạp hóa không cần thiết — càng nhiều lệnh càng dễ sai.
Khi nào cần nhờ người có chuyên môn?
Robots.txt là file đơn giản về cú pháp nhưng hậu quả của lỗi lại lớn. Nên nhờ hỗ trợ khi:
Website có cấu trúc phức tạp, nhiều thư mục và tham số
Bạn phát hiện các trang quan trọng đang bị chặn
Website vừa làm mới và bạn không chắc cấu hình đúng chưa
Bạn cần chặn một nhóm trang cụ thể mà không rành cú pháp
Traffic giảm bất thường và bạn nghi liên quan đến file này
Nguyên tắc: với file này, thà hỏi còn hơn thử. Một dòng sai có thể mất hàng tháng để phát hiện và khắc phục.
Câu hỏi thường gặp
robots.txt dùng để làm gì? Hướng dẫn các bot thu thập dữ liệu nên và không nên truy cập vào những phần nào của website. Nó kiểm soát việc thu thập, không kiểm soát việc trang có xuất hiện trên Google hay không.
Chặn một trang trong robots.txt thì trang đó có biến mất khỏi Google không? Không chắc chắn. Nếu có liên kết từ nơi khác trỏ về, Google vẫn có thể biết trang tồn tại và hiển thị nó (không có mô tả). Để ẩn một trang khỏi kết quả tìm kiếm, hãy dùng thẻ noindex — và không chặn trang đó trong robots.txt, vì nếu chặn thì bot không đọc được thẻ.
Có nên dùng robots.txt để bảo vệ thông tin nhạy cảm không? Tuyệt đối không. File này ai cũng xem được, nên việc liệt kê các đường dẫn nhạy cảm chẳng khác nào chỉ đường đến chúng. Hãy dùng mật khẩu hoặc phân quyền truy cập.
Website không có file robots.txt thì có sao không? Không sao. Nếu không có file, bot mặc định được phép thu thập mọi thứ. Với website nhỏ đơn giản, điều này thường hoàn toàn ổn — thậm chí an toàn hơn một file cấu hình sai.
Vì sao website của tôi tụt hạng sau khi làm mới? Một trong những nguyên nhân cần kiểm tra đầu tiên là lệnh chặn trong robots.txt còn sót lại từ giai đoạn phát triển. Đây là lỗi rất phổ biến, không có cảnh báo nào, và chỉ mất 30 giây để kiểm tra.
Có nên chặn nhiều thứ để tiết kiệm crawl budget không? Với website dưới vài nghìn trang, ngân sách thu thập thường không phải vấn đề đáng lo. Đừng phức tạp hóa file vì lý do này — rủi ro chặn nhầm cao hơn lợi ích.
Kết luận
robots.txt là file nhỏ nhưng có thể gây hậu quả lớn. Hai điều quan trọng nhất cần nhớ:
1. Nó kiểm soát việc thu thập, không kiểm soát việc lập chỉ mục. Muốn ẩn một trang khỏi Google, dùng thẻ noindex chứ không phải chặn ở đây — và đừng làm cả hai cùng lúc, vì như vậy thẻ noindex sẽ không bao giờ được đọc.
2. Lỗi phổ biến và nguy hiểm nhất là quên gỡ lệnh chặn sau giai đoạn phát triển. Website vẫn chạy bình thường nhưng dần biến mất khỏi Google, và không có cảnh báo nào.
Với phần lớn website doanh nghiệp, một file đơn giản là đủ — càng phức tạp càng dễ sai. Và sau mỗi lần website ra mắt hoặc thay đổi lớn, hãy dành 30 giây kiểm tra file này. Đây là một trong những việc có tỷ lệ rủi ro tránh được trên công sức bỏ ra cao nhất trong toàn bộ công việc kỹ thuật SEO.
Nếu bạn nghi ngờ website đang gặp vấn đề về thu thập dữ liệu, hoặc cần được kiểm tra và cấu hình đúng, tham khảo dịch vụ SEO website và dịch vụ chăm sóc, bảo trì website của chúng tôi, hoặc liên hệ Tấn Phát Digital. Về file liên quan giúp Google tìm thấy các trang của bạn, xem thêm bài hướng dẫn tạo và gửi sitemap.
