robots.txt ≠ noindex: Staging Disallow sai và checklist deploy cho freelancer

Ticket quen thuộc trong nhóm freelance / outsource Việt Nam: “Thêm /admin vào robots.txt để Google không thấy.” Dòng đó có thể giảm nhiễu crawl — nhưng không khóa admin, và không xóa URL đã nằm trên SERP. robots.txt là ghi chú lịch sự cho bot, không phải tường lửa.

Bài này tập trung góc đau khi deploy: staging Disallow sai (lọt index hoặc chặn nhầm), nhầm Disallow với noindex, và checklist trước khi promote config lên Cloudflare Pages / Vercel / VPS.

Bài viết này giúp bạn

• Phân biệt robots.txt, noindex, auth trong một bảng quyết định
• Tránh 2 sự cố: staging bị index / production bị Disallow: /
• Viết mẫu Allow–Disallow–Sitemap đúng chỗ đặt file
• Có checklist CI/deploy cho freelancer solo hoặc team 2–3 người
• Generate skeleton bằng công cụ robots.txt (chạy trình duyệt, không upload)

robots.txt làm gì — và không làm gì

Bot lịch sự (Googlebot, Bingbot…) fetch https://domain.com/robots.txt trước khi crawl rộng. File nằm ở root domain — không đặt trong /blog/robots.txt rồi kỳ vọng hiệu lực toàn site.

User-agent: *
Disallow: /api/internal/
Allow: /api/public/

Sitemap: https://example.com/sitemap.xml

Dùng để: giảm crawl URL mỏng (filter vô hạn, search nội bộ), trỏ Sitemap, tách rule theo User-agent khi thật sự cần.

Không dùng để: giấu secret, “xóa Google ngay”, thay HTTP auth, hay tin rằng bot xấu sẽ tuân thủ.

URL bị Disallow vẫn có thể hiện chỉ URL trên kết quả nếu có backlink. Trang có noindex nhưng vẫn crawl được thường rơi khỏi index sau lần recrawl. Trang sau auth không cần nằm trong sitemap.

Cạm bẫy kết hợp: Disallow + noindex trên cùng URL — bot không fetch thì có thể không đọc được noindex. Muốn gỡ URL đã index: ưu tiên cho crawl + noindex, hoặc Removals trên Search Console, rồi auth nếu nội dung nhạy cảm.

Myth gây sự cố production

Đường dẫn phải riêng tư → authentication, không phải một dòng trong file text công khai.

Case study 1: Staging copy robots production → lọt index

Bối cảnh: Freelancer deploy preview staging.shop.khachhang.vn (hoặc *.pages.dev). Trong lúc promote Cloudflare Pages, ai đó copy robots.txt production (Allow gần như toàn site). Staging không basic auth. Link Slack nội bộ + bookmark QA của đối tác trở thành đường discovery.

Googlebot thấy SKU test, email giả trong fixture HTML, nút “Đặt hàng” trỏ sandbox. Leadership hỏi: “Sao robots không chặn Google?” Vì robots không phải ổ khóa.

Layer tối thiểu cho non-prod:

Ship noindex qua edge header để một template quên meta không mở lỗ. Prefer URL preview tạm thời hơn staging public sống mãi.

Khi Google đã vào: bật auth + noindex ngay → Removals / temporary hide cho URL nhạy cảm → rotate credential trong fixture → audit ai đã link staging công khai → CI fail nếu staging hostname 200 mà thiếu noindex.

Case study 2: Production sót Disallow: / — chặn nhầm cả site

Ngược lại equally nổi tiếng: copy file staging (User-agent: * + Disallow: /) lên production “cho chắc trước launch”, rồi quên đổi. Search Console báo crawled nhưng gần như không index nội dung mới; traffic rơi — team nghĩ “Google penalty” trong khi chính mình nhờ bot đi chỗ khác.

Phòng ngừa:

1. Artifact robots tách theo môi trường trong CI — không promote mù.
2. Diff review: bất kỳ Disallow: / trên branch production → fail build hoặc require approval.
3. Sau deploy, mở đúng URL https://prod.../robots.txt (apex vs www, Workers có thể serve file khác).
4. Không block CSS/JS cần render trang marketing quan trọng.

Site 30 trang marketing: đừng ám ảnh crawl budget — soft-404 và TTFB thường quan trọng hơn. Site catalog lớn: chặn filter/calendar vô hạn mới đáng thời gian.

Mẫu cấu hình hay dùng

Sinh khung nhanh (rồi sửa tay theo auth model của bạn):

Hoặc mở robots.txt generator: chọn User-agent, Allow/Disallow, dòng Sitemap → copy vào root domain. Generator không biết bạn có basic auth hay không — luôn review như review code.

AI crawler và Sitemap

Bot training / scrape có thể tuân robots, file policy riêng, hoặc không. Quyết Allow/Disallow có chủ đích cho agent bạn quan tâm — đừng giả định default khớp license nội dung.

Dòng Sitemap: phải trỏ hostname production. Staging sitemap submit nhầm Search Console = cửa sau của case study 1. Property Search Console nên tách theo môi trường.

Thứ tự Allow/Disallow với wildcard: rule cụ thể hơn thường thắng — một Allow rộng có thể “mở lại” path bạn tưởng đã đóng. Validate bằng công cụ robots của Google trên đúng URL production sau deploy.

Checklist deploy cho freelancer

1. Secret /admin → auth, không chỉ Disallow (Disallow còn lộ path).
2. Staging: auth + noindex + robots riêng — không copy prod Allow-all.
3. Production artifact: không còn Disallow: / “tạm”.
4. Không chặn asset render nếu cần rich result / snippet đẹp.
5. Sitemap trong robots khớp URL bạn muốn được khám phá.
6. Sau CDN/Workers đổi: re-fetch /robots.txt theo host thật.
7. URL đã index cần biến mất: noindex + crawl được, hoặc Removals — không chỉ Disallow rồi chờ.
8. Đưa robots.txt vào PR diff — một dòng sai = outage SEO hoặc leak staging.

Cách dùng generator trên Kawa

1. Mở robots.txt generator
2. Nhập User-agent, path Allow/Disallow, URL Sitemap production
3. Copy nội dung sinh ra — chỉnh thêm rule AI crawler nếu cần
4. Đặt file tại root; staging dùng file/CI khác
5. Đối chiếu bằng Search Console sau khi live

Chạy local trên trình duyệt — phù hợp khi làm việc trên máy khách không muốn paste cấu hình lên service lạ. Tool giúp tránh lỗi cú pháp; không thay quyết định auth/noindex.

Tóm tắt mang đi

• robots.txt = lịch sự crawl; noindex = kiểm soát index; auth = bí mật.
• Staging Disallow một mình không đủ; production Disallow: / sót = thảm họa organic.
• Bookmark robots.txt generator cho skeleton + checklist PR trước mỗi promote.

Liên kết liên quan

• robots.txt generator (trình duyệt)
• Danh sách công cụ