File robots.txt là gì? Cách tạo file robots.txt cho WordPress như thế nào? Mời các bạn tham khảo bài viết ngắn sau nhé!
File robots.txt là gì?
Khi đến một nơi nào đó, chúng ta hay thấy những biển báo như “Khu vực nội bộ”, “Staff only”…Đây cũng là cách hoạt động của file robots.txt.
Thông qua nó, bạn báo cho Google biết khu vực nào là được phép vào (allow) hoặc không (disallow).
File robots.txt nằm ở đâu?
Khi cài đặt website, WordPress sẽ tạo ra một file robots.txt nằm trong folder gốc trên hosting của bạn.
Để kiểm tra, bạn chỉ cần gõ yourdomain.com/robots.txt.
Mẫu file robots.txt chuẩn SEO cho WordPress
Tùy vào mục đích của bạn mà mẫu file robots.txt này sẽ khác nhau.
Ví dụ file robots.txt của 1 trang thương mại điện tử như Tiki hay Lazada sẽ khác với 1 trang blog như của mình.
Đây là mẫu file robots.txt được tạo ra bởi Yoast SEO:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpNote: Bạn không cần phải dùng lệnh allow để được Google thu thập dữ liệu. Chỉ cần dùng allow khi ghi đè lên lệnh disallow trong cùng tệp robots.txt mà thôi.
Nếu như website của bạn sử dụng link cloaking để làm affiliate marketing thì nên thêm dòng này vào để tránh Google “dòm ngó”.
Disallow: /go/Nhớ thay hậu tố trên cho đúng với link cloaking của bạn. Nhiều bạn như mình chẳng hạn thì dùng /go/, có người thì /recommend/ hay /refer/.
Mặc dù Google có thêm XML Sitemap vào phần hướng dẫn của họ dành cho file robots.txt. Tuy nhiên, Yoast SEO lại cho rằng phần này là không cần thiết.
Xem thêm: XML Sitemap là gì? Hướng dẫn tạo Sitemap trên WordPress.
Họ cho rằng bạn nên thêm bằng tay vào Google Search Console thì tốt hơn.
File robots.txt của Yoast.com thậm chí còn chẳng block cái gì cả. Tất nhiên, mọi việc là tùy vào bạn.
Còn mình thì mình vẫn thêm vào vì cũng chẳng ảnh hưởng đến ai. Một số công cụ Site audit vẫn khuyến nghị bạn làm như vậy.
Sitemap: https://mosmmo.com/sitemap_index.xmlTúm cái váy lại thì mẫu file robots.txt chuẩn cho WordPress cho blog của mình sẽ là:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /go/
Sitemap: https://mosmmo.com/sitemap_index.xmlCách tạo file robots.txt cho WordPress
2 cách sau đây là nhanh và đơn giản nhất trong việc tạo file robots.txt chuẩn SEO cho WordPress.
1/ Cách tạo file robots.txt cho WordPress bằng Yoast SEO
Nếu bạn dùng Rank Math hay các plugin SEO khác thì cũng tương tự nha!
Bạn vào SEO > Tools > File editor > nhấn vào Create robots.txt file:
Chỉnh sửa theo ý bạn, có thể copy cái mẫu file robots.txt của mình ở trên rồi chỉnh sửa lại > Save changes to robots.txt:
2/ Cách tạo file robots.txt cho WordPress bằng cPanel
Vì nó cũng chỉ là một file text thôi nên bạn có thể dễ dàng tạo ra nó trên cPanel.
Đăng nhập vào cPanel của bạn qua yourdomain.com/cpanel > chọn đúng folder gốc chứa website > tạo tệp mới tên là robots.txt > chỉnh sửa > Save.
Bạn cũng có thể tạo 1 file robots.txt bằng Notepad rồi Upload nó lên folder gốc của website.
Note: Bạn không được đặt file robots.txt trong thư mục con.
Một khi đã tạo ra file robots.txt thì bạn cũng có thể cập nhật nó theo những cách này.
Kiểm tra file robots.txt bằng Google Search Console
Mở Google Search Console > nhấn Chuyển về phiên bản cũ > Thu thập dữ liệu > Bộ kiểm tra rbots.txt:
Google sẽ báo cho bạn biết nếu file robots.txt có lỗi ở đây. Tiếp theo bạn chọn Tìm nạp như Google > bỏ trống URL để tìm nạp trang chủ > Tìm nạp và Hiển thị:
Sau đó, bạn nhấn vào thanh trạng thái mà Google vừa tìm nạp. So sánh xem cách mà Googlebot và người dùng thấy trang có khác gì nhau không?
Như vậy là mình đã hướng dẫn bạn cách tạo file robots.txt cho WordPress.
Chúc bạn thành công nhé!
Leave a Reply