File robots.txt chuẩn SEO cho WordPress mới nhất.

20/07/2021
file robots.txt chuẩn cho wordpress

Bạn muốn kiếm tiền online nhưng chưa nên biết bắt đầu từ đâu? Hãy cho mình biết nghề nghiệp và mong ước hiện tại của bạn. Bạn sẽ nhận được tư vấn miễn phí gửi qua email sau 30 giây.

Note: Kéo xuống dưới để đọc nội dung bài viết nha!

File robots.txt là gì? Làm sao để tạo mẫu file robots.txt chuẩn cho WordPress. Mời các bạn tham khảo bài viết ngắn sau.

File robots.txt là gì?

Khi đến một nơi nào đó, chúng ta hay thấy những biển báo như “Khu vực nội bộ”, “Staff only”…Đây cũng là cách hoạt động của file robots.txt.

Thông qua nó, bạn báo cho Google biết khu vực nào là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu?

Khi cài đặt website, WordPress sẽ tạo ra một file robots.txt nằm trong folder gốc trên hosting của bạn.

Để kiểm tra, bạn chỉ cần gõ yourdomain.com/robots.txt.

Mẫu file robots.txt chuẩn cho WordPress.

Tùy vào mục đích của bạn mà mẫu file robots.txt này sẽ khác nhau.

Ví dụ file robots.txt của 1 trang thương mại điện tử như Tiki hay Lazada sẽ khác với 1 trang blog như của mình.

Đây là mẫu file robots.txt được tạo ra bởi Yoast SEO:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Nếu như website của bạn sử dụng link cloaking để làm affiliate marketing thì nên thêm dòng này vào để tránh Google “dòm ngó”.

Disallow: /go/

Nhớ thay hậu tố trên cho đúng với link cloaking của bạn. Nhiều bạn như mình chẳng hạn thì dùng /go/, có người thì /recommend/ hay /refer/.

Mặc dù Google có thêm XML Sitemap vào phần hướng dẫn của họ dành cho file robots.txt. Tuy nhiên, Yoast SEO lại cho rằng phần này là không cần thiết.

Xem thêm: XML Sitemap là gì? Hướng dẫn tạo Sitemap trên WordPress.

Họ cho rằng bạn nên thêm bằng tay vào Google Search Console thì tốt hơn.

Đừng quá tin vào việc các cỗ máy tìm kiếm sẽ tìm được sơ đồ website của bạn thông qua file robots.txt.
– Yoast SEO

File robots.txt của Yoast.com thậm chí còn chẳng block cái gì cả. Tất nhiên, mọi việc là tùy vào bạn.

Còn mình thì mình vẫn thêm vào vì cũng chẳng ảnh hưởng đến ai. Một số công cụ Site audit vẫn khuyến nghị bạn làm như vậy.

Sitemap: https://mosmmo.com/sitemap_index.xml

Túm cái váy lại thì mẫu file robots.txt chuẩn cho WordPress cho blog của mình sẽ là:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /go/
Sitemap: https://mosmmo.com/sitemap_index.xml

Tạo file robots.txt chuẩn cho WordPress.

2 cách sau đây là nhanh và đơn giản nhất trong việc tạo file robots.txt chuẩn SEO cho WordPress.

1/ Tạo file robots.txt bằng Yoast SEO.

Bạn vào SEO > Tools > File editor > nhấn vào Create robots.txt file:

File robots.txt chuẩn dành cho WordPress

Chỉnh sửa theo ý bạn, có thể copy cái mẫu file robots.txt của mình ở trên rồi chỉnh sửa lại > Save changes to robots.txt:

Mẫu file robots.txt chuẩn dành cho WordPress

2/ Tạo file robots.txt bằng cPanel.

Vì nó cũng chỉ là một file text thôi nên bạn có thể dễ dàng tạo ra nó trên cPanel.

Đăng nhập vào cPanel của bạn qua yourdomain.com/cpanel > chọn đúng folder gốc chứa website > tạo tệp mới tên là robots.txt > chỉnh sửa > Save.

Bạn cũng có thể tạo 1 file robots.txt bằng Notepad rồi Upload nó lên folder gốc của website.

Note: Bạn không được đặt file robots.txt trong thư mục con.

Một khi đã tạo ra file robots.txt thì bạn cũng có thể cập nhật nó theo những cách này.

Kiểm tra file robots.txt bằng Google Search Console.

Mở Google Search Console > nhấn Chuyển về phiên bản cũ > Thu thập dữ liệu > Bộ kiểm tra rbots.txt:

Mẫu file robots.txt chuẩn dành cho WordPress

Xem thêm: 2 cách xác minh website với Google Search Console 2021.

Google sẽ báo cho bạn biết nếu file robots.txt có lỗi ở đây. Tiếp theo bạn chọn Tìm nạp như Google > bỏ trống URL để tìm nạp trang chủ > Tìm nạp và Hiển thị:

Mẫu file robots.txt chuẩn dành cho WordPress

Sau đó, bạn nhấn vào thanh trạng thái mà Google vừa tìm nạp. So sánh xem cách mà Googlebot và người dùng thấy trang có khác gì nhau không?

Như vậy là mình đã hướng dẫn các bạn cách tạo mẫu file robots.txt chuẩn dành cho WordPress.

Chúc bạn thành công!

3480cookie-checkFile robots.txt chuẩn SEO cho WordPress mới nhất.

Hi! Mình tên là Quân, mình viết blog này khi rảnh rỗi. Là người khá hài hước và ham học hỏi, mình muốn ghi chép lại những gì đã học được. Bạn có muốn biết mình đang học những gì tại KTcity, nhấn vào đây nhé! Muốn mời mình ly cafe? Nhấn vào đây nhé!

Có thể bạn quan tâm

Bình luận

Your email address will not be published. Required fields are marked

{"email":"Email address invalid","url":"Website address invalid","required":"Required field missing"}