File robots.txt chuẩn SEO cho WordPress mới nhất 2019

Jan 12

File robots.txt là gì? Làm sao để tạo mẫu file robots.txt chuẩn cho WordPress. Mời các bạn tham khảo bài viết ngắn sau.

File robots.txt là gì

Khi đến một nơi nào đó, chúng ta hay thấy những biển báo như “Khu vực nội bộ”, “Staff only”… Đây cũng là cách hoạt động của file robots.txt. Thông qua nó, bạn báo cho Google biết khu vực nào là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu

Khi bạn tạo một website, WordPress sẽ tạo ra một file robots.txt nằm trong folder gốc trên hosting của bạn. Để kiểm tra, bạn chỉ cần gõ yourdomain.com/robots.txt.

Mẫu file robots.txt chuẩn cho WordPress

Tùy vào mục đích của bạn mà mẫu file robots.txt này sẽ khác nhau. Ví dụ file robots.txt của 1 trang thương mại điện tử như Tiki hay Lazada sẽ khác với 1 trang blog như của mình.

Ví dụ đây là mẫu file robots.txt được tạo ra bởi Yoast SEO:

[php]

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

[/php]

Nếu như website của bạn sử dụng link cloaking để làm affiliate marketing thì nên thêm dòng này vào để tránh Google “dòm ngó”.

[php]

Disallow: /go/

[/php]

Mặc dù Google có thêm XML Sitemap vào phần hướng dẫn của họ dành cho file robots.txt. Tuy nhiên, Yoast SEO lại cho rằng phần này là không cần thiết.

Xem thêm: XML Sitemap là gì? Hướng dẫn tạo Sitemap trên WordPress

Họ cho rằng bạn nên thêm bằng tay vào Google Search Console thì tốt hơn.

Đừng quá tin vào việc các cỗ máy tìm kiếm sẽ tìm được sơ đồ website của bạn thông qua file robots.txt.

File robots.txt của Yoast.com thậm chí còn chẳng block cái gì cả. Tất nhiên, mọi việc là tùy vào bạn.

Còn mình thì mình vẫn thêm vào vì cũng chẳng ảnh hưởng đến ai. Một số công cụ Site audit vẫn khuyến nghị bạn làm như vậy.

[php]

Sitemap: https://mosmmo.com/sitemap_index.xml

[/php]

Túm cái váy lại thì mẫu file robots.txt chuẩn cho WordPress cho blog của mình sẽ là:

[php]

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /go/
Sitemap: https://mosmmo.com/sitemap_index.xml
[/php]

Tạo file robots.txt cho WordPress

2 cách sau đây là nhanh và đơn giản nhất trong việc tạo file robots.txt cho WordPress.

Tạo file robots.txt bằng Yoast SEO

Bạn vào SEO > Tools > File editor > nhấn vào Create robots.txt file

Mẫu file robots.txt chuẩn dành cho WordPress

Chỉnh sửa theo ý bạn, có thể copy cái mẫu file robots.txt của mình ở trên rồi chỉnh sửa lại > Save changes to robots.txt

Mẫu file robots.txt chuẩn dành cho WordPress

Tạo file robots.txt bằng cPanel

Vì nó cũng chỉ là một file text thôi nên bạn có thể dễ dàng tạo ra nó trên cPanel.

Đăng nhập vào cPanel của bạn qua yourdomain.com/cpanel > chọn đúng folder gốc chứa website > tạo tệp mới tên là robots.txt > chỉnh sửa > Save

Bạn cũng có thể tạo 1 file robots.txt bằng Notepad rồi Upload nó lên folder gốc của website.

Một khi đã tạo ra file robots.txt thì bạn cũng có thể cập nhật nó theo những cách này.

Kiểm tra file robots.txt bằng Google Search Console

Mở Google Search Console > nhấn Chuyển về phiên bản cũ > Thu thập dữ liệu > Bộ kiểm tra rbots.txt

Bộ kiểm tra robots.txt

Xem thêm: 2 cách xác minh website với Google Search Console 2019

Google sẽ báo cho bạn biết nếu file robots.txt có lỗi ở đây.

Tiếp theo bạn chọn Tìm nạp như Google > bỏ trống URL để tìm nạp trang chủ > Tìm nạp và Hiển thị

Tìm nạp như Google

Sau đó, bạn nhấn vào thanh trạng thái mà Google vừa tìm nạp. So sánh xem cách mà Googlebot và người dùng thấy trang có khác gì nhau không?

Như vậy là mình đã hướng dẫn các bạn cách tạo mẫu file robots.txt chuẩn dành cho WordPress.

Chúc bạn thành công!

Bình luận

avatar

Pin It on Pinterest

Share This