File robots.txt chuẩn SEO cho WordPress mới nhất.

20/07/2021
file robots.txt chuẩn cho wordpress

Bạn muốn kiếm tiền online nhưng chưa nên biết bắt đầu từ đâu? Hãy cho mình biết nghề nghiệp và mong ước hiện tại của bạn. Bạn sẽ nhận được tư vấn miễn phí gửi qua email sau 30 giây.

Note: Kéo xuống dưới để đọc nội dung bài viết nha!

[QC] Bạn có biết Tiền Giang, Bắc Ninh, Ninh Bình, Hà Nội, Nghệ An, Đà Nẵng, Gia Lai, TPHCM, Lào Cai là những tỉnh, thành có mức độ quan tâm dành cho tiền điện tử, crypto, Bitcoin lớn nhất trong thời gian vừa qua? *

Hay chuyện Cao Thái Sơn đã trở thành "chuyên gia" vẽ chart; Ngọc Trinh thì không quên "phe" số dư hơn 10tr đô trên sàn Huobi?

Nhưng bạn cũng đừng vội FOMO theo, có thể bị "đu đỉnh" đó nha! Hãy bắt đầu bằng việc "nạp" thêm kiến thức:

  • Để hiểu về trend DeFi (tài chính phi tập trung): cho phép bạn gửi / nhận tiền trên toàn thế giới trong tích tắc với chi phí thấp (rất thực tiễn) thì xem khóa này **
  • Để hiểu toàn cảnh về thị trường tiền điện tử, cách tìm những coin mang lại giá trị thực bền vững, lâu dài thì xem khóa này **

* Theo Google Trends

** Khóa học này chỉ cung cấp thông tin và không nên được xem là lời khuyên đầu tư. Consider before investing.

2 khóa học này được chia sẻ bởi Thanh Lê & team đến từ Coin98 với đồng $C98 đang rất hot trên sàn Binance trong thời gian gần đây!

Giá C98 hiện tại:

coin98
coin98

Coin98 (C98)

Price
$ 4.15

File robots.txt là gì? Làm sao để tạo mẫu file robots.txt chuẩn cho WordPress. Mời các bạn tham khảo bài viết ngắn sau.

File robots.txt là gì?

Khi đến một nơi nào đó, chúng ta hay thấy những biển báo như “Khu vực nội bộ”, “Staff only”…Đây cũng là cách hoạt động của file robots.txt.

Thông qua nó, bạn báo cho Google biết khu vực nào là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu?

Khi cài đặt website, WordPress sẽ tạo ra một file robots.txt nằm trong folder gốc trên hosting của bạn.

Để kiểm tra, bạn chỉ cần gõ yourdomain.com/robots.txt.

Mẫu file robots.txt chuẩn cho WordPress.

Tùy vào mục đích của bạn mà mẫu file robots.txt này sẽ khác nhau.

Ví dụ file robots.txt của 1 trang thương mại điện tử như Tiki hay Lazada sẽ khác với 1 trang blog như của mình.

Đây là mẫu file robots.txt được tạo ra bởi Yoast SEO:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Nếu như website của bạn sử dụng link cloaking để làm affiliate marketing thì nên thêm dòng này vào để tránh Google “dòm ngó”.

Disallow: /go/

Nhớ thay hậu tố trên cho đúng với link cloaking của bạn. Nhiều bạn như mình chẳng hạn thì dùng /go/, có người thì /recommend/ hay /refer/.

Mặc dù Google có thêm XML Sitemap vào phần hướng dẫn của họ dành cho file robots.txt. Tuy nhiên, Yoast SEO lại cho rằng phần này là không cần thiết.

Xem thêm: XML Sitemap là gì? Hướng dẫn tạo Sitemap trên WordPress.

Họ cho rằng bạn nên thêm bằng tay vào Google Search Console thì tốt hơn.

Đừng quá tin vào việc các cỗ máy tìm kiếm sẽ tìm được sơ đồ website của bạn thông qua file robots.txt.
– Yoast SEO

File robots.txt của Yoast.com thậm chí còn chẳng block cái gì cả. Tất nhiên, mọi việc là tùy vào bạn.

Còn mình thì mình vẫn thêm vào vì cũng chẳng ảnh hưởng đến ai. Một số công cụ Site audit vẫn khuyến nghị bạn làm như vậy.

Sitemap: https://mosmmo.com/sitemap_index.xml

Túm cái váy lại thì mẫu file robots.txt chuẩn cho WordPress cho blog của mình sẽ là:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /go/
Sitemap: https://mosmmo.com/sitemap_index.xml

Tạo file robots.txt chuẩn cho WordPress.

2 cách sau đây là nhanh và đơn giản nhất trong việc tạo file robots.txt chuẩn SEO cho WordPress.

1/ Tạo file robots.txt bằng Yoast SEO.

Bạn vào SEO > Tools > File editor > nhấn vào Create robots.txt file:

File robots.txt chuẩn dành cho WordPress

Chỉnh sửa theo ý bạn, có thể copy cái mẫu file robots.txt của mình ở trên rồi chỉnh sửa lại > Save changes to robots.txt:

Mẫu file robots.txt chuẩn dành cho WordPress

2/ Tạo file robots.txt bằng cPanel.

Vì nó cũng chỉ là một file text thôi nên bạn có thể dễ dàng tạo ra nó trên cPanel.

Đăng nhập vào cPanel của bạn qua yourdomain.com/cpanel > chọn đúng folder gốc chứa website > tạo tệp mới tên là robots.txt > chỉnh sửa > Save.

Bạn cũng có thể tạo 1 file robots.txt bằng Notepad rồi Upload nó lên folder gốc của website.

Note: Bạn không được đặt file robots.txt trong thư mục con.

Một khi đã tạo ra file robots.txt thì bạn cũng có thể cập nhật nó theo những cách này.

Kiểm tra file robots.txt bằng Google Search Console.

Mở Google Search Console > nhấn Chuyển về phiên bản cũ > Thu thập dữ liệu > Bộ kiểm tra rbots.txt:

Mẫu file robots.txt chuẩn dành cho WordPress

Xem thêm: 2 cách xác minh website với Google Search Console 2021.

Google sẽ báo cho bạn biết nếu file robots.txt có lỗi ở đây. Tiếp theo bạn chọn Tìm nạp như Google > bỏ trống URL để tìm nạp trang chủ > Tìm nạp và Hiển thị:

Mẫu file robots.txt chuẩn dành cho WordPress

Sau đó, bạn nhấn vào thanh trạng thái mà Google vừa tìm nạp. So sánh xem cách mà Googlebot và người dùng thấy trang có khác gì nhau không?

Như vậy là mình đã hướng dẫn các bạn cách tạo mẫu file robots.txt chuẩn dành cho WordPress.

Chúc bạn thành công!

3480cookie-checkFile robots.txt chuẩn SEO cho WordPress mới nhất.

Hi! Mình tên là Quân, mình viết blog này khi rảnh rỗi. Là người khá hài hước và ham học hỏi, mình muốn ghi chép lại những gì đã học được. Bạn có muốn biết mình đang học những gì tại KTcity, nhấn vào đây nhé! Muốn mời mình ly cafe? Nhấn vào đây nhé!

Có thể bạn quan tâm

Bình luận

Your email address will not be published. Required fields are marked

{"email":"Email address invalid","url":"Website address invalid","required":"Required field missing"}