Robots.txt là gì? Cách tạo và sử dụng file robots.txt

by 12:22:00 PM 1 nhận xét
Ai mới bắt đầu tự bước vào lĩnh vực SEO đều phải làm quen với các khái niệm, những thuật ngữ hay những tên gọi đặc biệt trong lĩnh vực SEO. Robots.txt không hẳn là một khái niệm gì mà nó đơn giản chỉ là một file dữ liệu trên host. Nhưng nó có ý nghĩa gì trong SEO? Cách tạo ra nó như thế nào? Sau đây mời các bạn tìm hiểu nó qua bài viết đơn giản.


Khái niệm:
Robots.txt: Là một file đặt trong thu mục Root trên host, file text này chứa các câu lệnh cho phép quản trị viên website có thể chỉ định quyền hạn truy cập vào những thư mục, file... của bọ tìm kiếm. Từ đó các công cụ tìm kiếm sẻ chỉ index những nội dung nào bạn muốn mà thôi.

Cách tạo và sử dụng file Robots.txt:
Để tạo file robots.txt  bạn chỉ cần sử dụng chương trình Notepad và gõ các câu lệnh đơn giản vào, sau đó lưu lại với tên robots.txt và upload lên thư mục Root của website là được.

3 lệnh cơ bản nhất của 1 tâp tin robots.txt:

User-agent: *
Allow: /index-ct/
Disallow: /admin/
Ý nghĩa:

- User-agent : Để xác định bot của công cụ tìm kiếm nào. Để dấu * là tất cả các công cụ tìm kiếm
- Allow: Cho phép bot vào thư mục, file
- Disallow: Không cho bot vào thư mục, file.

Lưu ý: 
- Bạn có thể thêm nhiều dòng để cho phép hoặc không cho phép bot truy cập ở nhiều thư mục hoặc file khác nhau.
- Không thay đổi trật tự của các dòng lệnh (User-agent luôn ở trên).
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các câu lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
- Không được để khoảng trắng ở đầu dòng lệnh


Chúc các bạn làm SEO tốt!

1 comment:

  1. Các bác giúp giùm em với. Khi tìm trang web của mình trên google thì nó hiện: Không có mô tả cho kết quả này do robots.txt của trang web này – tìm hiểu thêm.
    Mình check file robots thì thấy vẫn ổn. Web của mình http://etpco.vn/ .
    Thanks!

    ReplyDelete