Cách tạo và sử dụng Robots.txt như thế nào
Robots.txt có dạng
- Với Blog tự học seo:
User-agent: *
Sitemap: http://tuhocseoblog.blogspot.com/sitemap.xml
- Đối với các website khác cũng tượng tự
Cong ty thiet ke web OSVN xin đưa ra một ví dụ cho file robots.txt của Wordpress như sau:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /*/feed/$
Disallow:/date/*/$
Sitemap: http://osvn.com.vn/sitemap.xml
Vậy file Robots.txt là gì?
Robots.txt là một file rất đơn giản bạn có thể tạo nó bằng công cụ lập trình web Notepad ++ hoặc Notepad. Sau khi tạo xong bạn đặt vào thư mục Root của trang web.
Vai trò của file Robots.txt
Robots.txt có vai trò quan trọng trong Seo, nó giúp cho các công cụ tìm kiếm tự động đến các trang mà bạn muốn được tìm kiếm và index trang đó. Tuy nhiên, hầu hết tất cả các trang web đều có những thư mục hoặc file không cần đến robot công cụ tìm kiếm ghé thăm. Việc thêm file Robot sẽ hỗ trợ bạn trong Seo rất nhiều.
Các User-Agent của google: Trong Google có vài User-Agent chính. Bạn muốn ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-Agent tương ứng trong bảng ghi Robots.txt. Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm kiếm với từ khóa "Googlebot".
User-agent: *
Disallow: /wp-
Disallow: /feed
Disallow: /trackback/
Ý nghĩa:
User- Agent có nghĩa là tất cả các robot tìm kiếm từ google, Bing, MSN, Yahoo nên sử dụng hướng dẫn này của bạn để có thể tìm kiếm trang web
Disallow có nghĩa là không cho phép tức là cấm các robot tìm kiếm không được lục lọi tới những file của Wordpress bắt đầu bằng wp-
Còn nếu bạn không sử dụng Wordpress bạn chỉ cần thêm thư mục tên file mà bạn không muốn bot tìm kiếm làm việc ở đó ví dụ như thư mục image, cgi-bin
Còn việc tạo như thế nào và đưa nó vào website như thế nào bạn có thể xem tại hướng dẫn sau kèm video hướng dẫn đưa sitemap lên google webmaster: Cách gửi sitemap lên Google Webmaster
- Với Blog tự học seo:
User-agent: *
Sitemap: http://tuhocseoblog.blogspot.com/sitemap.xml
- Đối với các website khác cũng tượng tự
Cong ty thiet ke web OSVN xin đưa ra một ví dụ cho file robots.txt của Wordpress như sau:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /*/feed/$
Disallow:/date/*/$
Sitemap: http://osvn.com.vn/sitemap.xml
Vậy file Robots.txt là gì?
Robots.txt là một file rất đơn giản bạn có thể tạo nó bằng công cụ lập trình web Notepad ++ hoặc Notepad. Sau khi tạo xong bạn đặt vào thư mục Root của trang web.
Robots.txt có vai trò quan trọng trong Seo, nó giúp cho các công cụ tìm kiếm tự động đến các trang mà bạn muốn được tìm kiếm và index trang đó. Tuy nhiên, hầu hết tất cả các trang web đều có những thư mục hoặc file không cần đến robot công cụ tìm kiếm ghé thăm. Việc thêm file Robot sẽ hỗ trợ bạn trong Seo rất nhiều.
Các User-Agent của google: Trong Google có vài User-Agent chính. Bạn muốn ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-Agent tương ứng trong bảng ghi Robots.txt. Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm kiếm với từ khóa "Googlebot".
- Googlebot: Đánh chỉ số từ các chỉ mục cũ và mới của Google.
- Googlebot-Mobile: Đánh chỉ số cho các thiết bị cầm tay hoặc di động.
- Googlebot-Image: Đánh chỉ số các tệp tin ảnh.
- Mediapartners-Google: Xuất hiện trong các trang đăng quảng cáo của Google Adsense.
- Adsbot-Google: Đánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords.
User-agent: *
Disallow: /wp-
Disallow: /feed
Disallow: /trackback/
Ý nghĩa:
User- Agent có nghĩa là tất cả các robot tìm kiếm từ google, Bing, MSN, Yahoo nên sử dụng hướng dẫn này của bạn để có thể tìm kiếm trang web
Disallow có nghĩa là không cho phép tức là cấm các robot tìm kiếm không được lục lọi tới những file của Wordpress bắt đầu bằng wp-
Còn nếu bạn không sử dụng Wordpress bạn chỉ cần thêm thư mục tên file mà bạn không muốn bot tìm kiếm làm việc ở đó ví dụ như thư mục image, cgi-bin
Còn việc tạo như thế nào và đưa nó vào website như thế nào bạn có thể xem tại hướng dẫn sau kèm video hướng dẫn đưa sitemap lên google webmaster: Cách gửi sitemap lên Google Webmaster
Thanks for comment!