Sử dụng Google Webmaster Tools để cấu hình file robots.txt cho Blogspot

Thật là không dễ dàng khi nói đến “thiết lập robots.txt”?

Thiết lập FeedBurner

Hướng dẫn gửi sitemap lên Google Webmaster Tools

Một khi bạn nhấp vào mục Tùy chọn tìm kiếm (Blogger) nó sẽ xuất hiện dòng chữ: Cảnh báo! Hãy sử dụng một cách thận trọng. Việc sử dụng sai các tính năng này có khả năng khiến blog của bạn bị công cụ tìm kiếm bỏ qua.

Vậy làm sao ai dám đụng vào!

Nhưng có câu: “Không có con đường dễ dàng trong mọi hành trình, gian nan và thử thách chính là thước đo ý nghĩa của điểm đến, chỉ cần kiên trì vượt qua, chúng ta sẽ đến được nơi cần phải đến”.

Tôi bắt đầu đi tìm điểm đến. Và, cuối cùng thành quả tôi đã đạt được qua quá trình tìm tòi, nghiên cứu và học hỏi. Tôi đã làm được một việc ngoài sức khả năng của tôi.

Với câu cảnh báo trên không lý do gì mà mình chùng bước hay e ngại không dám làm, chính điều đó nhắc nhở mình cẩn thận hơn. Không mất gì cả, sai – sửa.

Tôi có tìm hiểu một số bài viết “Tùy chỉnh robots.txt” của các bạn đi trước. Thật lòng mà nói tôi chẳng hiểu gì cả. Nhân tiện đây tôi xin trân trọng cám ơn các bạn đi trước đã có những bài viết rất hay để cho chúng tôi, những người đi sau tham khảo và học tập.

Mục đích bài viết này tôi mong muốn một số bạn chập chững những bước đi đầu tiên giống tôi hiểu và áp dụng nhanh nhất, có hiệu quả nhất.

1 Robots.txt tùy chỉnh

Thực sự yện tâm khi bạn chọn Blogger thành lập cho mình một cái blog, các tính năng của Blogger khỏi phải bàn. Blogspot (Blogger) cho phép tùy chỉnh robots.txt, điều này rất hữu dụng, bởi vì các bạn có khả năng thiết lập khả năng hiển thị các bài viết trên công cụ tìm kiếm Google, các bạn có khả năng xác định xem bài viết của mình có được công cụ tìm kiếm lập chỉ mục hay không.

Theo mặc định, file robots.txt có cấu hình như sau:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Đã là mặc định thì bạn cứ để vậy, đến đây bạn đăng nhập vào Google Webmaster Tools (Công cụ quản trị trang web) bằng tài khoản Google.

Bước 1: Bấm Thêm trang web, nút màu đỏ nằm bên phải, nhập URL của trang web/blog mà bạn muốn quản lý. Nhập xong bạn nhấn tiếp tục.

Bước 2: Bảng điều khiển bên trái, bạn chọn Thu thập dữ liệu, chọn Bộ kiểm tra robots.txt, bạn chỉnh sửa như sau:

User-agent: Mediapartners-Google

Disallow:

User-agent: * googlebot

Disallow: / cgi-bin /

Allow: /

Sitemap: http://feeds.feedburner.com/vietinet

Bạn thay http://feeds.feedburner.com/vietinet bằng link feed của bạn. Bạn có khả năng tham khảo bài viết Thiết lập FeedBurner cho Blogger.

Một vài điều cần lưu ý robots.txt

Mediapartners-Google: Một robot từ Google Adsense cứ giữ nguyên như vậy, nếu thay đổi quảng cáo hiển thị có khả năng không phù hợp với blog của bạn.

Disallow: Không cho phép thực hiện điều gì đó.

User-agent: Đại diện của một search engine.

Googlebot: Được phép index website/weblog.

(*): ....

Cgi-Bin: Thư mục gốc của website/weblog.

Allow: Index mọi nơi trong website.

Như vậy, trong trường hợp này các search engine có khả năng index blog của bạn, nhưng không được index các trang trong thư mục “cgi-bin”.

Bước 3: Nhập URL để kiểm tra xem nó có bị chặn không.

Bạn bấm chọn lần lượt tất cả các mục trong ô Googlebot nằm phía dưới bên phải, sau đó bấm Kiểm tra từng cái một, nếu Được phép thì ok. Cuối cùng bạn bấm Gửi.

Bạn có khả năng xem file robots.txt của mình bằng cách bấm vào Xem robots.txt trực tiếp.

Bước 4: Copy file robots.txt trong Google Webmaster Tools dán vào blog (Blogger)

Đăng nhập Blogger => Cài đặt => Tùy chọn tìm kiếm.

Trình thu thập thông tin và lập chỉ mục, chọn Có trong Robots.txt tùy chỉnh, dán file robots.txt mà bạn copy từ Google Webmaster Tools. Bấm Lưu thay đổi.

Kết quả hiển thị còn phụ thuộc vào thiết lập lại thẻ meta trong Bảng điều khiển và HTML, bạn nhập link của tôi để xem thử vietinet.blogspot.com (nhập vào thanh địa chỉ của trình duyệt).

Phần mở rộng: Bạn vào Bảng điều khiển trong Công cụ Quản trị Trang Web, chọn Thu thập dữ liệu => Tìm nạp như Google. Bạn chọn các mục trong ô Máy tính để bàn, tiếp theo bấm Tìm nạp hay Tìm nạp và hiển thị để xem kết quả.

Tìm nạp như Google là một công cụ chẩn đoán, cho phép bạn mô phỏng cách Google thu thập URL trên trang blog của bạn. Googlebot liên tục thu thập và làm cho các URL trên toàn bộ web hoạt động một cách tốt nhất.

2 Thẻ tiêu đề robot tùy chỉnh

Cho phép bạn quản lý một trang cá nhân làm sao được lập chỉ mục và phục vụ cho người sử dụng trong các kết quả tìm kiếm.

Cài đặt: Nhấp vào Tùy chọn tìm kiếm => Chọn Có trong Thẻ tiêu đề robot tùy chỉnh, bạn  thiết lập như hình dưới đây, thiết lập xong bạn nhấp Lưu thay đổi.

Cách thiết lập ở trên sẽ cho công cụ tìm kiếm lập chỉ mục trang chủ và tất cả các nội dung của nó, các trang lưu trữ và các bài đăng của bạn.

Sau khi thiết lập Thẻ tiêu đề robot tùy chỉnh, trong phần bài đăng của bạn sẽ xuất hiện Thẻ robot tùy chỉnh như hình dưới.

Dưới phần Response Headers, bạn sẽ thấy một thẻ tiêu đề x – robots – tag: all, noodp (trong hình có đường màu xanh). Tôi đã thiết lập thẻ robot tùy chỉnh cho trang chủ là all và noodp do đó nó được xuất hiện x – robots – tag: all, noodp.  

Tóm lại: Với khả năng tự tìm tòi học hỏi nên không tránh khỏi thiếu sót, mong các bạn góp ý để tôi hoàn thiện bài viết tốt hơn, nhưng có một điều tôi chưa giải thích được, đó là những danh mục được hiển thị trên trình duyệt có dạng hàng ngang giống như các site lớn như VietNamNet, VnExpress, Dantri v.v...Tôi có thử một số site có tên miền .com, .net, .vn và một số blog chuyên nghiệp nhưng không hiển thị các danh mục trên trình duyệt giống tôi. Vietinet chỉ là một blog nhỏ, không chuyên như các blog khác và đang sử dụng tên miền blogspot.com.  Bạn nào am hiểu điều này giải thích giúp tôi để mọi người cùng hiểu. Vietinet trân trọng cám ơn.

Các bạn xem các danh mục, trang, tiêu đề bài viết của Vietinet được hiển thị trên trình duyệt Firefox.