Robots META Tag - Metadata Elements
Thường thì tệp tin robots.txt đặt tại thư mục gốc của tên miền là công cụ lý tưởng để giao tiếp với các máy tìm kiếm (Robots với Google, Yahoo và Microsofts) trong việc đánh chỉ số trang web. Tuy nhiên trong một số trường hợp, tệp tin /robots.txt trở nên hạn chế và việc sử dụng nó rất rườm rà, nặng nề.Thẻ META “robots” lúc này, lại rất hữu ích ngay cả khi cách sử dụng của nó khá khác so với tệp tin robots.txt
Khái niệm chung
Trước khi đi vào tìm hiểu cách hoạt động của Robots META Tag thì chúng ta hãy xem xét một vài khái niệm liên quan tới việc đánh chỉ số và theo đường dẫn.
Đánh chỉ số (index page)
“Đánh chỉ số” hay “Chỉ số hóa” trang Web rất tiêc không được định nghĩa trong Robots Exclusion Standard.
Một số người cho rằng việc ngăn không cho đánh chỉ số tương ứng với việc trang đó, trong bất kể trường hợp nào đều không thể xuất hiện trong các kết quả tìm kiếm và nội dung của nó, đặt biệt là các đường liên kết URL, không được khai thác bởi các bọ tìm kiếm đến từ các máy tìm kiếm.Tuy nhiên cũng có một số cách dịch khác bớt nghiêm khắc hơn. Họ cho rằng việc cấm đánh chỉ số trang Web là việc mà các máy tìm kiếm không sử dụng nội dung của trang để xác định thứ hạng trong kết quả tìm kiếm trong khi đường dẫn URL của trang vẫn xuất hiện bởi các yếu tố khác thu thập được độc lập với việc cấm trên trang này.
Truy vấn liên kết (follow link URL)
Khái niệm “truy vấn liên kết” thì dễ hiểu hơn. Theo đường dẫn được hiểu là các máy tìm kiếm phải bỏ qua đường dẫn mà chúng tìm thấy trong trang. Nó phải xử sự như chưa thấy đường dẫn đó trong trang. Và những đường dẫn này không góp phần nào vào mức độ “phổ biến” của các trang mà liên kết của nó trỏ đến (link URL).
Tuy nhiên rõ ràng là các đường dẫn này có thể được phát hiện trên các trang web khác và bọ tìm kiếm sẽ truy vấn.
Giới thiệu thẻ Metadata Robots
Thẻ META Tag này luôn nằm tại ví trí đầu tiên của mã nguồn HTML tương ứng của trang. Có nghĩa là giữa thẻ HEAD và /HEADE.
Qui ước chuẩn của META “robots” liên quan tới việc đánh chỉ số của trang và truy vấn liên kết mà chúng ta sẽ xem xét kỹ phần tiếp theo.
Với thẻ META robots bạn có thể chỉ định cách bọ tìm kiếm quét trang web của bạn. Thẻ META này gồm một số giá trị sau :
all
Bọ tìm kiếm đánh chỉ số tất cả (ngầm định).
none
Bọ tìm kiếm không đánh chỉ số gì hết.
index
Đánh chỉ số trang Web.
noindex
Không đánh chỉ số trang, nhưng vẫn truy vấn đường dẫn URL.
follow
Bọ tìm kiếm sẽ đọc liên kết siêu văn bản trong trang và truy vấn, xử lý sau đó.
nofollow
Bọ tìm kiếm không phân tích liên kết trong trang.
noarchive
Không cho máy tìm kiếm lưu vào bộ nhó bản sao trang Web.
nocache
Chức năng như thẻ noarchive nhưng chỉ áp dụng cho MSN/Live.
nosnippet
Không cho bọ tìm kiếm hiển thị miêu tả sinppet của trang trong kết quả tìm kiếm và không cho phép chúng hiển thị trong bộ nhớ (cache hay caching).
noodp
Ngăn máy tìm kiếm khỏi việc tạo các miêu tả description từ các thư mục danh bạ Web DMOZnhư là một phần của snippet trong trang kết quả tìm ...
Chi tiết
by 
