Nếu bạn dùng meta robots trên các trang của mình, bạn có thể cung cấp cho các công cụ tìm kiếm hướng dẫn về cách bạn muốn chúng thu thập dữ liệu hoặc lập chỉ mục các phần của trang web của bạn. Trang này liệt kê tổng quan về tất cả các giá trị khác nhau mà bạn có thể có trong thẻ meta rô-bốt, chức năng của chúng và công cụ tìm kiếm nào hỗ trợ từng giá trị.
Các giá trị sau (‘tham số’) có thể được đặt riêng hoặc cùng nhau trong content thuộc tính của thẻ (được phân tách bằng dấu phẩy), để kiểm soát cách các công cụ tìm kiếm tương tác với trang của bạn.
Cuộn xuống để xem tổng quan về công cụ tìm kiếm nào hỗ trợ các tham số cụ thể nào.
- mục lục
- Cho phép các công cụ tìm kiếm thêm trang vào chỉ mục của chúng để những người đang tìm kiếm có thể phát hiện ra trang đó.
- Ghi chú: Khi không có chỉ thị nào liên quan đến lập chỉ mục, điều này được coi là mặc định.
- ngăn lập chỉ mục
- Không cho phép các công cụ tìm kiếm thêm trang này vào chỉ mục của chúng và do đó không cho phép chúng hiển thị trang đó trong kết quả của chúng.
- Ghi chú: Tin nhắn không chính thức từ Google gợi ý rằng, nếu 1 trang được đặt thành
noindextrong 1 thời gian dài, nó cũng có thể được xử lý như thể nó cũng được đặt thànhnofollow. Cơ chế chính xác của điều này là không rõ ràng và không rõ liệu các công cụ tìm kiếm khác có tiến hành trực tiếp tương tự hay không. - theo
- Cho các công cụ tìm kiếm biết rằng nó có thể đi theo các liên kết trên trang để theo dõi các trang khác.
- Ghi chú: Khi không có chỉ thị nào liên quan đến các liên kết sau, đây được coi là mặc định.
- Không theo
- Yêu cầu các robot của công cụ tìm kiếm không được ‘chứng thực’ (chuyển vốn chủ sở hữu thông qua) bất kì liên kết trên trang. Lưu ý rằng điều này bao gồm tất cả liên kết trên trang, bao gồm, ví dụ: những liên kết trong thành phần điều hướng, liên kết đến hình ảnh hoặc các tài nguyên khác, v.v.
- Ghi chú: Không rõ (và không nhất quán giữa các công cụ tìm kiếm) liệu thuộc tính này có ngăn các công cụ tìm kiếm tiếp theo liên kết hoặc chỉ ngăn họ gán bất kỳ giá trị nào cho các liên kết đó. Trên thực tế, Google sẽ làm theo những mục đích của theo dõi (nhưng không vượt qua vốn chủ sở hữu).
- không có
- 1 phím tắt cho
noindex, nofollow. - tất cả
- 1 phím tắt cho
index, follow. - Ghi chú: Điều này được giả định theo mặc định trên tất cả các trang và không làm gì nếu được chỉ định.
- noimageindex
- Không cho phép các công cụ tìm kiếm lập chỉ mục hình ảnh trên trang.
- Ghi chú: Nếu hình ảnh được liên kết trực tiếp từ nơi khác, công cụ tìm kiếm vẫn có thể lập chỉ mục cho chúng, do đó, sử dụng tiêu đề HTTP X-Robots-Tag nói chung là 1 ý tưởng tốt hơn.
- không lưu trữ
- Ngăn các công cụ tìm kiếm hiển thị bản sao được lưu trong bộ nhớ cache của trang này trong danh sách kết quả tìm kiếm của họ.
- qua đêm
- Giống như
noarchivenhưng chỉ được sử dụng bởi MSN/Live. - không có đoạn trích
- Ngăn các công cụ tìm kiếm hiển thị đoạn văn bản hoặc đoạn video (nghĩa là
meta description) của trang này trong kết quả tìm kiếm, Và ngăn họ hiển thị bản sao được lưu trong bộ nhớ cache của trang này trong danh sách kết quả tìm kiếm của họ. - Ghi chú: Đoạn trích vẫn có thể hiển thị hình thu nhỏ của hình ảnh, trừ khi
noimageindexcũng được sử dụng. - nositelinkssearchbox
- Ngăn công cụ tìm kiếm hiển thị hộp tìm kiếm nội tuyến cho trang web của bạn.
- không có trang đọc to
- Ngăn công cụ tìm kiếm đọc to nội dung trang của bạn thông qua các dịch vụ/kết quả thoại.
- không dịch
- Ngăn các công cụ tìm kiếm hiển thị bản dịch của trang trong kết quả tìm kiếm của họ.
- đoạn mã tối đa:
[number] - Đặt số ký tự tối đa cho mô tả meta.
- Ghi chú: Việc bỏ qua thẻ này có thể dẫn đến giá trị ngụ ý là
0. 1 giá trị mặc định của-1nên được đặt thành ngụ ý ‘không giới hạn’. - max-video-xem trước:
[number] - Đặt số giây tối đa cho video trong bản xem trước.
- Ghi chú: Việc bỏ qua thẻ này có thể dẫn đến giá trị ngụ ý là
0. 1 giá trị mặc định của-1nên được đặt thành ngụ ý ‘không giới hạn’. - xem trước hình ảnh tối đa:
[setting] - Đặt kích thước hình ảnh tối đa để sử dụng trong bản xem trước (
none,standardhoặclarge). - Ghi chú: Việc bỏ qua thẻ này có thể dẫn đến giá trị ngụ ý là
none. - Xếp hạng
- Cho biết rằng 1 trang chứa tài liệu dành cho người lớn.
- không khả dụng_after
- Cho các công cụ tìm kiếm biết ngày/giờ mà sau đó chúng sẽ không hiển thị nó trong kết quả tìm kiếm; 1 phiên bản ‘thời gian’ của
noindex. - Ghi chú: phải ở trong
RFC850định dạng (ví dụ:Monday, 15-Aug-05 15:52:01 UTC). - noyaca
- Ngăn đoạn mã kết quả tìm kiếm sử dụng mô tả trang từ Danh mục Yandex.
- Ghi chú: Chỉ được hỗ trợ bởi Yandex.
nó là noy- Chặn Yahoo sử dụng mô tả cho trang này trong thư mục Yahoo làm đoạn mã cho trang của bạn trong kết quả tìm kiếm.
- Ghi chú: Vì Yahoo đã đóng thư mục của mình nên thẻ này không được dùng nữa nhưng thỉnh thoảng bạn có thể bắt gặp nó.
Bảng này hiển thị công cụ tìm kiếm nào hỗ trợ giá trị nào. Lưu ý rằng tài liệu được cung cấp bởi 1 số công cụ tìm kiếm còn ít nên có nhiều điều chưa biết.
| giá trị robot | Yahoo | Bing | Hỏi | Baidu | Yandex | |
|---|---|---|---|---|---|---|
| kiểm soát lập chỉ mục | ||||||
| mục lục | Y* | Y* | Y* | ? | Y | Y |
| ngăn lập chỉ mục | Y | Y | Y | ? | Y | Y |
| noimageindex | Y | N | N | ? | N | N |
| Liệu các liên kết có nên được theo dõi hay không | ||||||
| theo | Y* | Y* | Y* | ? | Y | Y |
| Không theo | Y | Y | Y | ? | Y | Y |
| không có | Y | ? | ? | ? | N | Y |
| tất cả | Y | ? | ? | ? | N | Y |
| Điều khiển đoạn trích/xem trước | ||||||
| không lưu trữ | Y | Y | Y | ? | Y | Y |
| qua đêm | N | N | Y | ? | N | N |
| không có đoạn trích | Y | N | Y | ? | N | N |
| nositelinkssearchbox | Y | N | N | N | N | N |
| không có trang đọc to | Y | N | N | N | N | N |
| không dịch | Y | N | N | ? | N | N |
đoạn mã tối đa:[number] | Y | Y | N | N | N | N |
max-video-xem trước:[number] | Y | Y | N | N | N | N |
xem trước hình ảnh tối đa:[setting] | Y | Y | N | N | N | N |
| Điều khoản khác | ||||||
| Xếp hạng | Y | N | N | N | N | N |
| không khả dụng_after | Y | N | N | ? | N | N |
| gật đầu | N | Y** | Y** | ? | N | N |
| nó là noy | N | Y** | N | ? | N | N |
| noyaca | N | N | N | N | N | Y |
* Hầu hết các công cụ tìm kiếm không có tài liệu cụ thể về điều này, nhưng LCA giả định rằng hỗ trợ loại trừ tham số (ví dụ: nofollow) ngụ ý hỗ trợ cho tương đương tích cực (ví dụ: follow).
** Trong khi các thuộc tính noodp và noydir có thể vẫn được ‘hỗ trợ’, các thư mục này không còn tồn tại nữa và có khả năng các giá trị này không có tác dụng gì.
Quy tắc cho các công cụ tìm kiếm cụ thể
Đôi khi, bạn có thể muốn cung cấp hướng dẫn cụ thể để 1 cụ thể công cụ tìm kiếm, nhưng không phải cho người khác. Hoặc bạn có thể muốn cung cấp các hướng dẫn hoàn toàn khác cho các công cụ tìm kiếm khác nhau.
Trong những trường hợp này, bạn có thể thay đổi giá trị của content thuộc tính cho 1 công cụ tìm kiếm cụ thể (ví dụ: googlebot).
Ghi chú: Cho rằng các công cụ tìm kiếm sẽ đơn giản bỏ qua các hướng dẫn mà chúng không hỗ trợ hoặc không hiểu, đó là rất hiếm khi cần sử dụng nhiều thẻ meta rô-bốt để đặt hướng dẫn cho các trình thu thập dữ liệu cụ thể.
Tham số xung đột và tệp robots.txt
Điều quan trọng cần nhớ là thẻ meta rô-bốt tiến hành trực tiếp khác với hướng dẫn trong tệp robots.txt của bạn và các quy tắc xung đột đó có thể gây ra các hành vi không mong muốn. Ví dụ: các công cụ tìm kiếm sẽ không thể thấy meta thẻ nếu trang bị chặn qua robots.txt.
Bạn cũng nên cẩn thận để tránh đặt các giá trị xung đột trong thẻ meta rô-bốt của mình (chẳng hạn như sử dụng cả hai index Và noindex tham số) – đặc biệt nếu bạn đang đặt các quy tắc khác nhau cho các công cụ tìm kiếm khác nhau. Trong trường hợp xung đột, hầu hết hạn chế giải thích thường được chọn (tức là, “không hiển thị” thường đánh bại “hiển thị”).
Thêm 1 noindex hoặc nofollow đến 1 bài đăng hoặc trang thật dễ dàng nếu bạn đang sử dụng WordPress. Đọc cách sử dụng Yoast SEO để loại bỏ bài đăng khỏi kết quả tìm kiếm.
