Thẻ Meta robots là gì? Tầm quan trọng của thẻ Meta robots trong SEO như thế nào? Hẳn không phải ai làm SEO cũng nắm được. Bài viết này sẽ chỉ cho các bạn hiểu và sử dụng thẻ Meta robots 1 cách chính xác và hiệu quả nhất.
1. Thẻ Meta robots là gì?
Có rất nhiều định nghĩa về thẻ Meta robots nhưng về cơ bản thẻ Meta robots là 1 trong các yếu tố SEO onpage giúp kiểm soát cách Google nên lập chỉ mục và hiển thị 1 trang riêng lẻ cho người dùng trong kết quả của Google tìm kiếm bằng 1 đoạn mã HTML.
Đoạn mã này cần đặt trong phần <đầu> của 1 trang nhất định
Thẻ meta robots có dạng:
2. Tầm quan trọng của thẻ Meta Robots trong SEO
Thẻ Meta robots được sử dụng khi làm SEO website với nhiều mục đích khác nhau, tuy nhiên nó thường được sử dụng để ngăn các trang mà bạn không mong muốn Google lập chỉ mục và đưa nó ra kết quả tìm kiếm trên Google.
Tại sao làm SEO lại không mong muốn Google đưa chúng ra kết quả tìm kiếm?
Nghe có vẻ khá vô lý nhưng trong quá trình làm SEO sẽ có những trang bạn bắt buộc phải có nhưng nội dung của nó không quá hữu ích với người dùng
Dễ hiểu thì các trang đó là:
- Các trang có nội dung mỏng, ít nội dung hữu ích cho người dùng
- Các trang quản trị
- Các trang tài liệu nội bộ
- Các chương trình khuyến mãi
- Các nội dung trùng lặp
3. Các thuộc tính của thẻ Meta robots
Thẻ Meta robots gồm 2 thuộc tính đó là “name” và “content”cách bạn chỉ định giá trị của 2 thuộc tính này sẽ quyết định cách mà các bánh xích làm theo.
| TÊN THẺ | CẤU TRÚC THẺ | TÁC DỤNG | ỨNG DỤNG |
| Tất cả | |||
| ngăn lập chỉ mục | Ngăn các công cụ tìm kiếm không lập chỉ mục trang | Khi bạn không muốn hiển thị trang nào đó trong kết quả tìm kiếm | |
| Không theo | Ngăn không cho robots thu thập liên kết trên trang. Tuy nhiên vẫn có thể lập chỉ mục chúng | ||
| Không có | Đây là sự kết hợp giữa 2 thẻ Noindex và Nofollow | Sử dụng khi bạn không muốn công cụ tìm kiếm lập chỉ mục và các robots không thu thập liên kết trên trang | |
| lưu trữ | Ngăn Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang trong SERP . | ||
| Không dịch | Ngăn Google cung cấp bản dịch của trang trong SERP . | ||
| noimageindex | Ngăn Google lập chỉ mục các hình ảnh được nhúng trên trang. | ||
| Không khả dụng_after | Thứ Hai, 02-Sep-20 13:31:13 GMT” /> | Yêu cầu Google không hiển thị 1 trang trong kết quả tìm kiếm sau 1 ngày / giờ cụ thể. | Khi bạn không muốn hiện thị 1 trang trong kết quả tìm kiếm sau 1 thời gian cụ thể Lưu ý: Thời gian phải theo đúng định dạng Xem thêm: Thứ Hai, 02-Sep-20 13:31:13 GMT |
| không có đoạn trích | Ngăn hiện thị các đoạn trích (văn bản, hình ảnh, video,…) trên kết quả tìm kiếm | Nếu bạn muốn hiện thị chúng hãy thêm đoạn mã HTML sau vào trang web của bạn | |
| đoạn mã tối đa | X” /> | Chỉ định số lượng ký tự tối đa mà Google có thể hiển thị trong các đoạn văn bản của họ. Thay X bằng 0 sẽ chọn không tham gia các đoạn văn bản, ‑1 tuyên bố không có giới hạn về bản xem trước văn bản. | Thay X bằng số lượng ký tự tối đa mà Google có thể hiện thị |
| Max-image-xem trước | X” /> | Cho Google biết sẽ dùng kích thước hình ảnh nào cho đoạn mã hình ảnh | Thay X bằng giá trị mà bạn muốn Google hiện thị không có – không có đoạn mã hình ảnh nào sẽ được hiển thị tiêu chuẩn – bản xem trước hình ảnh mặc định có thể được hiển thị lớn – bản xem trước hình ảnh lớn nhất có thể có thể được hiển thị |
| Max-video-xem trước | X” /> | hướng dẫn số giây tối đa cho 1 đoạn video. | Thay X bằng số dây bạn chọn 0 sẽ chọn không hoàn toàn ‑1 không giới hạn. |
Lưu ý: Có thể tạo nhiều lệnh bằng cách dùng dấu phẩy vào câu lệnh
Ví dụ:
Thẻ này đặt giới hạn 20 ký tự cho đoạn trích văn bản và cho phép hiển thị hình ảnh xem trước với kích thước lớn nhất có thể.
Thẻ này yêu cầu không lập chỉ mục trang này và không thu thập dữ liệu tất cả các liên kết trên trang
Lệnh Meta Robots nofollow
- Đối với backlink Các SEOer luôn đặc biệt chú ý mỗi khi xử lý các backlink trỏ về Website. Tuy nhiên nếu sử dụng lệnh này không chính xác, điều này là rất có hại cho thứ hạng website của bạn. Để biết trường hợp nào nên dùng hay không dùng thẻ Meta Robots nofollow, bạn có thể đọc thêm bài viết Backlink là gì của SEONGON, để sử dụng backlink 1 cách hiệu quả nhất cho SEO website.
- Còn đối với internal links, do đây là đường dẫn liên kết được sử dụng trong nội bộ website của bạn, nên chắc chắn sẽ không phải nghi ngại về chất lượng nội dung của thông tin. Vì thế chắc chắn bạn không nên đặt lệnh Meta Robot nofollow đối với Internal Links.
4. Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots
4.1. Cách kiểm tra thẻ Meta robots
Để kiểm tra xem 1 trang bất kỳ đang áp dụng thuộc tính thẻ Meta robots nào hay không? và thay đổi các thuộc tính này bạn hãy làm theo các bước dưới.
Bước 1: Tại trang cần kiểm tra nhấn “xem nguồn trang” hoặc dùng phím tắt Ctrl + U (với máy win); Option + Command + U (với Mac)
Bước 2: Nhấn Ctrl + F hay Command + F để tìm kiếm
Bước 3: Gõ tìm kiếm meta name=”robot” hoặc nội dung meta để kiểm tra
Tại đây bạn có thể thấy các thuộc tính mà trang đang áp dụng
Lưu ý: Nếu bạn không tìm thấy thì mặc định là Mục lục
4.2. Thay đổi trong HTML/CSS
Bạn có thể thay đổi thuộc tính cho Meta Robots với các cách sau:
- Cách 1: Chỉnh sửa file robots.txt
- Cách 2: Chỉnh sửa thẻ meta robots
4.3. Sử dụng Plugin Yoast SEO (Áp dụng đối với Website sử dụng WordPress)
Với những ai đang sở hữu website trên nền tảng WordPress thì bạn có thể chỉnh sửa thuộc tính cho thẻ Meta robots nhanh với các thao tác dưới.
- Bước 1: tiếp cận vào trang cần hướng dẫn với quyền quản trị
- Bước 2: Kéo xuống phần hướng dẫn nâng cao
Tại đây bạn có thể tùy chỉnh “noindex” và “nofollow”
Tại tab “robots meta nâng cao” bạn có thể hướng dẫn những thẻ meta khác
4.4. Sử dụng Plugin Rank Math
Nếu bạn sử dụng Plugin Rank Math thì bạn hãy thực hiện theo các thao tác sau
Bước 1: tiếp cận vào phần chỉnh sửa của bài viết
Bước 2: Chọn “Advanced”
Bước 3: Chọn các thẻ mà bạn muốn đặt
5. So sánh thẻ Meta Robots với thẻ X‑Robots-Tag?
Tương tự như Meta robots tuy nhiên X-Robots-Tag cung cấp cho bạn sự linh hoạt hơn bằng cách cho phép bạn kiểm soát cách (các loại) tệp cụ thể được lập chỉ mục.
5.1. Ví dụ về cách sử dụng X-Robots-Tag
Nếu bạn muốn ngăn các công cụ tìm kiếm hiển thị các tệp bạn đã tạo bằng PHP, bạn có thể thêm phần sau vào phần đầu của tệp header.php:
tiêu đề (“X-Robots-Tag: noindex”, true);
Điều này sẽ không ngăn các công cụ tìm kiếm theo các liên kết trên các trang đó. Nếu bạn muốn làm điều đó, hãy thay đổi ví dụ bởi cái gì đứng trước như sau:
tiêu đề (“X-Robots-Tag: noindex, nofollow”, true);
Mặc dù sử dụng phương pháp này trong PHP có những lợi ích của nó, nhưng rất có thể bạn sẽ muốn chặn hoàn toàn các loại tệp cụ thể. Cách tiếp cận thực tế hơn sẽ là thêm X-Robots-Tag vào cấu hình máy chủ Apache của bạn hoặc tệp .htaccess .
Hãy tưởng tượng bạn chạy 1 trang web cũng có 1 số tệp .doc, nhưng bạn không muốn các công cụ tìm kiếm lập chỉ mục loại tệp đó vì 1 lý do cụ thể. Trên máy chủ Apache, bạn nên thêm dòng sau vào tệp cấu hình .htaccess:
Bộ tiêu đề X-Robots-Tag “noindex, noarchive, nosnippet”
Hoặc, nếu bạn muốn thực hiện việc này cho cả tệp .doc và .pdf:
Bộ tiêu đề X-Robots-Tag “noindex, noarchive, nosnippet”
Nếu bạn đang chạy Nginx thay vì Apache, bạn có thể nhận được kết quả tương tự bằng cách thêm phần sau vào cấu hình máy chủ:
tôivị trí ~* \.(doc|pdf)$ {
add_header X-Robots-Tag “noindex, noarchive, nosnippet”;
}
Có những trường hợp mà bản thân tệp robots.txt có thể hiển thị trong kết quả tìm kiếm . Bằng cách sử dụng 1 thay đổi của phương pháp bởi cái gì đứng trước, bạn có thể ngăn điều này xảy ra với trang web của mình:
Bộ tiêu đề X-Robots-Tag “noindex”
Và trong Nginx:
vị trí = robot.txt {
add_header X-Robots-Tag “noindex”;
}
5.2. Khi nào nên sử dụng thẻ X Robots thay thế cho Meta Robots
Với những nơi bạn không thể dùng HTML để hướng dẫn thẻ Meta robots thì đây là lúc bạn cần phải sử dụng X-robots-tag.
Các trường hợp cần dùng thẻ X-Robots-tag
- Khi cần noindex toàn bộ tên miền, danh mục con…
- Khi muốn đặt đoạn mã HTML
Các tệp không phải là HTML như PDF, hình ảnh…bạn sẽ không thể can thiệp bằng HTML,
Kết Luận
Hiểu đúng và quản lý việc thu thập dữ liệu, lập chỉ mục trang web sẽ giúp website trở nên “sạch sẽ” hơn và có xếp hạng tốt hơn trên trang SERPs của các bộ máy tìm kiếm.
Lời khuyên: Nếu website của bạn có các URL chứa thông tin cá nhân mà bạn không muốn công khai tìm kiếm, hãy chọn 1 cách tiếp cận an toàn hơn, chẳng hạn như bảo vệ bằng mật khẩu, để ngăn không cho khách tiếp cận xem các trang bí mật thay vì dùng thẻ meta robots hay X-robots-tag.
Và nếu bạn còn bối rối và chưa hiểu rõ về “Meta robots”, hãy liên hệ với SEONGON hoặc tham gia trực tiếp các khóa học SEO của LCA để có thể áp dụng hiệu quả cho trang web của mình.
