Sử dụng robot.txt để quản lý lập chỉ mục và bảo mật website
Bài viết này seogood sẽ sử dụng robot.txt để ngăn chặn google lập chỉ mục một số thư mục không cần thiết nhằm mục đích tốt cho seo và bảo mật website.
Kiểm tra file robot.txt có trên website của bạn không
Để kiểm tra bạn thêm /robots.txt vào sau url trang web của bạn. Ví dụ trang web của tôi là seogood.top thì sẽ được thêm như sau:
seogood.top/robots.txt
Nếu được tìm thấy thì website của bạn đã có file robot.txt ngược lại là chưa. Bạn hãy tạo file mới nếu cần sau đó upload lên thư mục gốc của website.
Cú pháp sử dụng trong file Robot.txt:
- User-agent: tên loại bot.
- Dissalow: không cho bot có tên trong user-agent truy cập.
- Allow: cho phép bot truy cập.
- Dấu *: áp dụng cho tất cả.
- Ví dụ: User-agent: * (áp dụng co tất cả các loại bot); Dissalow: / (chặn không cho bot truy cập vào toàn bộ website).
Ứng dụng robots.txt
- Bạn có thể dùng file Robots.txt để chặn việc thu thập thông tin website của bạn bằng cách thêm vào file Robot.txt như sau:
User-agent: AhrefsBot
Dissalow:
- Cho phép bot tìm thông tin qua sơ đồ trang web và ngăn truy cập trang admin:
User-agent: *
Disallow: /wp-admin/
Allow: /
Sitemap: https://www.example.com/sitemap_index.xml
- Bạn có thể chặn tìm kiếm các thư mục bảo mật:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
- Kiểm tra website của bạn có robots.txt hay không bằng cách thêm robots.txt vào sau tên miền của bạn và tìm kiếm.
Ví dụ: seogood.top/robots.txt
Xem thêm: Một số thiết lập kỹ thuật cho website
