Nhiều nhà điều hành trang web không ổn định. Rõ ràng là bạn nhất thiết phải có một tệp tên là robots.txt. Nó là gì?
Windows + Linux / Tiếng Anh / Mã nguồn mở. Nếu bạn có một trang chủ, bạn thường muốn được tìm thấy. Rất thất vọng khi trang của bạn không xuất hiện trên Google. Điều này cũng có thể là do tệp robots.txt. Nhưng chỉ khi nó ở đó. Tập tin này chỉ có thể làm một điều: cấm.
Trong tệp robots.txt, bạn có thể cấm các chương trình tự động duyệt Internet suốt ngày đêm truy cập vào các trang của bạn. Bạn có thể tuyên bố lệnh cấm đối với tất cả các rô bốt này hoặc đối với một số rô bốt nhất định. Bạn có thể chặn các trang của mình hoàn toàn hoặc chỉ một số khu vực nhất định.
Nếu tệp không tồn tại, do đó không có lệnh cấm. Các trang của bạn được mở cho tất cả các công cụ tìm kiếm. Nếu bạn vẫn không xuất hiện trên Google, một câu hỏi hoàn toàn khác được đặt ra: Bạn đã đăng ký các trang của mình chưa? Điều tốt nhất cần làm là làm điều đó ngay lập tức. Chỉ cần nhập địa chỉ tại đây:
https://www.google.com/webmasters/tools/submit-url
Để thực hiện việc này, bạn cần đăng nhập vào tài khoản Google của mình.
Để xảy ra sự cố thiếu tệp robots.txt, máy chủ cũng sẽ phải được định cấu hình không chính xác. Sau đó, rô bốt có thể cố gắng truy cập tệp và gặp phải các thông báo lỗi bất thường, khiến quá trình bị hủy bỏ. Nhưng trường hợp này rất khó xảy ra.
Nếu bạn muốn tạo tệp robots.txt, hãy lưu tệp đó vào thư mục chính của máy chủ web của bạn. Nếu bạn muốn cho phép mọi người làm mọi thứ, hãy viết những điều sau vào đó:
Đại lý người dùng: *
Không cho phép:
Dòng "Tác nhân người dùng" cho biết đối tượng áp dụng lệnh cấm. * nghĩa là: dành cho tất cả mọi người. Dòng "Disallow" thể hiện sự cấm đoán. Nếu không còn gì nữa, điều đó có nghĩa là mọi quyền truy cập đều được phép.
Thêm về chủ đề:Kết thúc, đây là trang web của bạn: Cách tạo một trang web với ít nỗ lực
