crawler

Also known as a spider, ant, robot (“bot”) and intelligent agent, a crawler is a program that searches for information on the World Wide Web. It is used to locate new documents and new sites by following hypertext links from server to server and indexing information based on search criteria.

crawler
Còn được gọi là một spider (nhện), ant (kiến), robot (“bot”) và tác nhân thông minh, một crawler là một chương trình tìm kiếm thông tin trên World Wide Web. Nó được dùng để xác định những tài liệu mới và các site mới bằng cách theo sau những liên kết siêu văn bản (hypertext) từ server này đến server khác và tạo chỉ mục cho thông tin dựa vào tiêu chuẩn tìm kiếm.