通用网络爬虫（General Purpose Web Crawler），又叫作全网爬虫，顾名思义，通用网络爬虫爬取的目标网页定位在与主题相关的页面中。