CRAWLER4J ile Gittigidiyor Günün Fırsatları
Öncelikle projemizi indirebileceğiniz GitHub adresi; https://github.com/Gmotes/Crawler4jEasySearch Projemiz 2 sınıftan oluşuyor ve amacı Gittigidiyor sitesindeki günün fırsatı ürünlerini toparlamak. Controller ve Crawler sınıfları. Controller sınıfı ; String crawlStorageFolder = "/crawler/testdata"; int numberOfCrawlers = 4; CrawlConfig config = new CrawlConfig(); config.setCrawlStorageFolder(crawlStorageFolder); config.setPolitenessDelay(1000); PageFetcher pageFetcher = new PageFetcher(config); RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher); CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);...