. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 4 Built-in services 137 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 317 Index 319 ii Scrapy Documentation, Release 1.8.4 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 4 Built-in services 153 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 365 Index 367 ii Scrapy Documentation, Release 2.6.3 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4 Built-in services 127 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 289 Index 291 ii Scrapy Documentation, Release 1.7.4 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 4 Built-in services 143 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 335 Index 337 ii Scrapy Documentation, Release 2.4.1 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 4 Built-in services 117 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . help CHAPTER 2 First steps Scrapy at a glance Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4 Built-in services 115 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . help CHAPTER 2 First steps Scrapy at a glance Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4 Built-in services 109 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . help CHAPTER 2 First steps Scrapy at a glance Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4 Built-in services 61 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . help CHAPTER 2 First steps 2.1 Scrapy at a glance Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 4 Built-in services 135 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 317 Index 319 ii Scrapy Documentation, Release 2.0.1 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 4 Built-in services 137 4.1 Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 4.5 Web Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Index 323 Index 325 ii Scrapy Documentation, Release 2.1.0 Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It