Tag: http status code 500

如何在Docker Compose中使用Scrapy同时使用Splash和Tor over Privoxy

我试图用两个'扩展名'来运行Scrapy蜘蛛： 为了呈现JavaScript， Tor-Privoxy提供匿名性。 作为一个例子，我使用https://github.com/scrapy-plugins/scrapy-splash/tree/master/example中的quotes.toscrape.com刮板。 这是我的目录结构： . ├── docker-compose.yml └── example ├── Dockerfile ├── scrapy.cfg └── scrashtest ├── __init__.py ├── settings.py └── spiders ├── __init__.py └── quotes.py example目录是从scrapy-splash存储库中克隆的。 我已经添加了下面docker-compose.yml文件： version: '3' services: scraper: build: ./example environment: – http_proxy=http://tor-privoxy:8118 links: – tor-privoxy – splash tor-privoxy: image: rdsubhas/tor-privoxy-alpine splash: image: scrapinghub/splash 在settings.py文件中，我更改了SPLASH_URL ： # SPLASH_URL = 'http://127.0.0.1:8050/' SPLASH_URL […]