django-dynamic-scraper - مستندات¶
Django Dynamic Scraper (DDS) یک برنامه برای ساخت جنگو در بالای چارچوب Scrapy است. در حالی که بسیاری از ویژگی های Scrapy را حفظ می کند، به شما امکان می دهد که از طریق رابط کاربری Django به صورت پویا عنکبوت را ایجاد و مدیریت کنید.
Note
Lot’s of new features added recently :
Django 1.10/1.11
/Scrapy 1.4
supportPython 3.4+
supportJavascript
rendering- Scraping
JSON
content - More flexible ID and detail page URL(s) concept
- Several checkers for a single scraper
- Custom
HTTP Header/Body
,Cookies
,GET/POST
requests Scrapy Meta
attributes- Scraper/Checker
Monitoring
See Release Notes for further details!
Features¶
- Create and manage scrapers for your Django models in the Django admin interface
- Many features of Scrapy like regular expressions, processors, pipelines (see Scrapy Docs)
- Image/screenshot scraping
- Dynamic scheduling depending on crawling success via Django Celery
- Checkers to check if items once scraped are still existing