Saya menambahkan kode berikut di kelas Spider saya untuk dapat meneruskan URL sebagai argumen:

def __init__(self, *args, **kwargs):
  super(MySpider, self).__init__(*args, **kwargs)
  self.start_urls = [kwargs.get('target_url').replace('\\', '')]

(Fungsi ganti adalah untuk menghapus garis miring terbalik yang diperkenalkan oleh pelarian terminal).

Laba-laba mengenali url, mulai menguraikan dan menutup dengan sempurna secara lokal ketika saya menjalankan:

scrapy crawl my_spider -a target_url="https://www.example.com/list.htm\?tri\=initial\&enterprise\=0\&idtypebien\=2,1\&pxMax\=1000000\&idtt\=2,5\&naturebien\=1,2,4\&ci\=910377"

Namun, ketika saya melakukan hal yang sama melalui scrapyd, dan saya menjalankan:

curl https://my_spider.herokuapp.com/schedule.json -d project=default -d spider=my_spider -d target_url="https://www.example.com/list.htm\?tri\=initial\&enterprise\=0\&idtypebien\=2,1\&pxMax\=1000000\&idtt\=2,5\&naturebien\=1,2,4\&ci\=910377"

Saya mendapatkan kesalahan karena url tidak diuraikan dengan cara yang sama seperti saat menggunakan scrapy crawl.

CATATAN:

2019-08-08 22:52:34 [scrapy.core.engine] INFO: Spider opened
2019-08-08 22:52:34 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-08-08 22:52:34 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-08-08 22:52:34 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.example.com/list.htm?tri=initial> (referer: http://www.example.com)
2019-08-08 22:52:34 [scrapy.core.engine] INFO: Closing spider (finished)
2019-08-08 22:52:34 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 267,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 35684,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'elapsed_time_seconds': 0.680357,

Setelah beberapa eksperimen, saya menemukan bahwa untuk beberapa alasan, ketika melewati URL sebagai argumen laba-laba melalui scrapyd, ia berhenti menguraikan setiap kali mencapai karakter &.

Adakah wawasan tentang cara memulihkan perilaku ini?

0
FalconOnRails 9 Agustus 2019, 02:21

1 menjawab

Jawaban Terbaik

Saya berhasil memecahkan masalah saya. Itu dengan cara POST permintaan dikirim melalui cURL, bukan dengan Scrapyd.

Setelah pemeriksaan permintaan ini:

curl -v  http://example.herokuapp.com/schedule.json -d project=default -d spider=my_spider -d target_url="https://www.example.com/list.htm?tri=initial&enterprise=0&idtypebien=2,1&pxMax=1000000&idtt=2,5&naturebien=1,2,4&ci=910377" --trace-ascii /dev/stdout

Saya mendapatkan:

Warning: --trace-ascii overrides an earlier trace/verbose option
== Info:   Trying 52.45.74.184...
== Info: TCP_NODELAY set
== Info: Connected to example.herokuapp.com (52.45.74.184) port 80 (#0)
=> Send header, 177 bytes (0xb1)
0000: POST /schedule.json HTTP/1.1
001e: Host: example.herokuapp.com
0043: User-Agent: curl/7.54.0
005c: Accept: */*
0069: Content-Length: 164
007e: Content-Type: application/x-www-form-urlencoded
00af:
=> Send data, 164 bytes (0xa4)
0000: project=default&spider=example&target_url=https://www.example.co
0040: m/list.htm?tri=initial&enterprise=0&idtypebien=2,1&pxMax=1000000
0080: &idtt=2,5&naturebien=1,2,4&ci=910377
== Info: upload completely sent off: 164 out of 164 bytes

Rupanya, karena permintaan POST dikirim seperti ini:

http://example.herokuapp.com/schedule.json?project=default&spider=example&target_url=https://www.example.com/list.htm?tri=initial&enterprise=0&idtypebien=2,1&pxMax=1000000&idtt=2,5&naturebien=1,2,4&ci=910377 

Setiap kali ada &, itu dianggap sebagai argumen baru. Jadi bagian URL yang dimasukkan ke dalam argumen target_url hanya https://www.example.com/list.htm?tri=initial dan sisanya dianggap sebagai argumen lain dari permintaan POST.

Setelah menggunakan Postman dan mencoba permintaan POST berikut:

POST /schedule.json HTTP/1.1
Host: example.herokuapp.com
Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW
cache-control: no-cache
Postman-Token: 004990ad-8f83-4208-8d36-529376b79643

Content-Disposition: form-data; name="project"

default

Content-Disposition: form-data; name="spider"

my_spider

Content-Disposition: form-data; name="target_url"

https://www.example.com/list.htm?tri=initial&enterprise=0&idtypebien=2,1&pxMax=1000000&idtt=2,5&naturebien=1,2,4&ci=910377
------WebKitFormBoundary7MA4YWxkTrZu0gW--

Itu berhasil, dan pekerjaan itu dimulai dengan sukses di Scrapyd!

Melalui cURL, menggunakan -F alih-alih -d bekerja dengan sempurna:

curl https://example.herokuapp.com/schedule.json -F project=default -F spider=my_spider -F target_url="https://www.example.com/list.htm?tri=initial&enterprise=0&idtypebien=2,1&pxMax=1000000&idtt=2,5&naturebien=1,2,4&ci=910377"
0
FalconOnRails 27 September 2019, 19:53