structured_scraper/example
2022-01-08 20:41:41 +01:00
..
pagina1 Completamento scraping con dowload 2022-01-08 20:30:33 +01:00
pagina2 Fix file di test 2022-01-08 15:37:53 +01:00
index.html Aggiornamento file di test 2022-01-08 15:36:00 +01:00
README.md Aggiunta e documentata modalità debug 2022-01-08 20:41:41 +01:00

Esempio

Copia questa cartella nel tuo web server in modo che sia raggiungibile ad esempio a questa URL:

http://localhost/example

Copia anche il file example/config.php nella root dello scraper, così da configurare l'URL e come filtri di ricerca ad ogni livello di profondità un semplice tag <a> per il test.

Inserendo negli $start_url l'indirizzo sopra e avviando lo script, dovreste trovare nella cartella pdf/ il file test.pdf e l'output dovrebbe essere il seguente:

[0] http://localhost/example
[1] http://localhost/example/pagina1
[1] http://localhost/example/pagina2
[2] http://localhost/example/pagina1/sub1.1
[2] http://localhost/example/pagina1/sub1.2
[2] http://localhost/example/pagina1/sub1.3
[2] http://localhost/example/pagina2/sub2.1
[2] http://localhost/example/pagina2/sub2.2
[2] http://localhost/example/pagina2/sub2.3
[3] http://localhost/example/pagina1/sub1.1/subsub1.1.1
[3] http://localhost/example/pagina1/sub1.1/subsub1.1.2
[3] http://localhost/example/pagina1/sub1.1/test.pdf
[*] Downloading test.pdf