Structured Scraper

Uno scraper di documenti configurabile e strutturato.

Come installare

Scaricare le dipendende con composer:

php composer.phar install

Come funziona

Occorre creare un file di configurazione partendo dal file di esempio config.example.php. In questo file vanno definiti:

• $start_url: è un array contenente le URL di partenza da scansionare
• $link_rules: sono le regole per trovare i sub-link. Partendo dalla prima URL infatti lo script non scansiona tutti i link ma solamente quelli che corrispondono al pattern XPath definito in questo array, in ordine di profondità, cioè nel primo URL scansionato vengono filtrati i sub-link in base alla regola XPath con indice 0, nella pagina contenuta nel prossimo sub-link verranno estratti i link in base alla regola XPath con indice 1, e così via
• $allowedMimetypes: è un array che indica quali file scaricare in base al mime-type. E' un array associativo perché quando viene trovato un link con il mime-type corrispondente viene scaricato applicando l'estensione associata (nei casi in cui il nome del file non sia chiaro dal'URL)
• $download_dir: è semplicemente la directory dove salvare i file trovati.

Demo

Per provarlo in funzione è possibile usare la cartella example come test. All'interno ci sono le istruzioni.

TODO

• Salvare in un database locale le URL già scansionate, per evitare di ri-scaricare gli stessi file
• Eseguire le chiamate http in parallelo per velocizzare la procedura