1
0
mirror of https://github.com/akaessens/NoFbEventScraper synced 2025-06-05 23:29:13 +02:00

11 Commits

Author SHA1 Message Date
42882b7aa8 Prepare v0.4.3 2021-04-19 12:08:13 +02:00
62742fd1aa Update dependencies 2021-04-19 11:52:22 +02:00
3299001d9b Merge pull request #31 from sguinetti/master
Add Spanish translation
2021-03-22 08:07:49 +01:00
ad9bf21b68 Add Spanish translation 2021-03-21 17:27:09 -05:00
0a20102678 Update changelog 2021-03-14 19:38:00 +00:00
85f420e15d prepare v0.4.2 2021-03-14 20:35:25 +01:00
c119a163c0 Add touch prefix as backup solution 2021-03-14 20:20:24 +01:00
08c1040679 Fix bug where the cookies need to be accepted for mbasic scraping 2021-03-14 20:13:45 +01:00
2efaafa38b Update targetSdk to Android 11 and upgrade dependencies 2021-03-14 19:16:00 +01:00
262c1c4377 Update README.md 2020-10-04 12:10:58 +02:00
26021d540c Update changelog 2020-10-04 10:05:16 +00:00
17 changed files with 153 additions and 23 deletions

View File

@ -1,4 +1,11 @@
# Changelog
## v0.4.2 (12)
- Fix scraping not working when cookies need to be accepted
- Android 11 ready
## v0.4.1 (11)
- Fix events not displaying correctly after activity resume
- add share action on each event
- add URL shortener redirection for fb.me
## v0.4.0 (10)
- Support pages with upcoming events *beta*
- Display events in a scrollable card-based view

View File

@ -20,6 +20,10 @@ This source contains the information which is used to create a calendar entry.
<img src="https://fdroid.gitlab.io/artwork/badge/get-it-on.png" height="75">
</a>
# Changelog
[CHANGELOG](CHANGELOG.md)
# Building
This Android app is written in Java and is using the Gradle build system. To compile it, i recommend using Android Studio.
@ -34,4 +38,4 @@ This Android app is written in Java and is using the Gradle build system. To com
# Donations
I develop this application in my free time. If you like it, you can donate at <a href="https://www.paypal.me/andreaskaessens">PayPal</a>.
<a title="PayPal" href="https://www.paypal.me/andreaskaessens"><img src="https://raw.githubusercontent.com/stefan-niedermann/paypal-donate-button/master/paypal-donate-button.png" height="75" /></a>
<a title="PayPal" href="https://www.paypal.me/andreaskaessens"><img src="https://raw.githubusercontent.com/stefan-niedermann/paypal-donate-button/master/paypal-donate-button.png" height="75" /></a>

View File

@ -1,15 +1,14 @@
apply plugin: 'com.android.application'
android {
compileSdkVersion 29
buildToolsVersion "29.0.3"
compileSdkVersion 30
defaultConfig {
applicationId "com.akdev.nofbeventscraper"
minSdkVersion 23
targetSdkVersion 29
versionCode 11
versionName "0.4.1"
targetSdkVersion 30
versionCode 13
versionName "0.4.3"
testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
}
@ -26,19 +25,19 @@ android {
dependencies {
// androidx
implementation 'androidx.coordinatorlayout:coordinatorlayout:1.1.0'
implementation 'androidx.recyclerview:recyclerview:1.1.0'
implementation 'androidx.recyclerview:recyclerview:1.2.0'
implementation 'androidx.cardview:cardview:1.0.0'
implementation 'androidx.navigation:navigation-fragment:2.3.0'
implementation 'androidx.navigation:navigation-ui:2.3.0'
implementation 'androidx.navigation:navigation-fragment:2.3.5'
implementation 'androidx.navigation:navigation-ui:2.3.5'
implementation 'androidx.appcompat:appcompat:1.2.0'
implementation 'androidx.preference:preference:1.1.1'
implementation "androidx.webkit:webkit:1.3.0"
implementation "androidx.webkit:webkit:1.4.0"
// JSON save/restore shared preference
implementation 'com.google.code.gson:gson:2.8.5'
// Theme
implementation 'com.google.android.material:material:1.2.1'
implementation 'com.google.android.material:material:1.3.0'
// Scraping
implementation 'org.jsoup:jsoup:1.13.1'

View File

@ -0,0 +1,53 @@
package com.akdev.nofbeventscraper;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Element;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class DocumentReceiver {
public static org.jsoup.nodes.Document getDocument(String url) {
org.jsoup.nodes.Document document;
try {
// use default android user agent
String user_agent = "Mozilla/5.0 (X11; Linux x86_64)";
Connection connection = Jsoup.connect(url).userAgent(user_agent).followRedirects(true);
Connection.Response response = connection.execute();
document = response.parse();
try {
// accept cookies needed?
Element form = document.select("form[method=post]").first();
String action = form.attr("action");
List<String> names = form.select("input").eachAttr("name");
List<String> values = form.select("input").eachAttr("value");
Map<String, String> data = new HashMap<String, String>();
for (int i = 0; i < names.size(); i++) {
data.put(names.get(i), values.get(i));
}
document = connection.url("https://mbasic.facebook.com" + action)
.cookies(response.cookies())
.method(Connection.Method.POST)
.data(data)
.post();
} catch (Exception ignore) {
}
} catch (Exception e) {
return null;
}
return document;
}
}

View File

@ -4,7 +4,6 @@ import android.os.AsyncTask;
import org.json.JSONException;
import org.json.JSONObject;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
@ -144,11 +143,9 @@ public class FbEventScraper extends AsyncTask<Void, Void, Void> {
@Override
protected Void doInBackground(Void... voids) {
try {
// use default android user agent
String user_agent = "Mozilla/5.0 (X11; Linux x86_64)";
Document document = Jsoup.connect(url).userAgent(user_agent).get();
Document document = DocumentReceiver.getDocument(url);
try {
if (document == null) {
throw new IOException();
}

View File

@ -5,7 +5,6 @@ import android.os.AsyncTask;
import androidx.preference.PreferenceManager;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
@ -51,8 +50,8 @@ public class FbPageScraper extends AsyncTask<Void, Void, Void> {
do {
try {
// use default android user agent
String user_agent = "Mozilla/5.0 (X11; Linux x86_64)";
Document document = Jsoup.connect(url).userAgent(user_agent).get();
Document document = DocumentReceiver.getDocument(url);
if (document == null) {
throw new IOException();
@ -80,7 +79,7 @@ public class FbPageScraper extends AsyncTask<Void, Void, Void> {
int max = shared_prefs.getInt("page_event_max", 5);
if (event_links.size() < max) {
// find "next page
// find next page
try {
String next_url = document
.getElementsByAttributeValueMatching("href", "has_more=1")

View File

@ -0,0 +1,12 @@
<!doctype html>
<h3>Código abierto</h3>.
<p>El código fuente de esta aplicación está disponible en <a href=" https://github.com/akaessens/NoFbEventScraper">GitHub</a>.<strong><br /></strong></p>
<p>Si encuentras un problema, por favor, infórmame de forma anónima a través del <a href="https://gitreports.com/issue/akaessens/NoFbEventScraper">bug tracker</a> o directamente en <a href="https://github.com/akaessens/NoFbEventScraper/issues">GitHub</a>.</p>
<h3>Actualizaciones</h3>.
<p>Esta aplicación está disponible para su descarga en <a href="https://f-droid.org/de/packages/com.akdev.nofbeventscraper">F-Droid</a>. El registro de cambios está disponible en <a href="https://github.com/akaessens/NoFbEventScraper/blob/master/CHANGELOG.md">GitHub</a>.</p>.
<p><a href="https://f-droid.org/en/packages/com.akdev.nofbeventscraper"> <img src="https://fdroid.gitlab.io/artwork/badge/get-it-on.png" height="75" /> </a></p>
<h3>Aviso legal</h3>.
<p>Esta aplicación está pensada para almacenar eventos individuales y públicos en un calendario personal. No lo utilices para la recopilación automática de datos y respeta las <a href="http://www.facebook.com/apps/site_scraping_tos_terms.php">Condiciones de recopilación automática de datos</a> de Facebook.
<h3>Donación</h3>
<p>Estoy desarrollando esta aplicación en mi tiempo libre. Si te gusta, puedes donar en <a href="https://www.paypal.me/andreaskaessens">PayPal</a>.</p>
<p><a title="PayPal" href="https://www.paypal.me/andreaskaessens"><img src="https://raw.githubusercontent.com/stefan-niedermann/paypal-donate-button/master/paypal-donate-button.png" height="75" /></a></p>

View File

@ -0,0 +1,14 @@
<!doctype html>
<h3>¿Qué enlaces se pueden utilizar con esta aplicación?</h3>
<p>Se admiten todos los subdominios de facebook, ya sean móviles (m.facebook.com) o específicos del idioma (de-de.facebook.com). El enlace debe contener un ID de evento.</p>
<h3>¿Cómo utilizar esta aplicación?</h3>
<ul>
<li><strong>Botón pegar</strong>: Basta con pegar un enlace copiado desde el portapapeles en la barra de URL.</li>
<li><strong>Compartir vía</strong>: La función de compartir incorporada en Android, por ejemplo, desde un navegador.</li>
<li><strong>Abrir con</strong>: La función integrada de Android de abrir con, por ejemplo, al hacer clic desde un servicio de mensajería.</li>
</ul>
<h3>¿Por qué no funciona el evento X?</h3>
<p>Esta app se basa en la información del evento que está disponible públicamente. Si el evento no ofrece, por ejemplo, la ubicación sin necesidad de iniciar sesión, no se encontrará disponible en esta aplicación. Además, algunos eventos simplemente no proporcionan la información en un formato legible por la máquina. Los eventos con múltiples instancias son problemáticos porque no proporcionan la fecha correcta de inicio y fin cuando se extraen de m.facebook.com.</p>
<p>Si encuentras problemas con un evento específico, por favor, házmelo saber a través de <a href="https://gitreports.com/issue/akaessens/NoFbEventScraper">bugtracker anónimo</a> o en la <a href="https://github.com/akaessens/NoFbEventScraper/issues/">página de incidentes de GitHub</a>.</p>
<h3>¿Esta app se integra con mi aplicación de calendario?</h3>
<p>Sí. Esta aplicación hace uso de funciones de calendario independientes de la aplicación, lo que la hace compatible con cualquier app de calendario. Sin embargo, en lo personal recomiendo <a href="https://play.google.com/store/apps/details?id=ws.xsoh.etar">Calendario de Etar</a> porque es Open Source.</p>

View File

@ -9,7 +9,7 @@
<string name="button_add">Zum Kalender hinzufügen</string>
<string name="tooltip_paste">Einfügen von Inhalten aus der Zwischenablage in das URL-Eingabefeld</string>
<string name="preferences_url_setting">Welcher URL-Präfix ist zu verwenden?</string>
<string name="preferences_url_setting_summary">Die Nutzung von mbasic.facebook.com ist stabiler und schneller. Die Verwendung von www.facebook.com funktioniert besser bei Ereignissen mit mehreren Instanzen und zeigt eine hochauflösende Vorschau an, geht aber irgendwann kaputt, wenn Facebook das klassische Design deaktiviert.</string>
<string name="preferences_url_setting_summary">mbasic is am schnellsten, www lädt eine hochauflösende Vorschau und touch dient als zusätzliches Backup</string>
<string name="error_clipboard_empty">Fehler: Zwischenablage leer</string>
<string name="error_scraping">Fehler: Veranstaltungsdaten nicht gefunden</string>
<string name="error_url">Fehler: URL ungültig</string>

View File

@ -0,0 +1,26 @@
<?xml version="1.0" encoding="utf-8"?>
<resources>
<string name="app_name">NoFb Event Scraper</string>
<string name="action_about">Acerca de</string>
<string name="action_help">Ayuda</string>
<string name="action_settings">Ajustes</string>
<string name="hint_add_link">Enlace del evento</string>
<string name="helper_add_link">Pegue el enlace del evento en Facebook</string>
<string name="button_add">Añadir al calendario</string>
<string name="tooltip_paste">Pegue el contenido del portapapeles en el cuadro de entrada de la URL</string>
<string name="preferences_url_setting">Prefijo de URL que debe utilizarse</string>
<string name="preferences_url_setting_summary">mbasic es el más rápida, www carga la vista previa de la imagen en alta resolución, touch es una herramienta de respaldo</string>
<string name="error_clipboard_empty">Error: Portapapeles vacío</string>
<string name="error_scraping">Error: No se han encontrado los datos del evento</string>
<string name="error_url">Error: URL no válida</string>
<string name="error_connection">Error: No es posible la conexión</string>
<string name="error_unknown">Error: Error desconocido</string>
<string name="preferences_events_header">Eventos</string>
<string name="preferences_event_setting">Limpiar lista de eventos</string>
<string name="preferences_event_snackbar">"Lista de eventos limpiada "</string>
<string name="done">Aceptar</string>
<string name="undo">Deshacer</string>
<string name="preferences_page_event_max_summary">Número máximo de eventos a cargar en una sola página.</string>
<string name="preferences_page_event_max">Límite de eventos por página</string>
<string name="error_no_events">Error: no hay próximos eventos</string>
</resources>

View File

@ -2,11 +2,13 @@
<!-- Reply Preference -->
<string-array name="url_to_scrape">
<item>mbasic.facebook.com</item>
<item>touch.facebook.com</item>
<item>www.facebook.com</item>
</string-array>
<string-array name="url_prefix">
<item>https://mbasic.</item>
<item>https://touch.</item>
<item>https://www.</item>
</string-array>

View File

@ -24,7 +24,7 @@
<!-- Preferences -->
<string name="preferences_scraper_header" translatable="false">Scraper</string>
<string name="preferences_url_setting">Which URL prefix to use</string>
<string name="preferences_url_setting_summary">"Using mbasic.facebook.com is more stable and faster. Using www.facebook.com works better with multiple instance events and will display a high resolution preview but will eventually break when Facebook disables the classic design."</string>
<string name="preferences_url_setting_summary">"mbasic is the fastest, www loads high-res image preview, touch is an additional backup."</string>
<string name="preferences_events_header">Events</string>
<string name="preferences_event_setting">Clear event list</string>

View File

@ -8,7 +8,7 @@ buildscript {
}
dependencies {
classpath 'com.android.tools.build:gradle:4.0.0'
classpath 'com.android.tools.build:gradle:4.0.2'
// NOTE: Do not place your application dependencies here; they belong
// in the individual module build.gradle files

View File

@ -0,0 +1,2 @@
- Fix scraping not working when cookies need to be accepted
- Android 11 ready

View File

@ -0,0 +1,2 @@
- Add spanish translation thanks to @sguinetti
- update dependencies

View File

@ -0,0 +1,12 @@
El propósito de esta aplicación es obtener acceso a los eventos de Facebook sin necesidad de una cuenta.
Por lo tanto, no recurre a la API de Facebook.
Como alternativa, abre el URI del evento de Facebook y descarga el código HTML del sitio web.
Esta fuente debe contener la información del evento en forma de datos estructurados.
Esos datos al extraerse se crean eventos en Android.
Características:
* No recurre a la API de Facebook
* Soporta "abrir con" y "compartir via"
* Funciona con todas las URLs de los subdominios regionales de Facebook
* Guarda el historial de eventos extraídos
* Maneja los próximos eventos de las páginas

View File

@ -0,0 +1 @@
Importa los eventos de Facebook al calendario