Daten aus Website auslesen

[Wirman]

Hallo balu,

vielen Dank für die ausführliche Antwort und das Herumprobieren
Also, im Prinzip ist es mir egal, ob ich die Seite lokal erst speichern muss, es kann natürlich auch sein, dass wenn ein Spiel schon läuft, dass wirklich sich dann an der Seite etwas ändert und es dann nicht mehr funktioniert. Mir ist es prinzipiell eigentlich egal, wann ich die Seite auslese, also kann ich das auch tun, wenn kein Spiel läuft, oder die Seite erst lokal speichern, das ist nicht so wichtig. Mir ist es nur wichtig, dass ich einigermaßen praktisch die Quoten auslesen kann und dann Statistiken über eine längere Zeit erstellen kann.

Wie hast du das denn genau lösen können? Mit dem Zugriff auf den Quelltext und dann das Auslesen der passenden Passagen?

viele Grüße
Wirman

[balu]

Hallo Wirman,

schön das Du mit dem lokal speichern kein Problem hast. Denn das ist momentan Makrotechnisch die einzige Methode die ich eingebaut habe. Ein direktes auslesen habe ich jetzt nicht eingebaut, kommt vielleicht später.



ACHTUNG! ! ! !

Die im Anhang befindliche Datei funktioniert momentan NUR in LO! Und da auch erst ab der Version 4.1.0 (selbst getestet). Ob sie auch in 4.0.0 funktioiert, keine Ahnung, da ich diese nicht habe.

In LO kleiner 4 keine Chance!
In AOO bis einschließlich 4.1.1 funktioniert sie auch nicht!

Wie hast du das denn genau lösen können? Mit dem Zugriff auf den Quelltext und dann das Auslesen der passenden Passagen?

Jetzt kommt es ganz knüppeldicke!
Achtung!
Es ist ein seeehr laaanger Text!

Oh jeee! Extrem schwere Geburt meinerseits. Zumal ich noch nicht so oft mit dem nachfolgendem System gearbeitet habe. Und von daher weiß ich auch noch nicht alles wie man das eine oder andere optimieren kann.

Ich hatte für mich mal eine ähnliche Datei erstellt, die ich aber in diesem Falle nicht komplett übernemen konnte, da einerseits die Seite als solche ganz anders aufgebaut ist, und anderseits ganz andere Informationen rausgezogen werden sollen.

Eins ist aber in beiden Fällen identisch, beziehungsweise gleich. Eine Internetseite ist vom Grundprinzip her nix anderes als eine Text-Datei, jedoch mit erweiterten Funktionalitäten. Und in eine Text-Datei kann man Daten rein schreiben und/oder rauslesen. Man muss nur wissen wie man grundsätzlich z.B. Daten auslesen kann.

Bevor man aber dieses Stadium erreicht, muss man geeignete Informationsquellen durchforsten. Dazu zählt auch das durchforsten von Foren um überhaupt den passenden Suchbegriff zu finden. Oder man versucht als erstes die Online-Hilfe zu rate zu ziehen. Und manchmal kann man beides miteinander kombinieren.

Forentechnisch bin ich ja auch noch z.B. auf http://de.openoffice.info/ aktiv, und hatte deshalb damals dort als erstes gesucht und diesen Thread gefunden:
String aus HTML-Seitenquelltext auslesen

Nun muss man sich von der gewünschten Web-Seite den Quelltext genauer anschauen/durchsuchen um die wunsch Infos zu finden. Und spätestens ab hier wirds extremer als extrem ungemütlich. Denn die zu extrahierenden Daten stehen irgendwo zwischen HTML typischen Bezeichnungen, in so genannten Tags.
Ein einfaches Beispiel:

Code: Alles auswählen

<title>LibreOfficeForum.de - Das LibreOffice Forum</title>
 

<title> und </title> sind typische Tags. Man kann auch danach recht einfach suchen, da keine doppelten Anführungszeichen " vorkommen. Denn so bald die ins Spiel kommen muss man sehr genau aufpassen wie man den Suchtext eingibt. Und ein Text wird in StarBasic IMMER zwischen zwei doppelten Anführungszeichen eingegeben. Doch dazu komme ich gleich noch.

Wie gesagt, ein ganz einfaches Beispiel.

Aber bei deinen gewünschten Infos sieht das schon anders aus.
Für die Partien sieht das beispielsweise so aus:

Code: Alles auswählen

<meta itemprop="name" content="Hamburger SV - Borussia M'gladbach"></meta>
 

Jetzt heißt es die Namen rauszufischen, so das man nur noch:
Hamburger SV - Borussia M'gladbach
übrig behält.
Und das raussuchen geschieht mittels FindPartString. Dies ist keine typische StarBasic Anweisung, sondern sie gehört zu den mitgelieferten Tools.

Wenn man also beispielsweise nur den Titel dieser Seite rausfischen möchte, dann würde FindPartString wie folgt aussehen.

Code: Alles auswählen

FindPartString(sLine, "<title>", "</title>", 1)
 

Der erste Parameter sLine beinhaltet eine Zeile aus dem Quelltext.
Der zweite Parameter "<title>" ist der zu suchende Anfang, und der dritte Parameter "</title>" ist das zu suchende Ende. Und alles was da zwischen gefunden wird, soll ausgegeben werden.
Der vierte Parameter die 1 gibt an ab welcher Stelle der Inhalt von sLine untersucht werden soll um den zweiten Parameter zu finden.

Wie schon gesagt, jeder Text, oder anders ausgedrückt String, wird immer zwischen den doppelten Anführungszeichen "_" gesetzt. Und wenn ein Text ein doppeltes Anführungszeichen enthält, so muss dieses auch dementsprechend in doppelte Anführungszeichen gesetzt werden. Es kommt lediglich darauf an wo dieses einzelne doppelte Anführungszeichen steht. Und das ist eine wirklich ernst zu nehmende Gefahrenquelle, worauf man besonders achten muss. Wenn Du in den Makroeditor einfach eingibst

Code: Alles auswählen

"<title>"
 

so wird das alles in Rot dargestellt. Das bedeutet; StarBasic hat das eindeutig als String identifiziert. Jezt setze mal davor oder dahinter noch ein doppeltes Anführungszeichen und schau wie sich die Farbe ändert. Da ist dann die eindeutigkeit auf einmal nicht mehr gegeben.

Um auf die Beispielzeile mit der Partie

Code: Alles auswählen

<meta itemprop="name" content="Hamburger SV - Borussia M'gladbach"></meta>
 

zurück zukommen, siehst Du nun die ganzen Anführungszeichen in einem ganz anderen Licht.
Also muss man sich jetzt etwas einfallen lassen um nur an die Partie ranzukommen. Und vor allem extrem wichtig, die Suchparameter müssen absolut einmalig und eindeutig sein. Sie dürfen im Quelltext nicht noch anders belegt sein. Also den Quelltext sehr genau untersuchen lassen. Und das kann manchmal schon recht frustrierend sein.

Wir gehen jetzt aber davon aus das die Suchparameter eindeutig sind, und machen weiter.

Man kann die doppelten Anführungszeichen entweder in weitere doppelte Anführungszeichen setzen, also Maskieren, oder man arbeitet mit der Methode das nicht das Doppelte Anführungszeichen eingetppt wird sondern der Zeichencode dafür genommen wird, der da lautet CHR(34). Nun, ich persönlich hatte mich für die erste Variante entschieden, und dadurch sieht jetz FindPartString wie folgt aus.

Code: Alles auswählen

FindPartString(sLine, "name"" content=""" , """", 1)
 

Noch mal zur Verdeutlichung wie die Suchparameter aussehen, aber jetzt ohne die zuätzlich nötigen Anführungszeichen.
Der erste Parameter: name" content="
Der zweite: "
Und damit bekommen wir die beiden Mannschaften ausgegeben.

Das gleiche Prinzip habe ich auch für die Quoten angewendet, da geht es dann allerdings um "result_pk=".


Ich persönlich arbeite sehr gerne mit For...Next. Aber es gibt auch noch eine andere Methode die While...Wend, und mit der werde ich persönlich noch nicht so richtig warm. Und ausgerechnet diese While...Wend wird aber angewendet um Daten zu extrahieren, was mir sehr starke Kopfschmerzen bereitete und sehr viel experementieren und Zeitverlust bedeutete. Aber nun gut, ich hatte mein Ziel dennoch erreicht.


Jetzt war mir heute noch etwas aufgefallen, was mich um Stunden zurückgeworfen hatte. Hätte ich das gleich gewusst, wäre ich mit der Datei viel weiter.

Ich sagte ja schon das ich mit OOo 3.2.1 arbeite. Und normalerweise fahre ich auch damit ganz gut. Nur in diesem speziellen Falle war das nicht so sonderlich gut, da ich feststellen musste, das ich per Makro wohl sehr viele Internetseiten downloaden kann, aber deine Seite wollte überhaupt nicht. Andauernd Fehlermeldungen das die Datei nicht gefunden werden konnte. Aber als ich die Datei in LO 4.2.1.1 ausführte gab es keine Probleme mit dem download. Der Grund ist eigentlich relativ simpel, wenn man ihn verstanden hat. Es hängt nur an einem einzigen Buchstaben.
Beispiel:
http://www.libreoffice-forum.de
Damit hat OOo 3.2.1 kein Problem.
https://www.tipico.com/de/online-sportw ... all/g1101/
Und drei mal darfst Du raten warum OOo damit Probleme hat.

1. ------
2. ------
3. ------



Es ist das s in https. Es ist ein anderes Protokoll welches die uralt OOo-Version noch nicht unterstüzt, oder zumindest nicht voll unterstüzt. Da ich aber auch noch andere Freie Office besitze (AOO und LO), ist das ganze nicht so sehr dramatisch.


Als wenn ich nicht schon genug Probleme mit der Datei hatte, so gesellte sich nun noch ein weiteres hinzu.

Im ersten alfa-Stadium der Datei hatte ich festgestellt, das insgesamt 18 Partien auf der Internetseite angezeigt wurden. Eigentlich keine besonders große Sache. Das Dumme ist nur, das bei den Quoten bei der letzt angezeigten Partie etwas nicht stimmte. Also hatte ich einen kleinen Pausebefehl (wait 500) eingesetzt, und schon sah ich das Malheur. Es wurden nicht drei Quoten ausgegeben, sondern ein vielfaches. Durch den Pausenbefehl sah ich wie die 3 zugeordneten Zellen immer wieder durch andere Werte überschrieben wurden.

Also hatte ich einen einfachen kleinen Trick angewendet damit dies nicht mehr vorkommt. Doch leider musste ich nun jetzt feststellen das nicht immer 18 Partien angezeigt werden. Soll heißen, wenn Samstags einige Spiele zu ende sind, dann werden sie anschließend nicht mehr aufgeführt. Und so reduziert sich die Anzahl der Spiele auf z.B. 11. Das Dumme daran ist nun, das mein simpler Trick nicht mehr funktionierte. Okay, ich hätte meinen Trick einfach dementsprechend abändern können. Aber das wäre keine elegante Lösung, da ja am nächsten Wochenende wieder die volle Anzahl an Spielen abzuarbeiten wäre.

Ich musste mir also etwas überlegen wie ich das Problem in den Griff bekomme. Doch dazu musste ich wieder einmal mir den Quelltext vornehmen und schauen wie und wo das Problem überhaupt entsteht. Und nach reichlichen experementierstunden später sah ich das Problem.

Ich sagte ja eben schon, das ich für die Quoten nach "result_pk=" suche. Aber die überflüssigen, oder zu vielen Quoten, werden auch damit ausgegeben. Und nach längerem hin und her im Quelltext sah ich eine Möglichkeit.
Für die Spiele werden die Quoten wie folgt eingeleitet.

Code: Alles auswählen

<div class="qbut  qbut-17257354610 " onclick="javascript:resultButtonClick(17257354610,'WEB_SELECTION_STANDARD',  false, 'Soccer')"
 

Und für die überflüssigen.

Code: Alles auswählen

<div class="qbut  qbut-17184305810 " onclick="javascript:resultButtonClick(17184305810,'WEB_SECTION_HIGHLIGHTS',  false, 'Soccer')"
 

Das einzige was die beiden Unterscheidet, was sich auswerten lässt, ist das für die überflüssigen "WEB_SECTION_HIGHLIGHTS". Die Spiele haben "WEB_SELECTION_STANDARD".
Mag durchaus sein das ich auch etwas anderes gefunden hätte zum unterscheiden, aber ich war ja schon mal heilfroh das ich überhaupt etwas gefunden hatte.

Da ich nun einen "Identifizierer" hatte, musste ich wiederum FindPartString bemühen. Und diesmal siehts so aus.

Code: Alles auswählen

FindPartString(sLine, "'" , "&#039", 1)
 

Jetzt muss nur noch eine Abfrage eingebaut werden damit der "Identifizierer" zum tragen kommt.

Code: Alles auswählen

Str3 = FindPartString(sLine, "'" , "&#039", 1)

[...]

if Str3 = "WEB_SECTION_HIGHLIGHTS" THEN

Und schon ist ein Problem wieder weniger.

Obwohl die Identifizierung der Quoten eindeutig waren, kam es dennoch zu einer unvorhergesehenen Komplikation. Also muss man sich etwas einfallen lassen wie man die Komplikation mit igendetwas so kombiniert, das man sie umgehen kann.

Wie Du siehst musste ich so manche Hürden nehmen, die nicht immer ganz so einfach waren.


Ich habe jetzt öfters von Datei downloaden geredet, aber nicht gesagt wie das geht.
Nun, das geht eigentlich ganz einfach. Das Zauberwort heißt:
Filecopy
In der Online-Hilfer steht etwas dazu.


Und nun noch etwas zur Datei selbst.
Bei einem klick auf den Button *Quoten extrahieren* erscheint ein paar Zeilen tiefer der Hinweistext *Bitte warten*. Und nach ein paar Sekunden wird automatisch auf das Tabellenblatt *Quoten* gewechselt und ein Hinweis ausgegeben und die Daten stehen fertig eingetragen in dem Tabellenblatt.

Während Du kurz warten musst, wird unterschieden ob ein Win- oder Linux System vorliegt. Und dementsprechend wird die zu downloadenden Datei an unterschiedliche Orte gespeichert.
Bei Win geht sie in das Benutzerprofiel des Users, und bei Linux in das Home-Verzeichnis des Users.

Nun wird die Web-Seite gedownloaded. Aber sie wird nicht so gedownloaded als wenn Du im Browser "->Datei ->Seite speichern unter" wählst, denn da werden noch weitere Unterordner und sonstiges mit gedownloaded. Durch FileCopy wird quasi nur die reine HTML gespeichert.

Anschließend wird per Makro auf die Lokal gespeicherte Datei zugegriffen und die Daten extrahiert.


Mal schaun wann und wie ich das noch einbauen kann, das die Daten direkt extrahiert werden können, also ohne Umweg über Datei downloaden. Irgendwie reizt mich das noch, auch wenn ich weiß das dies nicht einfach wird.

Bis dahin wünsche ich dir erstmal viel Spaß mit der Datei, und hoffentlich gibts bei dir kein Probleme mit ihr.



Gruß
balu

[Wirman]

Krass, es funktioniert!
Vielen lieben Dank für deine Mühe und Arbeit die du da reingesteckt hast, und für die perfekte Erklärung des Makros! ich hoffe dir nützt das auch was

viele Grüße
Wirman

[karolus]

Hallo

@Balu: Danke das du diese Webseite so geduldig weichgekocht hast.. mit deiner Vorarbeit komm ich dabei raus:

Code: Alles auswählen

import requests
from bs4 import BeautifulSoup as bs


def related_button_strings(entry):
    for _ in range(8):
        entry = getattr(entry, 'nextSibling')
    entry = list(entry.children)[1]
    entry = tuple(entry.children)
    for elem in entry[1:-1:2]:
        yield getattr(elem, 'string')


def get_contents(entry, props):
    row = []
    for prop in props:
        dt = entry.find(attrs={"itemprop":prop})['content']
        if prop == "startDate":
            row.extend(dt.split('+')[0].split('T'))
        else:
            row.append(dt)
    row.extend(list(related_button_strings(entry)))
    return row

def main():
    
    website = requests.get("https://www.tipico.com/de/"
                           "online-sportwetten/fussball/"
                           "deutschland/1-bundesliga/g42301/")

    soup = bs(website.content,"html.parser")

    ligatabelle = soup.find_all(attrs={"itemscope":"",
                                       "itemtype": "http://schema.org/SportsEvent"})

    props = ("name", "startDate")

    out = []
    for entry in ligatabelle:
        out.append(tuple(get_contents(entry, props)))
        
    doc = XSCRIPTCONTEXT.getDocument()
    sheet = doc.CurrentSelection.Spreadsheet
    
    outrange= sheet.getCellRangeByPosition(0,
                                           1,
                                           len(out[0])-1,
                                           len(out)
                                          )
    outrange.setDataArray(tuple(out))

das benötigt ~0,5sec

Karolus

[balu]

Hallo!

@Wirman

Krass, es funktioniert!
Vielen lieben Dank für deine Mühe und Arbeit die du da reingesteckt hast, und für die perfekte Erklärung des Makros!

Dasnker für deine lobende Worte, so etwas höre ich doch sehr gerne.

ich hoffe dir nützt das auch was

Da ich ja mit dem Seiten-Rippen noch nicht so viel Erfahrungen gemacht habe, habe ich selber dadurch einiges gelernt. Und wenn meine Erklärung anderen mal behilflich ist, dann bin ich noch zusätzlich froh darüber.



@Karolus

Danke das du diese Webseite so geduldig weichgekocht hast..

Solche Worte aus deinem Munde bedeuten mir sehr viel. Danke dafür.

mit deiner Vorarbeit komm ich dabei raus:

[...]

das benötigt ~0,5sec

Das Du jetzt natürlich mit Python um die Ecke kommst, ist schon klar. Und ich habe ja auch nix dagegen. Aber gal ob Schlange oder Basic, eins würde mich jetzt persönlich doch mal interessieren.

Du arbeitest da ein Punkt ab den ich wohl auch gesehen habe, aber mt dem ich nicht wirklich was anfangen konte. Mir geht es um:

Code: Alles auswählen

"http://schema.org/SportsEvent"
 

Greifst Du darauf zu weil 'nur' die Schlange die Möglichkeit von

Code: Alles auswählen

bs(website.content,"html.parser")
 

bietet, dies aber mit StarBasic nicht, oder nur mit extremen Verenkungen möglich ist?

Und nein, ich habe deinen Code noch nicht ausprobiert. Ich werde das aber die Tage mal versuchen, weiß nur noch nicht wann.



Gruß
balu

[karolus]

Hallo

Es geht um die drei (logischen) Zeilen:

Code: Alles auswählen

    
    website = requests.get("https://www.tipico.com/de/"
                           "online-sportwetten/fussball/"
                           "deutschland/1-bundesliga/g42301/")

    soup = bs(website.content,"html.parser")

    ligatabelle = soup.find_all(attrs={"itemscope":"",
                                       "itemtype": "http://schema.org/SportsEvent"})
 

Die erste Zeile ruft die Webseite ab, der Inhalt steckt danach in `website.content`

Die zweite zerlegt das in eine Gesamtstruktur der Seite, und die dritte findet dann die Elemente mit den passenden Eigenschaften.
Insbesonder nummer Drei musste ich mir ich mir dann auch entwickeln über den Quelltext der Seite und mit Hilfe der Dokumentation von Beautifulsoup Das schwierigste waren dann die zugehörigen Quoten??, die stecken komischerweise in Schwester-knoten ziemlich weit weg, daher die grausame `def related_button_strings(entry):` weiter oben.

requests und bs4 aka beautifulsoup4 sind nicht in einer normal python installation dabei, - die müsstest du vorher installieren, z.B. per:

>> pip install requests beautifulsoup4 --user

[balu]

Hallo Karolus,

ich entnehme deiner Antwort, das Du wohl ein paar Graue Haare bekommen hast. Es liest sich wirklich so das Du auch ganz schön zu Kämpfen hattest.

Das schwierigste waren dann die zugehörigen Quoten??, die stecken komischerweise in Schwester-knoten ziemlich weit weg, daher die grausame `def related_button_strings(entry):` weiter oben.

Na ja, ich habe keine Ahnung was "grausam" oder "schön" bei der Schlange ist, aber es gibt Seiten die hat man ruck-zuck durchforstet und schon hat man die Informationen die man braucht um bestimmte Daten rauszufischen. Aber bei der hier betroffenen Seite war das ja nicht ganz so einfach, wie aus meiner langen Erklärung ersichtlich ist wegen der eindeutigen Zuordnung von z.B. "result_pk=".


[OT-On]
Nicht das ich was illegales mache, aber es gibt ja z.B. Versandhäuser die einem die Möglichkeit bieten einen extern erstellten Warenkorb zu erstellen und diesen dann als Bestellung zu importieren. Und dieser importierte Warenkorb braucht nur sehr wenige Infos, wie z.B. die Artikel-Nr. (Bestell-Nr.) und die Stückzahl. Das hat natürlich den Vorteil, das man ganz in Ruhe, ohne auf der dementsprechenden Seite eingelogt sein zu müssen, sich alles zusammen sucht und wenn ein Produkt gefunden wurde einfach die Adresse der Produktseite kopieren und dann in Calc die wichtigsten Informationen ausgeben lassen. Dann in Ruhe überlegen wieviele Stück man braucht und was das dann kostet. Und so nebenbei auch noch auf das Gewicht achten (Nein! Nicht das persönliche!). Danach den Warenkorb erstellen und ihn dann hinterher beim Versandhaus importien, und fertig. Das hat schon so einige Vorteile.
[OT-Off]


Noch mal kurz etwas zu das hier:

das benötigt ~0,5sec

Bei mir dauert das auch nicht so sehr lange, aber schon länger als mit deiner Methode. Aber was nützt einem dass, wenn das ganze auch vom Server abhängig ist? Es gibt welche die sind sehr rasant, und andere haben da irgendwie eine Bremse eingebaut. Und ich glaube das es dann auch nicht mehr so sehr darauf ankommt ob man mit Python oder StarBasic arbeitet.


So, nun will ich das eben erwähnte Warenkorb-System für mich noch ein wenig optimieren. Ich will in den nächsten Tagen etwas Geld ausgeben.



Gruß
balu

[fuerudo]

von balu » Sa 13. Feb 2016, 14:07 ... Aber es gäbe da noch die Möglichkeit die Seite lokal zu speichern und dann auf diese lokale Datei zuzugreifen, ...

Also ich würde bei derartigem Unterfangen immer empfehlen mit lokal gespeicherten Daten zu arbeiten!
"Im Eifer des Gefechts" kann man sich praktisch nie wirklich sicher sein, das eine Web-Seite nur statische Elemente enthält!
Natürlich gibt es Sonderfälle die ein anderes Vorgehen sinnvoll machen.
Auf die kann man aber eingehen wenn die Lösung mit lokalen Dateien, und somit unveränderlichen Inhalten, zuverlässig funktioniert!

Gruß,
Udo