last day (15 days later) » 

8:23 PM
0
A: Write RegEx to txt file

JanSlightly adjusted: import glob import os import re def extractor(): # you only need it once, dont' you? extract = re.compile(r'RegEx', re.I | re.S) os.chdir(r"F:\Test") for file in glob.iglob("*.html"): # iterates over all files in the directory ending in .html with open(f...

 
thanks for your help. Unfortunately pycharm still gives me an error message: TypeError: write() argument must be str, not tuple. I updated my code, you can see my RegEx, but it should be fine...
 
Jan
@FlorianSchramm: Mal kurz auf deutsch: erstens sieht mir das sehr nach HTML aus, evtl. ist ein parser (z. B. BeautifulSoup) eher, was du eigentlich suchst. Solltest du bei dem regex-Ansatz bleiben wollen, verlink mal einen Beispieltext, der gematcht werden soll.
 
wie kommt man denn in den Chatraum? Dann kann ich dir mal ganz kurz schildern was mein Problem ist ohne hier den Rahmen mit Kommentaren zu sprengen
was war das denn gerade?
 
Jan
@FlorianSchramm: Das geht automatisch - einfach ein bisschen ping pong mit den Kommentaren hin und her, dann kommt das automatisch.
 
Na dann. Ab gehts
 
Jan
8:23 PM
@FlorianSchramm: In der Tat scheint das der einzige Weg zu sein, damit das irgendwann auftaucht - spammen.
 
Perfekt
 
Jan
na, es geht doch :)
Wir löschen die Kommentare einfach gleich wieder.
 
:D top sache!
 
Jan
Also schieß los.
 
Alright. Kann ein bisschen ausführlicher werden also mom ;)
 
Jan
8:25 PM
ok
 
Ich hab bei mir auf der Festplatte um die 3000 iXBRL Reports liegen die in HTML formatiert sind.
Ich würde gerne aus diesen Reports einen gewissen Paragraphen extrahieren und für jedes File über das ich iteriere eine txt file erzeugen das nur den paragprahen enthält den meine RegEx matcht. Bisher bin ich aber nur soweit dass ich den paragraphen zwar herausbekomme aber die ganze HTML/Inline formatierung noch mit drinnen hängt... Ich hab zwar schon mit BS4/lxml geabreitet aber nur um einzelne tags rauszuziehen und nicht ganze textsektionen....
Beispiele wäre: dropbox.com/sh/8rqbfn1wlbl3f3h/AABuh1ty0l1YzZMDdSei9EiSa?dl=‌​0
 
Jan
moment, ich schau es mir mal an
 
Mal von dem Thema mit dem Type Error und dem re modul ganz abgesehen....was mich gerade zum verzweifeln bringt....
 
Jan
was genau willst du z. B. aus der Datei haben?
 
Das was ich haben möchte ist im dropbox ordner in der txt datei
das, nur eben ohne HTML/inline formatierung
keine ahnung ob man das mit BS4 machen kann?
 
Jan
8:30 PM
also von deinem regex ausdruck zu schließen: We have audited the accounts of Universal Project Limited for the year ended 31 March 2014 which comprise the Profit and Loss Account, the Balance Sheet, the Cash Flow Statement and the related notes. The financial reporting framework that has been applied in their preparation is applicable law and United Kingdom Accounting Standards (United Kingdom Generally Accepted Accounting Practice).
stimmt das?
 
genau und dann eben bis runter zu "Senior statutory auditor" als Endtag
 
Jan
moment
 
nur halt ohne diesen ganzen formatierungmüll
 
Jan
also nur den text?
 
genau, nur den text
in RapidMiner geht das relativ einfach aber da bekomme ich dann meine ergebnisse nicht in eine seperate txt geschrieben...
 
Jan
8:33 PM
gib mir mal fünf min
bis gleich
 
alright
 
Jan
8:50 PM
ok, einen teilerfolg
aber vielleicht bringt der dich weiter
moment
 
Noch kurz zu meiner ursprünglichen Frage auf SO: Funktioniert bei dir der Code so wie du ihn als Antwort eingestellt hast? Bei mir meckert er immer herum dass ich den falschen type habe wenn es darum geht das RegEx Objekt als String in meine txt datei zu schreiben?!
 
Jan
na ja, ich nehme python3 und hatte dein html vorher nicht
es müsste aber funktionieren
 
das bringt mich echt noch zum verzeifeln mit dieser RegEx.... v.a. komme ich nicht drauf wo der fehler liegt...
 
Jan
die idee ist nach einer td zu suchen, deren text mit "We" anfängt
danach holt er sich die tabelle in den parents und gibt jede einzelne zelle aus, die er in dieser tabelle finden kann
der text ist von allen tags usw befreit - schwebte dir sowas vor?
 
9:10 PM
Genau das ist das Ergebnis das ich brauche. Ich kann also in der td auch bsp den anfang meiner RegEx komplett eingeben ((We|I)(</span>)?[^h]*have (audited|examined)) um ganz sicher auch nur das zu bekommen was ich möchte? Allerdings müsste der text bei Senior Staturoty Auditor enden. Kann ich dazu einfach meine gesamte RegEx einfügen die ich hatte?
Problem ist dass diese iXBRL reports sehr uneinheitlich sind, also nicht so schön strukturiert wie normale HTML.... Deshalb war die flexibilität einer RegEx ganz praktisch
 
Jan
du kannst anstatt ^We natürlich was anderes einfügen, allerdings keine Tags wie (/span), etc.
da es sich auf den text bezieht.
ich würde mal empfehlen, sich ein wenig in beautifulsoup einzuarbeiten und eher nicht zu versuchen, informationen aus html/xml dateien mithilfe von regulären ausdrücken zu ziehen
ein parser behandelt viele ausnahmen, die man mithilfe von regex nicht abbilden kann.
ok, ich muss langsam schluss machen. hoffe, das hat ein wenig geholfen
 
Ok alles klar. Wie gesagt ich hatte mit BS4 schon mal gearbeitet aber halt nur um einzelne Tags herauszubekommen und keine ganzen Textpassagen. Wusste eben nicht ob das damit überhaupt möglich ist
Besten Dank dir! Solltest du noch einen geistesblitz wegen meinen RegEx Object haben das ich nicht in meine txt schreiben kann, lass es mich wissen ;)
 
Jan
auf stackoverflow gibt es unheimlich viele fragen zu bs4
mach ich
allerdings keine geistesblitze mehr heute abend :)
 
werde mich mal mit BS4 etwas mehr auseinander setzen!
:D kein thema, ich segne jetzt auch das zeitliche für heute
Danke nochmal. und hab die ehre wie der bayer sagen würde :)
 

last day (15 days later) »