1,720,987 research outputs found
Introducing Twin Corpora of Decisions for the International Court of Justice (ICJ) and the Permanent Court of International Justice (PCIJ)
Full text linkAbstract
In this article I present the first two of a new series of open and high-quality international legal data sets: comprehensive, fully reproducible, human- and machine-readable open access collections covering one hundred years of case law of the primary judicial organs of the United Nations and the League of Nations: the Corpus of Decisions: International Court of Justice (CD-ICJ) and the Corpus of Decisions: Permanent Court of International Justice (CD-PCIJ).
Each corpus is designed to capture in its entirety the published case law of its eponymous Court, including majority opinions (judgments, advisory opinions and orders), but also the minority opinions annexed to each decision (declarations, separate opinions and dissenting opinions). The corpora are enriched with useful metadata to enhance text-as-data research and enable stand-alone metadata analyses. While each corpus can stand on its own, the twin corpora are designed to be perfectly interoperable for the purposes of analyses that wish to treat the ICJ and PCIJ as a continuous entity.
The most recent versions of the corpora will always be available open access at https://doi.org/10.5281/zenodo.3826444 (CD-ICJ) and https://doi.org/10.5281/zenodo.3840479 (CD-PCIJ).
Academic Publications (Fobbe)
Website — www.seanfobbe.com
Open Data — zenodo.org/communities/sean-fobbe-data
Code Repository — zenodo.org/communities/sean-fobbe-code
Regular Publications — zenodo.org/communities/sean-fobbe-publication
Source Code und Analyse-Ergebnisse für "Sind zwanzig Jahre zuviel? Die Dauer von Verfahren vor dem Bundesverfassungsgericht"
No full textÜberblick
Dieses Skript in der Programmiersprache R ist die Grundlage für den Beitrag "Sind zwanzig Jahre zuviel? Die Dauer von Verfahren vor dem Bundesverfassungsgericht" (RECHTS|EMPIRIE 2022). Es lädt automatisch den Corpus der Entscheidungen des Bundesverfassungsgerichts (CE-BVerfG) in der Version 2022-08-24 herunter und führt alle im Artikel beschriebenen Berechnungen durch. Alle Ergebnisse werden im Ordner "output/" abgelegt. Erstellt wird auch ein Compilaton Report, der alle Ergebnisse in einem gut lesbaren PDF-Layout abspeichert.
Wenn Sie sich für die Details der Berechnung interessieren, lesen Sie bitte zuerst den Compilation Report.
Systemanforderungen
Das Skript sollte auf allen Plattformen ausführbar sein, wurde aber nur unter Debian Linux getestet.
Auf der Festplatte sollten 2 GB Speicherplatz vorhanden sein.
Anleitung
Source Code in leeren Ordner kopieren
Programmiersprache R installieren
renv installieren
renv::restore() # in R-Konsole ausführen, installiert benötigte R packages
LaTeX installieren, z.B. via tinytex
source("run_project.R") # in R-Konsole, führt alle Berechnungen durch
Alle Ergebnisse sind nun im Ordner output/ abgelegt
Urheberrecht
Der Source Code, der Compilation Report und alle von mir bereitgestellten Diagramme stehen unter einer CC-BY 4.0 International-Lizenz.
Weitere Open Access Veröffentlichungen (Fobbe)
Website — www.seanfobbe.de
Open Data — https://zenodo.org/communities/sean-fobbe-data/
Source Code — https://zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen — https://zenodo.org/communities/sean-fobbe-publications
Stoppwörter der Deutschen Rechtssprache (SW-DE-RS)
No full textÜberblick
Die Stoppwörter der Deutschen Rechtssprache (SW-DE-RS) sind eine wissenschaftliche Sammlung von in der Rechtssprache der Bundesrepublik Deutschland gebräuchlichen Stoppwörtern. Frei nach Hans Peter Luhn verstehe ich Stoppwörter als hochfrequente Wörter, die in der Regel keinen Rückschluss auf den Inhalt eines Dokumentes zulassen und in der Regel nur grammatikalische oder syntaktische Bedeutung haben. Die bestimmten Artikel »der«, »die« und »das« sind klassische Stoppwörter der Allgemeinsprache.
In der quantitativen Analyse von Texten (»Natural Language Processing«) werden diese in nicht wenigen Anwendungsfällen entfernt um Analysen zu beschleunigen und die Qualität der Ergebnisse zu verbessern. Viele Softwarelösungen enthalten integrierte Listen von in der Allgemeinsprache üblichen Stoppwörtern. Die juristische Fachsprache weist jedoch viele semantische Besonderheiten und einen ganz eigenen und altertümlichen Sprachstil auf, welcher eine spezialisierte Liste von Stoppwörtern erforderlich macht. Dieser Datensatz ist als Ergänzung zu allgemeinsprachlichen Listen gedacht und sollte mit diesen kombiniert werden.
Bitte beachten Sie das beiliegende Codebook! Es enthält wichtige Informationen zur korrekten Nutzung des Datensatzes.
Aktualisierung
Die Stoppwörter der Deutschen Rechtssprache (SW-DE-RS) werden ständig weiterentwickelt. Updates werden in unregelmäßigen Abständen auf Zenodo bereitgestellt. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Mastodon unter @[email protected]
Entwicklung
Die SW-DE-RS wurden auf Basis der häufigsten Wörter (N=500) in Entscheidungen des Bundesverfassungsgerichts, des Bundesgerichtshofs und des Bundesverwaltungsgerichts der Bundesrepublik Deutschland (Jahre 1998 bis 2020) entwickelt. Jedes Wort wurde auf seine Rolle in der juristischen Fachsprache geprüft.
Der Umfang der SW-DE-RS ist konservativ gehalten um nicht zuviele Wörter zu entfernen. Die Liste ist nach Variablen in Sub-Listen geteilt um sie leichter für eigene Forschungsprojekte individualisieren zu können. Sie ist in einer CSV-Datei gespeichert und enthält eine Header-Zeile mit den Variablen-Namen.
Tip zur Nutzung
Neben der Nutzung lokaler Dateien bieten einige Programmiersprachen auch die Möglichkeit CSV-Dateien aus Online-Quellen direkt einzulesen, ohne sie erst lokal abspeichern zu müssen. Die Links zu Dateien auf Zenodo eignen sich dafür besonders, weil sie langzeit-stabil und mit der Versions-DOI verknüpft sind. Das ist insbesondere dann hilfreich, wenn Sie ihre Skripte mit anderen Personen teilen wollen ohne Daten beizulegen oder wenn Sie die Replikationsfähigkeit ihres Codes in veröffentlichten Analysen erhöhen wollen.
Ein Beispiel für die Nutzung mit R:
stoppwoerterJura <- read.csv("https://zenodo.org/record/3995594/files/SW-DE-RS_v1-0-0_Datensatz.csv?download=1")
Kein Urheberrecht: Public Domain
An den Entscheidungstexten und amtlichen Leitsätzen besteht gem. § 5 Abs. 1 UrhG kein Urheberrecht, da sie amtliche Werke sind. § 5 UrhG ist auf amtliche Datenbanken analog anzuwenden (BGH, Beschluss vom 28.09.2006 - I ZR 261/03, "Sächsischer Ausschreibungsdienst"). Alle eigenen Beiträge (z.B. durch Zusammenstellung und Anpassung der Metadaten) und damit den gesamten Datensatz stelle ich gemäß einer CC0 1.0 Universal Public Domain License vollständig urheberrechtsfrei.
Weitere Open Access Veröffentlichungen (Fobbe)
Website — www.seanfobbe.de
Open Data — zenodo.org/communities/sean-fobbe-data/
Source Code — zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen — zenodo.org/communities/sean-fobbe-publications/
Kontakt
Fehler gefunden? Anregungen? Melden Sie diese entweder im Issue Tracker auf GitHub oder schreiben Sie mir eine E-Mail an [email protected]
Corpus der Entscheidungen des Bundesgerichtshofs (CE-BGH)
No full textÜberblick
Das Corpus der Entscheidungen des Bundesgerichtshofs (CE-BGH) ist der bislang größte, frei verfügbare Datensatz von Entscheidungen des Bundesgerichtshofs. Er ist eine Zusammenstellung aller Entscheidungen die auf der offiziellen Webseite des Bundesgerichtshofs (www.bundesgerichtshof.de) am jeweiligen Stichtag veröffentlicht waren.
Bitte beachten Sie das beiliegende Codebook! Es enthält wichtige Informationen zur korrekten Nutzung des Datensatzes. Ich stelle zudem statistische Zusammenfassungen des Inhalts aufgeschlüsselt nach Spruchkörper, Jahr und Registerzeichen als CSV zur Verfügung.
Aktualisierung
Dieser Datensatz wird ca. alle 6 Monate aktualisiert. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Twitter unter @FobbeSean.
Highlights
Die Stärken dieses Datensatzes sind die fortlaufende Aktualisierung, Urheberrechtsfreiheit und die sowohl für traditionelle Rechtsanwender als auch für Legal Tech-Anwendungen geeigneten Formate (PDF, TXT, CSV).
Eckdaten
Stichtag: 9. Juli 2020
Inhaltlicher Umfang: 62.862 Entscheidungen (Version 2020-07-09)
Zeitlicher Umfang: 2000 bis 2020 (Version 2020-07-09)
Formate: PDF, TXT und CSV
Metadaten
Die Metadaten in den Dateinamen wurden aus der amtlichen Datenbank des Bundesgerichtshofs übernommen. Es gibt wichtige Besonderheiten bei der Codierung. Lesen Sie hierzu bitte das Codebook.
Die Dateinamen enthalten Gerichtsname, Angabe des Spruchkörpers aus der Datenbank, Datum (nach ISO-8601, d.h. YYYY-MM-DD) und das offizielle Aktenzeichen. Sie sind in folgendem Schema gehalten:
Schema: [Gericht]_[SpruchkoerperDB]_[Datum des Urteils]_[SpruchkoerperAZ]_ [Registerzeichen]_[Ordinalzahl]_[Jahr des Eingangs]
Beispiel: BGH_Kartellsenat_2012-01-31_NA_EnVR_11_10
Kein Urheberrecht: Public Domain
An den Entscheidungstexten und amtlichen Leitsätzen besteht gem. § 5 Abs. 1 UrhG kein Urheberrecht, da sie amtliche Werke sind. § 5 UrhG ist auf amtliche Datenbanken analog anzuwenden (BGH, Beschluss vom 28.09.2006 - I ZR 261/03, "Sächsischer Ausschreibungsdienst"). Alle eigenen Beiträge (z.B. durch Zusammenstellung und Anpassung der Metadaten) und damit den gesamten Datensatz stelle ich gemäß einer CC0 1.0 Universal Public Domain License vollständig urheberrechtsfrei.
Disclaimer
Dieser Datensatz ist eine private wissenschaftliche Initiative und steht weder mit dem Bundesgerichtshof noch mit den Herausgebern der BGHZ/BGHSt in Verbindung.
Weitere Open Access Veröffentlichungen (Fobbe)
Mehr Open Data finden Sie hier: https://zenodo.org/communities/sean-fobbe-data/
Mein Code Repository finden Sie hier: https://zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen sind hier hinterlegt: https://zenodo.org/communities/sean-fobbe-publications/
Kontakt
Fehler gefunden? Anregungen? Melden Sie diese entweder im Issue Tracker auf GitHub oder schreiben Sie mir eine E-Mail an [email protected]
[R] Source Code des Corpus der Entscheidungen des Bundesgerichtshofs (CE-BGH-Source)
No full textÜberblick
Dieses R-Skript lädt alle in der amtlichen Datenbank des Bundesgerichtshofs veröffentlichten Entscheidungen des Bundesgerichtshofs (BGH) herunter und kompiliert sie in einen reichhaltigen menschen- und maschinenlesbaren Korpus. Es ist die Basis für den Corpus der Entscheidungen des Bundesgerichtshofs (CE-BGH).
Alle mit diesem Skript erstellten Datensätze werden dauerhaft kostenlos und urheberrechtsfrei auf Zenodo, dem wissenschaftlichen Archiv des CERN, veröffentlicht. Jede Version ist mit ihrem eigenen, persistenten Digital Object Identifier (DOI) versehen. Die neueste Version des Datensatzes ist immer über den Link der Concept DOI erreichbar: https://doi.org/10.5281/zenodo.3942742
Aktualisierung
Diese Software wird ca. alle 6 Monate aktualisiert. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Twitter unter @FobbeSean.
Systemanforderungen
Das Skript in seiner veröffentlichten Form kann nur unter Linux ausgeführt werden, da es Linux-spezifische Optimierungen (z.B. Fork Cluster) und Shell-Kommandos (z.B. OpenSSL) nutzt. Das Skript wurde unter Fedora Linux entwickelt und getestet. Die zur Kompilierung benutzte Version entnehmen Sie bitte dem sessionInfo()-Ausdruck am Ende des Compilation Reports.
In der Standard-Einstellung wird das Skript vollautomatisch die maximale Anzahl an Rechenkernen/Threads auf dem System zu nutzen. Wenn die Anzahl Threads (Variable »fullCores«) auf 1 gesetzt wird, ist die Parallelisierung deaktiviert.
Auf der Festplatte sollten 20 GB Speicherplatz vorhanden sein.
Um die PDF-Berichte kompilieren zu können benötigen Sie das R package rmarkdown, eine vollständige Installation von LaTeX und alle in der Präambel-TEX-Datei angegebenen LaTeX Packages.
Kompilierung: Vorbemerkungen
Mit der Funktion render() von rmarkdown können der vollständige Datensatz und das Codebook kompiliert und die Skripte mitsamt ihrer Rechenergebnisse in ein gut lesbares PDF-Format überführt werden.
Alle Kommentare sind im roxygen2-Stil gehalten. Das Skript kann daher auch ohne render() regulär als R-Skript ausgeführt werden. Es wird in diesem Fall kein PDF-Bericht erstellt und Diagramme werden nicht abgespeichert.
Kompilierung: Datensatz
Um den vollständigen Datensatz zu kompilieren und einen PDF-Bericht zu erstellen, kopieren Sie bitte alle im Source-Archiv bereitgestellten Dateien in einen leeren Ordner und führen mit R diesen Befehl aus:
rmarkdown::render(input = "CE-BGH_Source_CorpusCreation.R",
output_file = paste0("CE-BGH_",
Sys.Date(),
"_CompilationReport.pdf"),
envir = new.env())
Kompilierung: Codebook
Um das Codebook zu kompilieren und einen PDF-Bericht zu erstellen, führen Sie bitte im Anschluss an die Kompilierung des Datensatzes (!) untenstehenden Befehl mit R aus.
Bei der Prüfung der GPG-Signatur wird ein Fehler auftreten und im Codebook dokumentiert, weil die Daten nicht mit meiner Original-Signatur versehen sind. Dieser Fehler hat jedoch keine Auswirkungen auf die Funktionalität und hindert die Kompilierung nicht.
rmarkdown::render(input = "CE-BGH_Source_CodebookCreation.R",
output_file = paste0("CE-BGH_",
Sys.Date(),
"_Codebook.pdf"),
envir = new.env())
Weitere Open Access Veröffentlichungen (Fobbe)
Website — www.seanfobbe.de
Open Data — https://zenodo.org/communities/sean-fobbe-data/
Source Code — https://zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen — https://zenodo.org/communities/sean-fobbe-publications/
Urheberrecht
Der Source Code und alle von mir bereitgestellten Rohdaten stehen unter einer MIT No Attribution (MIT-0)-Lizenz. Sie können sie frei für alle Zwecke nutzen.
Kontakt
Fehler gefunden? Anregungen? Schreiben Sie mir gerne eine E-Mail an [email protected]
[R] High-Performance Parallel Extraction of Text from PDF Documents
No full textOverview
This is a high-performance R script for extracting the text layer from an arbitrary number of PDF files in a folder via pdftools (https://docs.ropensci.org/pdftools/index.html - authored by Jeroen Ooms). The use of R and parallelization allows it to handle tens of millions of pages per hour when running on standard off-the-shelf hardware.
Functionality
PDF files are extracted to R Objects via pdftools and written to TXT files with write.table(). Each PDF file will be extracted to a TXT file of the same name, with only the file extension modified. Input PDF files will be preserved as they are. The package fs (by Jim Hester et al) is used for cleaning up the files into separate folders named "PDF_Original" and "TXT". The package doParallel (by Hong Ooi, Steve Weston and Dan Tenenbaum) is used for parallelization.
Performance Benchmark
The script was benchmarked against a corpus of 62,862 PDF documents (485,593 pages, 6.3 GB) on Fedora 31 and processed them in around 73 seconds during the sample run (16 threads, Ryzen 3700X, DDR 4 3200 RAM, Samsung Evo 850 SSD). The sample report documenting the run is part of this data set and can be downloaded below. This equates to approximately 6,652 pages per second and 24 million pages per hour. The benchmark corpus is available here: https://doi.org/10.5281/zenodo.3942743
Strict Reproducibility
Optional code to generate a high-quality HTML report adhering to standards of strict reproducibility is included. This requires the R package rmarkdown. All comments in the script are in roxygen2-style markup for use with spin() or render(). The script can be executed as an ordinary R script without any of the markdown and report generation elements.
System Requirements
The script as published will ONLY run on UNIX-like systems, due to its use of Fork clusters for speed. It has been tested under Fedora 31. You may be able to get it to run on Windows by replacing makeForkCluster() with makeCluster(), but this has not been tested.
Citation
Please cite this script when you use it. This not a legal obligation (see MIT-0), just a simple request which you are free to disregard for any reason at all. A possible citation could read:
Fobbe, Sean, High-Performance Parallel Extraction of Text from PDF Documents, Version 1.0.0, Zenodo, DOI: https://doi.org/10.5281/zenodo.4061840
Instructions
library(rmarkdown)
# This needs to be the exact location of the script
inputfile.extract <- "~/examplepath/pdf_extract_parallel_v1-0-0.R"
# This needs to be the folder in which the PDF files to be processed are located. You will end up with two sub-folders (one for PDF originals, one for extracted TXT files) and the final html report for reproducibility.
workpath.extract <- "/examplepath/"
# Run script and compile report
rmarkdown::render(input = inputfile.extract,
knit_root_dir = workpath.extract,
output_dir = workpath.extract,
output_file = paste0(Sys.Date(),
"_pdf_extract_parallel_v1-0-0_logfile.html"),
envir = new.env())
Open Access Publications (Fobbe)
Website — www.seanfobbe.com
Open Data — https://zenodo.org/communities/sean-fobbe-data/
Source Code — https://zenodo.org/communities/sean-fobbe-code/
Regular Publications — https://zenodo.org/communities/sean-fobbe-publications
[R] Source Code des Corpus der Drucksachen des Deutschen Bundestages (CDRS-BT-Source)
No full textÜberblick
Dieses R-Skript lädt die im XML-Format veröffentlichten Drucksachen des Deutschen Bundestags von dessen Open Data Portal herunter und verarbeitet sie in einen reichhaltigen menschen- und maschinenlesbaren Korpus. Es ist die Basis für den Corpus der Drucksachen des Deutschen Bundestages (CDRS-BT).
Alle mit diesem Skript erstellten Datensätze werden dauerhaft kostenlos und urheberrechtsfrei auf Zenodo, dem wissenschaftlichen Archiv des CERN, veröffentlicht. Jede Version ist mit ihrem eigenen, persistenten Digital Object Identifier (DOI) versehen. Die neueste Version des Datensatzes ist immer über diesen Link erreichbar: https://doi.org/10.5281/zenodo.4643065
Der CDRS-BT ist der Zwillings-Korpus des Corpus der Plenarprotokolle des Deutschen Bundestages (CPP-BT). Beide Korpora bauen auf der gleichen Datenstruktur auf, wurden nach den gleichen Prinzipien mit größtenteils identischem Code konstruiert und sind vollständig miteinander kompatibel. Durch die Verbindung beider Korpora können Sie Plenarprotokolle und Drucksachen — und damit alle Vorgänge des Bundestages — in einheitlichen Analysen untersuchen. Beachten Sie aber bitte, dass der CDRS-BT zusätzliche Variablen enthält, weil die Datengrundlage reichhaltiger ist.
Systemanforderungen
Das Skript in seiner veröffentlichten Form kann nur unter Linux ausgeführt werden, da es Linux-spezifische Optimierungen (z.B. Fork Cluster) und Shell-Kommandos (z.B. OpenSSL) nutzt. Das Skript wurde unter Fedora Linux entwickelt und getestet. Die zur Kompilierung benutzte Version entnehmen Sie bitte dem sessionInfo()-Ausdruck am Ende des Compilation Reports.
In der Standard-Einstellung wird das Skript vollautomatisch die maximale Anzahl an Rechenkernen/Threads auf dem System zu nutzen. Wenn die Anzahl Threads (Variable »fullCores«) auf 1 gesetzt wird, ist die Parallelisierung deaktiviert.
Auf der Festplatte sollten 20 GB Speicherplatz vorhanden sein. Eine schnelle CPU mit 8 Kernen und 64 GB Arbeitsspeicher (RAM) sind empfohlen.
Um die PDF-Berichte kompilieren zu können benötigen Sie das R package rmarkdown, eine vollständige Installation von LaTeX und alle in der Präambel-TEX-Datei angegebenen LaTeX Packages.
Kompilierung: Vorbemerkungen
Mit der Funktion render() von rmarkdown kann der vollständige Datensatz kompiliert und das Skript mitsamt seiner Rechenergebnisse in ein gut lesbares PDF-Format überführt werden.
Alle Kommentare sind im roxygen2-Stil gehalten. Das Skript kann daher auch ohne render() regulär als R-Skript ausgeführt werden. Es wird in diesem Fall kein PDF-Bericht erstellt und Diagramme werden nicht abgespeichert.
Kompilierung: Datensatz
Um den vollständigen Datensatz zu kompilieren und einen PDF-Bericht zu erstellen, kopieren Sie bitte alle im Source-Archiv bereitgestellten Dateien in einen leeren Ordner und führen mit R diesen Befehl aus:
rmarkdown::render(input = "CDRS-BT_Source_CorpusCreation.R",
output_file = paste0("CDRS-BT_",
Sys.Date(),
"_CompilationReport.pdf"),
envir = new.env())
Kompilierung: Codebook
Um das Codebook zu kompilieren und einen PDF-Bericht zu erstellen, führen Sie bitte im Anschluss an die Kompilierung des Datensatzes (!) untenstehenden Befehl mit R aus.
Bei der Prüfung der GPG-Signatur wird ein Fehler auftreten und im Codebook dokumentiert, weil die Daten nicht mit meiner Original-Signatur versehen sind. Dieser Fehler hat jedoch keine Auswirkungen auf die Funktionalität und hindert die Kompilierung nicht.
rmarkdown::render(input = "CDRS-BT_Source_CodebookCreation.R",
output_file = paste0("CPP-BT_",
Sys.Date(),
"_Codebook.pdf"),
envir = new.env())
Weitere Open Access Veröffentlichungen (Fobbe)
Website — www.seanfobbe.de
Open Data — https://zenodo.org/communities/sean-fobbe-data/
Source Code — https://zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen — https://zenodo.org/communities/sean-fobbe-publications/
Urheberrecht
Der Source Code und alle von mir bereitgestellten Rohdaten stehen unter einer MIT No Attribution (MIT-0)-Lizenz. Sie können sie frei für alle Zwecke nutzen.
Kontakt
Fehler gefunden? Anregungen? Schreiben Sie mir gerne eine E-Mail an [email protected]
Corpus der Entscheidungen des Bundesfinanzhofs (CE-BFH)
No full text<h3><strong>Überblick</strong></h3><p>Das <strong>Corpus der Entscheidungen des Bundesfinanzhofs (CE-BFH)</strong> ist eine möglichst vollständige Sammlung der vom Bundesfinanzhof (BFH) veröffentlichten Entscheidungen. Der Datensatz nutzt als seine Datenquelle die <a href="https://www.bundesfinanzhof.de/">amtliche Entscheidungsdatenbank des Bundesfinanzhofs</a> und wertet diese vollständig aus.</p><p><i>Bitte lesen Sie zuerst das beiliegende Codebook!</i> Es enthält wichtige Informationen zur korrekten Nutzung des Datensatzes. Es hilft auch bei der Entscheidung, welche Variante für Sie am besten geeignet ist. In der Regel empfehle ich für quantitative Forschung die CSV-Dateien und für traditionelle Forschung die PDF-Sammlung.</p><p>Für Praktiker:innen stelle ich zusätzlich eine Variante mit allen in der amtlichen Sammlung BFHE abgedruckten "V-Entscheidungen" zur Verfügung.</p><p> </p><h3><strong>Aktualisierung</strong></h3><p>Dieser Datensatz wird 1-2 mal im Jahr aktualisiert. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Mastodon unter <a href="https://fediscience.org/@seanfobbe">@[email protected]</a></p><p> </p><h3><strong>Eckdaten</strong></h3><p><i>Stichtag:</i> 15. Oktober 2023</p><p><i>Inhaltlicher Umfang:</i> 10.310 Entscheidungen des Bundesfinanzhofs der Bundesrepublik Deutschland</p><p><i>Zeitlicher Umfang:</i> von Januar 2010 bis zum Stichtag</p><p><i>Formate:</i> CSV, PDF, TXT und HTML</p><p> </p><h3><strong>Features</strong></h3><ul><li>Bis zu 34 Variablen in den CSV-Varianten</li><li>Fortlaufende Aktualisierung</li><li>Urheberrechtsfreiheit</li><li>Metadaten enthalten u.a. relevante Rechtsnormen, Vorinstanz, Titel der Entscheidung und Leitsätze</li><li>Sowohl für traditionelle Rechtsanwender als auch für Legal Tech-Anwendungen geeignete Formate (CSV, PDF, TXT und HTML)</li><li>Umfangreicher Compilation Report um den Erstellungs-Prozess zu erläutern</li><li>Hochauflösende Diagramme und deskriptive Tabellen für alle Zwecke</li><li>Diagramme in PDF (Druck) und PNG (Web) verfügbar, Tabellen als menschen- und maschinenlesbares CSV</li><li>Veröffentlichung des Source Codes</li></ul><p> </p><h3><strong>Source Code und Compilation Report</strong></h3><p>Der gesamte Erstellungs-Prozess ist vollautomatisiert und detailliert dokumentiert. Mit jeder Kompilierung des vollständigen Datensatzes wird auch ein umfangreicher Compilation Report in einem attraktiv designten PDF-Format erstellt (ähnlich dem Codebook). Zudem werden Robustness Checks auf Vollständigkeit und Plausibilität durchgeführt und in einem separaten Bericht dokumentiert.</p><p>Der Compilation Report enthält den Code für die vollständige Pipeline, dokumentiert relevante Rechenergebnisse, gibt sekundengenaue Zeitstempel an und ist mit einem klickbaren Inhaltsverzeichnis versehen. Er ist zusammen mit dem Source Code hinterlegt. Wenn Sie sich für Details des Erstellungs-Prozesses interessieren, lesen Sie diesen bitte zuerst.</p><p>Der <i>vollständige Source Code</i> — sowohl für die Erstellung des Datensatzes, als auch für das Codebook — ist <i>öffentlich einsehbar </i>und<i> dauerhaft erreichbar</i> im wissenschaftlichen Archiv des CERN unter diesem Link hinterlegt. Der Link zum Source Code ist am Ende der Seite zu finden.</p><p> </p><h3><strong>Kryptographische Signaturen</strong></h3><p>Die Integrität und Echtheit der einzelnen Archive des Datensatzes sind durch eine <i>Zwei-Phasen-Signatur</i> sichergestellt.</p><p>In <i>Phase I</i> werden während der Kompilierung für jedes ZIP-Archiv, das Codebook und die Robustness Checks Hash-Werte in zwei verschiedenen Verfahren (SHA2-256 und SHA3-512) berechnet und in einer CSV-Datei dokumentiert.</p><p>In <i>Phase II</i> werden diese CSV-Datei und der Compilation Report mit meinem persönlichen geheimen GPG-Schlüssel signiert. Dieses Verfahren stellt sicher, dass die Kompilierung von jedermann durchgeführt werden kann, insbesondere im Rahmen von Replikationen, die persönliche Gewähr für Ergebnisse aber dennoch vorhanden ist.</p><p>Die während der Kompilierung des Datensatzes erstellte CSV-Datei mit den Hash-Prüfsummen ist mit meiner <i>persönlichen GPG-Signatur</i> versehen. Der mit dieser Version korrespondierende Public Key ist sowohl mit dem Datensatz als auch mit dem Source Code hinterlegt. Er hat folgende Kenndaten:</p><p><i>Name:</i> Sean Fobbe ([email protected])</p><p><i>Fingerabdruck:</i> FE6F B888 F0E5 656C 1D25 3B9A 50C4 1384 F44A 4E42</p><p> </p><h3><strong>Kein Urheberrecht: Public Domain</strong></h3><p>An den Normtexten und Metadaten besteht gem. § 5 Abs. 1 UrhG <i>kein </i>Urheberrecht, da sie amtliche Werke sind. § 5 UrhG ist auf amtliche Datenbanken analog anzuwenden (BGH, Beschluss vom 28.09.2006 - I ZR 261/03, "Sächsischer Ausschreibungsdienst"). Alle eigenen Beiträge (z.B. durch Zusammenstellung und Anpassung der Metadaten) und damit den gesamten Datensatz stelle ich gemäß einer <a href="https://creativecommons.org/publicdomain/zero/1.0/legalcode">CC0 1.0 Universal Public Domain License</a> vollständig urheberrechtsfrei.</p><p> </p><h3><strong>Disclaimer</strong></h3><p>Dieser Datensatz ist eine private wissenschaftliche Initiative und steht in keiner Verbindung zu Behörden, Gerichten oder anderen öffentlichen Stellen der Bundesrepublik Deutschland.</p><p> </p><h3><strong>Weitere Open Access Veröffentlichungen (Fobbe)</strong></h3><p>Website<i> </i>—<i> </i><a href="https://www.seanfobbe.de">www.seanfobbe.de</a></p><p>Open Data — <a href="https://zenodo.org/communities/sean-fobbe-data/">zenodo.org/communities/sean-fobbe-data/</a></p><p>Source Code — <a href="https://zenodo.org/communities/sean-fobbe-code/">zenodo.org/communities/sean-fobbe-code/</a></p><p>Volltexte regulärer Publikationen — <a href="https://zenodo.org/communities/sean-fobbe-publications/">zenodo.org/communities/sean-fobbe-publications/</a></p><p> </p><h3><strong>Kontakt</strong></h3><p>Fehler gefunden? Anregungen? Melden Sie diese entweder im <a href="https://github.com/SeanFobbe/ce-bfh/issues">Issue Tracker auf GitHub</a> oder schreiben Sie mir eine E-Mail an <a href="mailto:[email protected]">[email protected]</a></p><p> </p>
Source Code des 'Corpus der Entscheidungen des Bundesfinanzhofs (CE-BFH)'
No full text<h3><strong>Überblick</strong></h3><p>Das <strong>Corpus der Entscheidungen des Bundesfinanzhofs (CE-BFH)</strong> ist eine möglichst vollständige Sammlung der vom Bundesfinanzhof (BFH) veröffentlichten Entscheidungen. Der Datensatz nutzt als seine Datenquelle die <a href="https://www.bundesfinanzhof.de/">amtliche Entscheidungsdatenbank des Bundesfinanzhofs</a> und wertet diese vollständig aus.</p><p>Alle mit diesem Skript erstellten Datensätze werden dauerhaft kostenlos und urheberrechtsfrei auf Zenodo, dem wissenschaftlichen Archiv des CERN, veröffentlicht. Alle Versionen sind mit einem separaten und langzeit-stabilen (persistenten) Digital Object Identifier (DOI) versehen.</p><p>Aktuellster, funktionaler und zitierfähiger Release des Datensatzes: <a href="https://doi.org/10.5281/zenodo.7691840">https://doi.org/10.5281/zenodo.7691840</a></p><p> </p><h3><strong>Aktualisierung</strong></h3><p>Dieser Datensatz wird 1-2 mal im Jahr aktualisiert. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Mastodon unter <a href="https://fediscience.org/@seanfobbe">@[email protected]</a></p><p> </p><h3><strong>Funktionsweise</strong></h3><p>Primäre Endprodukte des Skripts sind folgende ZIP-Archive:</p><ol><li>Der volle Datensatz im CSV-Format (mit zusätzlichen Metadaten)</li><li>Die reinen Metadaten im CSV-Format (wie unter 1, nur ohne Entscheidungsinhalte)</li><li>Alle Entscheidungen im HTML-Format</li><li>Alle Entscheidungen im TXT-Format</li><li>Alle Entscheidungen im PDF-Format</li><li>Nur V-Entscheidungen (BFHE, amtliche Sammlung) im PDF-Format</li><li>Alle Analyse-Ergebnisse (Tabellen als CSV, Grafiken als PDF und PNG)</li></ol><p>Alle Ergebnisse werden im Ordner <i>output/</i> abgelegt. Zusätzlich werden für alle ZIP-Archive kryptographische Signaturen (SHA2-256 und SHA3-512) berechnet und in einer CSV-Datei hinterlegt.</p><p> </p><h3><strong>Systemanforderungen</strong></h3><ul><li><a href="https://docs.docker.com/get-docker/">Docker</a></li><li><a href="https://docs.docker.com/compose/install/">Docker Compose</a></li><li>6 GB Speicherplatz auf Festplatte</li><li>Multi-core CPU empfohlen (8 cores/16 threads für die Referenzdatensätze).</li></ul><p>In der Standard-Einstellung wird das Skript vollautomatisch die maximale Anzahl an Rechenkernen/Threads auf dem System zu nutzen. Die Anzahl der verwendeten Kerne kann in der Konfigurationsatei angepasst werden. Wenn die Anzahl Threads auf 1 gesetzt wird, ist die Parallelisierung deaktiviert.</p><p> </p><h3><strong>Anleitung</strong></h3><h4><i><strong>Schritt 1: Ordner vorbereiten</strong></i></h4><p>Kopieren Sie bitte den gesamten Source Code in einen leeren Ordner (!), beispielsweise mit:</p><blockquote><p> git clone https://github.com/seanfobbe/c-dbr</p></blockquote><p>Verwenden Sie immer einen separaten und leeren (!) Ordner für die Kompilierung. Die Skripte löschen innerhalb von bestimmten Unterordnern (files/, temp/, analysis/ und output/) alle Dateien die den Datensatz verunreinigen könnten --- aber auch nur dort.</p><h4><br><i><strong>Schritt 2: Docker Image erstellen</strong></i></h4><p>Ein Docker Image stellt ein komplettes Betriebssystem mit der gesamten verwendeten Software automatisch zusammen. Nutzen Sie zur Erstellung des Images einfach:</p><blockquote><p> bash docker-build-image.sh</p></blockquote><p> </p><h4><i><strong>Schritt 3: Datensatz kompilieren</strong></i></h4><p>Falls Sie zuvor den Datensatz schon einmal kompiliert haben (ob erfolgreich oder erfolglos), können Sie mit folgendem Befehl alle Arbeitsdaten im Ordner löschen:</p><blockquote><p> Rscript delete_all_data.R</p></blockquote><p> </p><p>Den vollständigen Datensatz kompilieren Sie mit folgendem Skript:</p><blockquote><p> bash docker-run-project.sh</p></blockquote><p> </p><h4><i><strong>Ergebnis</strong></i></h4><p>Der Datensatz und alle weiteren Ergebnisse sind nun im Ordner <i>output/</i> abgelegt.</p><p> </p><h3><strong>Pipeline visualisieren</strong></h3><p>Sie können die Pipeline visualisieren, aber nur nachdem sie die zentrale .Rmd-Datei mindestens einmal gerendert haben:</p><blockquote><p>> targets::tar_glimpse() # Nur Datenobjekte</p><p>> targets::tar_visnetwork() # Alle Objekte</p></blockquote><h3><br><strong>Troubleshooting</strong></h3><p>Hilfreiche Befehle, um Fehler zu lokalisieren und zu beheben.</p><blockquote><p>> tar_progress() # Zeigt Fortschritt und Fehler an</p><p>> tar_meta() # Alle Metadaten</p><p>> tar_meta(fields = "warnings", complete_only = TRUE) # Warnungen</p><p>> tar_meta(fields = "error", complete_only = TRUE) # Fehlermeldungen</p><p>> tar_meta(fields = "seconds") # Laufzeit der Targets</p></blockquote><p> </p><h3><strong>Weitere Open Access Veröffentlichungen (Fobbe)</strong></h3><p>Website<i> </i>—<i> </i><a href="https://www.seanfobbe.de">www.seanfobbe.de</a></p><p>Open Data — <a href="https://zenodo.org/communities/sean-fobbe-data/">https://zenodo.org/communities/sean-fobbe-data/</a></p><p>Source Code — <a href="https://zenodo.org/communities/sean-fobbe-code/">https://zenodo.org/communities/sean-fobbe-code/</a></p><p>Volltexte regulärer Publikationen — <a href="https://zenodo.org/communities/sean-fobbe-publications/">https://zenodo.org/communities/sean-fobbe-publications/</a></p><p> </p><h3><strong>Urheberrecht</strong></h3><p>Der Source Code und alle von mir bereitgestellten Rohdaten stehen unter einer MIT No Attribution (MIT-0)-Lizenz. Sie können sie frei für alle Zwecke nutzen.</p><p> </p><h3><strong>Kontakt</strong></h3><p>Fehler gefunden? Anregungen? Kommentieren Sie gerne im <a href="https://github.com/SeanFobbe/ce-bfh/issues">Issue Tracker auf GitHub</a> oder schreiben Sie mir eine E-Mail an <a href="mailto:[email protected]">[email protected]</a></p>
[R] Source Code für die Aktenzeichen der Bundesrepublik Deutschland (AZ-BRD-Source)
No full textÜberblick
Dieses R-Skript ist die Basis für den Datensatz »Aktenzeichen der Bundesrepublik Deutschland (AZ-BRD)«.
Alle mit diesem Skript erstellten Datensätze werden dauerhaft kostenlos und urheberrechtsfrei auf Zenodo, dem wissenschaftlichen Archiv des CERN, veröffentlicht. Jede Version ist mit ihrem eigenen, persistenten Digital Object Identifier (DOI) versehen. Die neueste Version des Datensatzes ist immer über den Link der Concept DOI erreichbar: https://doi.org/10.5281/zenodo.4559383
Aktualisierung
Diese Software wird in unregelmäßigen Abständen aktualisiert. Benachrichtigungen über neue und aktualisierte Datensätze veröffentliche ich immer zeitnah auf Twitter unter @FobbeSean.
Systemanforderungen
Das Skript in seiner veröffentlichten Form kann nur unter Linux ausgeführt werden, da es Linux-spezifische Optimierungen (z.B. Fork Cluster) und Shell-Kommandos (z.B. OpenSSL) nutzt. Das Skript wurde unter Fedora Linux entwickelt und getestet. Die zur Kompilierung benutzte Version entnehmen Sie bitte dem sessionInfo()-Ausdruck am Ende des Compilation Reports.
In der Standard-Einstellung wird das Skript vollautomatisch die maximale Anzahl an Rechenkernen/Threads auf dem System zu nutzen. Wenn die Anzahl Threads (Variable »fullCores«) auf 1 gesetzt wird, ist die Parallelisierung deaktiviert.
Auf der Festplatte sollten 100 MB Speicherplatz vorhanden sein.
Um die PDF-Berichte kompilieren zu können benötigen Sie das R package rmarkdown, eine vollständige Installation von LaTeX und alle in der Präambel-TEX-Datei angegebenen LaTeX Packages.
Kompilierung: Vorbemerkungen
Mit der Funktion render() von rmarkdown kann der vollständige Datensatz kompiliert und das Skript mitsamt seiner Rechenergebnisse in ein gut lesbares PDF-Format überführt werden.
Alle Kommentare sind im roxygen2-Stil gehalten. Das Skript kann daher auch ohne render() regulär als R-Skript ausgeführt werden. Es wird in diesem Fall kein PDF-Bericht erstellt und Diagramme werden nicht abgespeichert.
Kompilierung: Datensatz
Um den vollständigen Datensatz zu kompilieren und einen PDF-Bericht zu erstellen, kopieren Sie bitte alle im Source-Archiv bereitgestellten Dateien und die Originalquellen in einen leeren Ordner und führen mit R diesen Befehl aus:
rmarkdown::render(input = "AZ-BRD_Source_DataSetCreation.R",
output_file = paste0("AZ-BRD_",
Sys.Date(),
"_CompilationReport.pdf"),
envir = new.env())
Kompilierung: Codebook
Um das Codebook zu kompilieren und einen PDF-Bericht zu erstellen, kopieren Sie bitte alle im Source-Archiv bereitgestellten Dateien in einen leeren Ordner und führen im Anschluss an die Kompilierung des Datensatzes (!) untenstehenden Befehl mit R aus.
Bei der Prüfung der GPG-Signatur wird ein Fehler auftreten und im Codebook dokumentiert, weil die Daten nicht mit meiner Original-Signatur versehen sind. Dieser Fehler hat jedoch keine Auswirkungen auf die Funktionalität und hindert die Kompilierung nicht.
rmarkdown::render(input = "AZ-BRD_Source_CodebookCreation.R",
output_file = paste0("AZ-BRD_",
Sys.Date(),
"_Codebook.pdf"),
envir = new.env())
Weitere Open Access Veröffentlichungen (Fobbe)
Mehr Open Data finden Sie hier: https://zenodo.org/communities/sean-fobbe-data/
Mein Code Repository ist hier erreichbar: https://zenodo.org/communities/sean-fobbe-code/
Volltexte regulärer Publikationen sind hier hinterlegt: https://zenodo.org/communities/sean-fobbe-publications/
Urheberrecht
Der Source Code und alle von mir bereitgestellten Rohdaten stehen unter einer MIT No Attribution (MIT-0)-Lizenz. Sie können sie frei für alle Zwecke nutzen.
Kontakt
Fehler gefunden? Anregungen? Schreiben Sie mir gerne eine E-Mail an [email protected]
- …
