Universität Rostock, Lehrstuhl Datenbank- und Informationssysteme: Dbis Repository

Röger, Frank

Eignung von R und SQL für Algorithmen des maschinellen Lernens

Möller, Mark Lukas

Berton, Nicolas

Klettke, Meike

Scherzinger, Stefanie

Störl, Uta

cba
FirstName Editor LastName Editor et al. (Hrsg.): Business, Technologie und Web 2019,
Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2019 1
jHound: Large-Scale Profiling of Open JSON Data
Mark Lukas Möller1, Nicolas Berton2, Meike Klettke1, Stefanie Scherzinger3, Uta Störl4
Abstract: We present jHound, a tool for profiling large collections of JSON data, and apply it to
thousands of data sets holding open government data. jHound reports key characteristics of JSON
documents, such as their nesting depth. As we show, jHound can help detect structural outliers, and
most importantly, badly encoded documents: jHound can pinpoint certain cases of documents that use
string-typed values where other native JSON datatypes would have been a better match. Moreover,
we can detect certain cases of maladaptively structured JSON documents, which obviously do not
comply with good data modeling practices. By interactively exploring particular example documents,
we hope to inspire discussions in the community about what makes a good JSON encoding.
1 Introduction
In an effort towards facilitating government transparency, the German government passed
the e-government law in 2013. In particular, this law regulates the provision of machine
readable data by government institutions. However, aW3Cworking draft on publishing open
government data5 recommends to use human-readable data formats instead. In this demo,
we focus on the data exchange format JSON, since it is both machine and human-readable,
and becoming increasingly popular: At the time of writing, the site www.data.gov alone is
hosting over 14,000 JSON documents6, capturing just about anything from census data to
consumer complaints. However, the documents come without a proper schema declaration
(such as a JSON Schema description). Many documents even come without any meta-data
regarding the utmost basics, such as the semantics of property names. For data consumers
who intend to programmatically process this data, this poses a serious challenge.
To understand the document structure and to detect bad encoding (more on this later), we
introduce jHound, a profiler for large collections of JSON data. While our main motivation
is to analyze open government data, our tool is not restricted to this use case.
1 University of Rostock, mark.moeller2|meike.klettke@uni-rostock.de
2 ENSEIRB-MATMECA, Bordeaux, France
3 OTH Regensburg, stefanie.scherzinger@oth-regensburg.de
4 University of Applied Sciences Darmstadt, uta.stoerl@h-da.de
5 Publishing Open Data, https://www.w3.org/TR/gov-data/, W3C Working Draft September 2009.
6 According to our experience, open government data changes frequently on the hosting sites, due to additions and
removals of files. We have noticed that statements regarding the total number of files hosted come with a short
expiration date. The number reported here dates back to December 6th, 2018.
cba doi:10.18420/btw2019-44
T. Grust et al. (Hrsg.): Datenbanksysteme für Business, Technologie und Web (BTW 2019),
Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2019 555
2 Mark Lukas Möller et al.
Fig. 1: The web frontend of jHound, showing the analysis results page.
Related Work. Profiling relational data is an established research area (cf. [Ab18] for an
overview), and there is a range of established commercial tools. However, tooling for JSON
data has not yet matured to the same extent. One active direction of research is schema
extraction for JSON document collections (cf. [FSS18]). While this is certainly related, a
profiler additionally extracts descriptive statistics such as distributions and outliers.
Contributions and Structure.We next describe the jHound workflow. We highlight some
key findings of jHound in real-world data, and conclude with an outline of our demo.
2 Analyzing Open Government Data
To analyze JSON data with jHound, we point the tool to a CKAN repository, catalog.data.gov
for instance. As seen in the top left of the screenshot in Figure 1, jHound identifies over 14
thousand documents. We used jHound to download a sample with over 1.5 thousand JSON
documents. An additional 202 documents could not be downloaded, causing warnings due
to timeouts or broken links. We then exclude any documents that have been miscategorized,
i.e., they have been labeled as JSON, but do not comply to the format (49 in this scenario).
The results of the analysis are shown in the lower half of Figure 1: (1) jHound reports the
distribution of file sizes in a histogram. Exploring the extremes reveals peculiar cases. For
instance, among the very small files are documents that merely consist of an empty JSON
array. Also, there are files in the gigabyte range. This is a vital information for anybody
planning to programmatically process this data, since they need to allocate enough main
memory, or choose streaming algorithms. In fact, in our explorations of open government
data, we have encountered JSON documents with 60GB in size. (2) A pie chart visualizes
the overall distribution of data types among the property values. These types are derived
from the encoding syntax, so the value "3.14" is categorized as type string, even though it
encodes a numerical value. jHound does not yet derive types based on semantic analysis.
556 Mark Lukas Möller et al.
jHound: Large-Scale Profiling of Open JSON Data 3
(a) 1,565 documents from
https://www.data.gov/.
(b) 3,882 documents from
https://data.europa.eu/.
Fig. 2: The maximum document depth versus the level where most of the nodes resides.
1 [ { "indicator": {
2 "id": "SH.DTH.IMRT",
3 "value": "Number of infant deaths" },
4 "country": {
5 "id": "ZW",
6 "value": "Zimbabwe" },
7 "value": "19375",
8 "decimal": "0",
9 "date": "2017" },
10 ...]
[ [ "organization", 1
"interaction_intervention_id", 2
"org_intervention_id", 3
"project_tags", 4
"project_name", ... ], ... 5
[ "PROJECT C.U.R.E.", 6
"59-21401", 7
"11711", 8
"", 9
"Panama In Kind Donations ", ... ], ... ] 10
(a) Infant deaths in Zimbabwe. (b) Activities in Panama.
Fig. 3: Excerpts of open data documents provided at https://data.humdata.org/.
(3) A bubble chart relates the maximal nesting depth of documents and the tree level at
which most of the nodes resides. Figure 2(a) shows the chart in isolation. For instance, there
are 24 documents that are not nested, among them structural anomalies, like the documents
that merely contain an empty JSON array, and therefore no payload data.
In Figure 2, we compare data from different hosting sites. In Fig. 2(b), the majority of
documents has a nesting depth of one. These documents are not nested, but encode flat
tuples via key-value pairs. Thus, these documents might have just as well been stored as
relational tuples. It is a mere conjecture at this point, but we suspect that these JSON
documents were generated from relational data.
Figure 3 shows excerpts of JSON documents with maladaptive structure that we have
discovered with jHound: In the left document, all property values are encoded as strings,
even though the values in lines 7 through 9 would be more naturally encoded using JSON
type number. Similar with the document to the right. Structurally, both documents are unusual.
For the left document, we could not find any documentation on the nesting strategy, or on the
jHound: Large-Scale Profiling of Open JSON Data 557
4 Mark Lukas Möller et al.
meaning of the decimal-property in line 8. This problem of piecing together information is
even more striking in the right document, which seems to be a blunt line-by-line translation
of CSV data into JSON format. By matching positions in the nested arrays (lines 3 and 8),
we painstakingly extract that the intervention id is 11711. It is possible to detect malformed
documents by inspecting their structure and property values.
3 Demo Outline
Our demo shows the interactive workflow of analyzing open government data with jHound:
1. We start with documents downloaded from CKAN repositories (e.g. from https:
//data.humdata.org/, https://www.data.gov/, and https://www.govdata.de/).
2. In dialogue with our audience, we drill down into the analysis results, starting with
the analysis results page, as shown in Figure 1:
• We configure filters for the pie chart showing the type distribution, e.g.
considering only JSON documents with over 90% string-typed values.
• Having identified interesting bubbles in the bubble chart, we can further identify
and inspect the raw JSON datasets. In doing so, we come across maladaptive
encodings, like those shown in Figure 3.
• For individual datasets, we can extract a schema description, using an imple-
mentation from our earlier work [Kl17].
4 Conclusion
jHound is a tool for scraping, downloading, and analyzing JSON documents. jHound
compiles descriptive statistics, allowing us to systematically explore large collections of
JSON documents. We plan to open-source our python-implementation of jHound.
Acknowledgements: The article is published in the scope of the project "NoSQL Schema
Evolution und Big Data Migration at Scale" which is funded by the Deutsche Forschungs-
gemeinschaft (DFG) under the number 385808805.
References
[Ab18] Abedjan, Ziawasch; Golab, Lukasz; Naumann, Felix; Papenbrock, Thorsten: Data
Profiling. Synthesis Lectures on Data Management. Morgan & Claypool Publishers,
2018.
[FSS18] Frozza, Angelo Augusto; dos Santos Mello, Ronaldo; de Souza da Costa, Felipe:
An Approach for Schema Extraction of JSON and Extended JSON Document
Collections. In: Proc. IEEE IRI’18. 2018.
[Kl17] Klettke, Meike; Awolin, Hannes; Störl, Uta; Müller, Daniel; Scherzinger, Stefanie:
Uncovering the evolution history of data lakes. In: Proc. SCDM’07. 2017.
558 Mark Lukas Möller et al.


jHound: Large-Scale Profiling of Open JSON Data

Grunert, Hannes

Meyer, Holger

cba
Herausgeber et al. (Hrsg.): Name-der-Konferenz,
Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2019 11
Die Data Science Challenge auf der BTW 2019 in Rostock
Hannes Grunert1, Holger Meyer2
Abstract: Zum zweiten Mal — nach der BTW2017 in Stuttgart [Wa17] — findet auf der BTW-
Konferenzreihe die Data Science Challenge statt. Die Teilnehmer der Challenge hatten die Möglichkeit,
ihren eigenen Ansatz zur cloud-basierten Datenanalyse zu entwickeln und damit im direkten Vergleich
gegen andere Teilnehmer anzutreten.
Keywords: Data Science Challenge; Big Data Analytics; Feinstaub
1 Preise und Bewertungskriterien
Nach der Bewerbungsrunde präsentieren die Teilnehmer in Rostock auf der BTW2019
ihre Ergebnisse vor einer Fachjury, bestehend aus Vertretern von Forschung und Industrie.
Der erste bis dritte Platz wird mit einem Preisgeld gewürdigt. Da das Votum der Jury zum
Zeitpunkt der Drucklegung noch nicht feststand, finden Sie in diesem Workshopband die
Beiträge aus der Bewerbungsphase. Die ersten drei Plätze werden mit einem Preisgeld
gewürdigt:
• Erster Platz: 500 Euro
• Zweiter Platz: 300 Euro
• Dritter Platz: 200 Euro
Die Bewertung und Auswahl der Gewinner umfasst die folgenden Kriterien:
• Neuheit und Umsetzbarkeit der Ergebnisse,
• Vollständigkeit / Umfang der Ergebnisse,
• Gesellschaftliche Relevanz,
• Datenvisualisierung und
1 Universität Rostock, Lehrstuhl für Datenbank- und Informationssysteme, Albert-Einstein-Straße 22, 18059
Rostock, hg@informatik.uni-rostock.de
2 Universität Rostock, Lehrstuhl für Datenbank- und Informationssysteme, Albert-Einstein-Straße 22, 18059
Rostock, hme@informatik.uni-rostock.de
cba doi:10.18420/btw2019-ws-30
H. Meyer et al. (Hrsg.): BTW 2019 —Workshopband,
Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2019 281
12 Hannes Grunert, Holger Meyer
• Live-Präsentation am 05.03.2019 auf der BTW2019
Bewertet wurden die Beiträge durch das Preiskomitee:
Leitung: Holger Meyer, Universität Rostock
• Stefan Goers, TÜV Nord (Umweltservices)
• Daniela Nicklas, Universität Bamberg
• Kai-Uwe Sattler, TU Ilmenau
• Holger Schwarz, Universität Stuttgart
• Tim Waizenegger, IBM Böblingen
• Rajko Zschiegner, OKLab Stuttgart
2 Vorgehen
Zeitgleich mit der Ausschreibung wurden Beispieldatenquellen sowie dazu passende
Beispielaufgaben bekanntgegeben. Diese Datenquellen und Aufgaben wurden von den
Teilnehmern genutzt, um darauf aufbauend Ihr initiales Konzept zu entwickeln und einen
ersten Prototypen zu entwickeln. Anschließend bewarben sich die Teilnehmer mit einer
zweiseitigen Beschreibung.
Nach Bekanntgabe der zugelassenen Teilnehmer wurden einen Monat vor der BTW2019
die für die Challenge zu verwendeten Datenquellen und Aufgaben bekanntgegeben. Diese
sind so gewählt, dass die wesentlichen Aspekte der entwickelten Konzepte weiter verwendet
werden konnten; jedoch mussten innerhalb eines Monates die Konzepte an die veränderte
Aufgabenstellung angepasst werden.
Die Teilnehmer hatten eine freie Auswahl in Bezug auf die verwendeten Cloud-Dienste und
-Technologien. Die zu untersuchenden Daten wurden auch in der IBM Cloud über ein IBM
Watson Studio Notebook bereitgestellt.
3 Problemstellung
Sowohl die Bewerbungsaufgabe als auch die Aufgabe für das Finale drehten sich rund
um das Thema Feinstaub. Als Ausgangsbasis diente der archivierte Datenbestand von
archive.luftdaten.info. Das Citizen Science Projekt luftdaten.info hat zum Ziel, die
Feinstaubmessung im großflächig zu realisieren. Ausgehend von dem Datenbestand wurden
den potentiellen Teilnehmern eine Reihe von Beispielaufgaben gestellt:
• Bereinigen Sie die Daten bzw. stellen Sie Datenqualität sicher.
282 Hannes Grunert, Holger Meyer
Data Science Challenge 2019 13
• Finden Sie interessante Sachverhalte und Muster. Visualisieren Sie Ihre Ergebnisse.
• Versuchen Sie vorherzusagen, wie die Feinstaubbelastung in der nahen Zukunft
aussehen könnte.
• Entdecken Sie mögliche größere, zusammenhängende "No goAreale, an denen die
Feinstaubbelastung zu groß ist bzw. zu groß sein wird.
Zur Sicherstellung der Diversität der Ergebnisse mussten die Teilnehmer die Feinstaubdaten
Ihrer Universitätsstadt analysieren. Die Teilnehmer verwendeten verschiedenste Technologi-
en, wie beispielsweise IBM Cloud SQL Queries in Kombination mit Jupyter Notebooks,
Apache Spark und vorgefertigten Deep-Learning-Bibliotheken. Die Analysen reichen von
der Datenbereinigung und -integration über Anwendung neu entwickelter statistischer
Funktionen, neuronaler Netze und Zeitreihenanalysen bis hin zu Visualisierungen.
4 Data Science Challenge @ BTW2019
Dem Beitragsaufruf folgten fünf Teams mit folgenden Beiträgen:
• Dresden: Assessing the Impact of Driving Bans with Data Analysis
• Leipzig: Deep Learning zur Vorhersage von Feinstaubbelastung
• Berlin: Explanation of Air Pollution Using External Data Sources
• Ilmenau: Peaks and the Influence of Wheather, Traffic, and Events on Particulate
Pollution
• Stuttgart: Prediction of air pollution with machine learning
Nach Prüfung der Beiträge wurden alle Teilnehmer zur Präsentation Ihrer Lösung der Final-
aufgabe eingeladen. Auf Basis der aktuellen politischen und gesellschaftlichen Diskussion
hinsichtlich des Für und Wider von Feinstaubmessungen wurden die Teilnehmer mit neuen
Fragestellungen konfrontiert:
• Wie hat sich das Verkehrsaufkommen in den Städten mit Fahrverboten verändert?
• Ist eine Korrelation zwischen der Lebenserwartung und der Feinstaubbelastung
erkennbar? Sind die bisherigen Studien vom Helmholtz-Institut bestätigbar?
• Welche weiteren Faktoren, neben dem Verkehr, spielen eine Rolle bzgl. der Feinstaub-
belastung? Finden sie öffentliche Events, die zu einer kurzzeitigen Steigerung der
Feinstaubbelastung führen.
• Wie kann durch die Integration von mehreren Messdaten ein bundesweit einheitliche-
res Bild der Feinstaubbelastung erstellt werden?
Die Data Science Challenge auf der BTW 2019 in Rostock 283
14 Hannes Grunert, Holger Meyer
Im Rahmen des Workshopprogramms der BTW am 05.03.2019 wurden die einzelnen
Beiträge präsentiert. Die Gewinner werden im Rahmen des Data Science Panels am
Mittwoch, den 06.03.19, bekanntgegeben.
Die Gewinner werden im Anschluss an die BTW2019 eingeladen, an einem Sonderbeitrag
für das Datenbankspektrum mitzuwirken. Dort werden die Aufgabe aus der Finalrunde,
sowie die prämierten Lösungsansätze im Detail vorgestellt.
5 Organsiation
• Stefan Goers, TÜV Nord (Umweltservices)
• Hannes Grunert, Universität Rostock
• Holger Meyer, Universität Rostock
• Ute Schuerfeld, IBM Böblingen
• Rajko Zschiegner, OKLab Stuttgart
Literatur
[Wa17] Waizenegger, T.: BTW2017Data ScienceChallenge (SDSC17). In (Mitschang, B.; Ritter, N.;
Schwarz, H.; Klettke, M.; Thor, A.; Kopp, O.; Wieland, M., Hrsg.): Datenbanksysteme
für Business, Technologie und Web (BTW 2017), 17. Fachtagung des GI-Fachbereichs
„Datenbanken und Informationssysteme"(DBIS), 6.-10. März 2017, Stuttgart, Germany,
Workshopband. Bd. P-266. LNI, GI, S. 405–406, 2017, isbn: 978-3-88579-660-2, url:
https://dl.gi.de/20.500.12116/938.
284 Hannes Grunert, Holger Meyer


Die Data Science Challenge auf der BTW 2019 in Rostock

Rose, Florian

Berechnung von Quasi-Identifikatoren nach Verbundoperationen

Schulz, Björn

Konzeption und Redesign einer Skill-Management Applikation

Lutsch, Adrian

Effiziente Datenvorbereitung für Analysen in Automotive-Anwendungen

Marten, Dennis

Heuer, Andreas

Database support for automotive analysis

Keeping NoSQL Databases Up to Date - Semantics of Evolution Operations and their Impact on Data Quality

Leidenbach, Simon

Entwurf einer State-of-the-Art Graph-API für Hydra.PowerGraph

Gember, André

Graph-Algorithmen und die Hypergraph-Anfragesprache GrafL

Not a member yet