1,720,982 research outputs found
IMPACT OF EXPLAINABLE AI ON COGNITIVE LOAD: INSIGHTS FROM AN EMPIRICAL STUDY
Get PDFWhile the emerging research field of explainable artificial intelligence (XAI) claims to address the lack of explainability in high-performance machine learning models, in practice XAI research targets developers rather than actual end-users. Unsurprisingly, end-users are unwilling to use XAI-based decision support systems. Similarly, there is scarce interdisciplinary research on end-users’ behavior during XAI explanations usage, rendering it unknown how explanations may impact cognitive load and further affect end-user performance. Therefore, we conducted an empirical study with 271 prospective physicians, measuring their cognitive load, task performance, and task time for distinct implementation-independent XAI explanation types using a COVID-19 use case. We found that these explanation types strongly influence end-users’ cognitive load, task performance, and task time. Based on these findings, we classified the explanation types in a mental efficiency matrix, ranking local XAI explanation types as best, and thereby providing recommendations for future applications and implications for sociotechnical XAI research
Förderung der algorithmischen Entscheidungsfindung: Wahrnehmung und Gestaltung von erklärbaren KI-basierten Entscheidungsunterstützungssystemen
No full textRecent computing advances are driving the integration of artificial intelligence (AI)-based systems into nearly every facet of our daily lives. To this end, AI is becoming a frontier for enabling algorithmic decision-making by mimicking or even surpassing human intelligence. Thereupon, these AI-based systems can function as decision support systems (DSSs) that assist experts in high-stakes use cases where human lives are at risk. All that glitters is not gold, due to the accompanying complexity of the underlying machine learning (ML) models, which apply mathematical and statistical algorithms to autonomously derive nonlinear decision knowledge. One particular subclass of ML models, called deep learning models, accomplishes unsurpassed performance, with the drawback that these models are no longer explainable to humans. This divergence may result in an end-user’s unwillingness to utilize this type of AI-based DSS, thus diminishing the end-user’s system acceptance.
Hence, the explainable AI (XAI) research stream has gained momentum, as it develops techniques to unravel this black-box while maintaining system performance. Non-surprisingly, these XAI techniques become necessary for justifying, evaluating, improving, or managing the utilization of AI-based DSSs. This yields a plethora of explanation techniques, creating an XAI jungle from which end-users must choose. In turn, these techniques are preliminarily engineered by developers for developers without ensuring an actual end-user fit. Thus, it renders unknown how an end-user’s mental model behaves when encountering such explanation techniques.
For this purpose, this cumulative thesis seeks to address this research deficiency by investigating end-user perceptions when encountering intrinsic ML and post-hoc XAI explanations. Drawing on this, the findings are synthesized into design knowledge to enable the deployment of XAI-based DSSs in practice. To this end, this thesis comprises six research contributions that follow the iterative and alternating interplay between behavioral science and design science research employed in information systems (IS) research and thus contribute to the overall research objectives as follows: First, an in-depth study of the impact of transparency and (initial) trust on end-user acceptance is conducted by extending and validating the unified theory of acceptance and use of technology model. This study indicates both factors’ strong but indirect effects on system acceptance, validating further research incentives. In particular, this thesis focuses on the overarching concept of transparency. Herein, a systematization in the form of a taxonomy and pattern analysis of existing user-centered XAI studies is derived to structure and guide future research endeavors, which enables the empirical investigation of the theoretical trade-off between performance and explainability in intrinsic ML algorithms, yielding a less gradual trade-off, fragmented into three explainability groups. This includes an empirical investigation on end-users’ perceived explainability of post-hoc explanation types, with local explanation types performing best. Furthermore, an empirical investigation emphasizes the correlation between comprehensibility and explainability, indicating almost significant (with outliers) results for the assumed correlation. The final empirical investigation aims at researching XAI explanation types on end-user cognitive load and the effect of cognitive load on end-user task performance and task time, which also positions local explanation types as best and demonstrates the correlations between cognitive load and task performance and, moreover, between cognitive load and task time. Finally, the last research paper utilizes i.a. the obtained knowledge and derives a nascent design theory for XAI-based DSSs. This design theory encompasses (meta-) design requirements, design principles, and design features in a domain-independent and interdisciplinary fashion, including end-users and developers as potential user groups. This design theory is ultimately tested through a real-world instantiation in a high-stakes maintenance scenario.
From an IS research perspective, this cumulative thesis addresses the lack of research on perception and design knowledge for an ensured utilization of XAI-based DSS. This lays the foundation for future research to obtain a holistic understanding of end-users’ heuristic behaviors during decision-making to facilitate the acceptance of XAI-based DSSs in operational practice.Jüngste technische und algorithmische Fortschritte treiben die Integration von Systemen auf der Basis von künstlicher Intelligenz (KI) in nahezu alle Bereiche unseres täglichen Lebens voran. Inzwischen sind diese Systeme in der Lage, menschliche Intelligenz anhand von algorithmischer Entscheidungsfindung nachzuahmen und sogar zu übertreffen. Insbesondere können KI-basierte Systeme als Entscheidungsunterstützungssysteme (Decision Support Systems - DSS) dienen und damit Domänenexperten in hochsensiblen Anwendungsfällen helfen, bei denen Menschenleben auf dem Spiel stehen.
Dies resultiert in komplexen Modellen des maschinellen Lernens (ML), welche mathematische und statistische Algorithmen benutzen, um nichtlineares Entscheidungswissen automatisch abzuleiten. Besonders eine Unterklasse von ML-Modellen, die sogenannten Deep-Learning-Modelle (DL-Modelle), erreichen eine unübertroffene Leistung. Sie haben allerdings den Nachteil, dass sie für den Menschen nicht mehr nachvollziehbar sind. Diese Divergenz kann jedoch dazu führen, dass Endanwender nicht bereit sind, diese Art von KI-basierten DSS zu benutzen. Dadurch wird die Akzeptanz solcher Systeme beeinträchtigt.
Um dieses Problem anzugehen, ist der Forschungszweig der erklärbaren KI (Explainable Artificial Intelligence - XAI) entstanden. Darin werden Techniken und Methoden entwickelt, die das wahrgenommene Blackbox-Verhalten dieser Modelle aufbrechen. Die XAI-Methoden können für KI-basierte DSS eingesetzt werden und ermöglichen es, Entscheidungen und Modelle zu rechtfertigen, zu bewerten, zu verbessern und zu verwalten. Dieser Ansatz resultiert jedoch in einer Vielzahl von Erklärungstechniken, aus denen die Anwender eine passende Erklärung wählen müssen. Gleichzeitig werden diese Methoden zurzeit primär von Entwicklern für Entwickler konzipiert, ohne, dass dabei ermittelt wird, ob eine tatsächliche Eignung für den Endanwender gewährleistet ist. Im Umkehrschluss ist daher unbekannt, wie sich das mentale Modell eines Endanwenders im Umgang mit solchen Erklärungstechniken verhält.
Die vorliegende kumulative Dissertation thematisiert dieses Forschungsdefizit, indem die Wahrnehmung des Endanwenders im Umgang mit intrinsischen ML- und Post-Hoc-XAI-Erklärungen untersucht wird. Die gewonnenen Erkenntnisse werden in gestaltungsorientiertes Wissen synthetisiert, um den Einsatz von XAI-basierten DSS in der Praxis zu ermöglichen. Zu diesem Zweck umfasst die Dissertation sechs Forschungsbeiträge. Diese richten sich nach dem für den Bereich Information Systems (IS) typischen alternierendem Zusammenspiel zwischen verhaltenswissenschaftlicher und designorientierter Forschung und tragen wie folgt zu den übergeordneten Forschungszielen bei:
Zu Beginn erfolgt durch Erweiterung und Validierung des Modells Unified Theory of Acceptance and Use of Technology eine Untersuchung des Einflusses von Transparenz und (initialem) Vertrauen auf die Akzeptanz der Endanwender. Die Studie zeigt einen starken, aber indirekten Effekt beider Faktoren auf die Systemakzeptanz und liefert damit die wissenschaftliche Bestätigung für weitere Forschungsinitiativen. Diese Arbeit konzentriert sich insbesondere auf diesen übergeordneten Einflussfaktor Transparenz. Darauf aufbauend wird eine Systematisierung in Form einer Taxonomie und Analyse bestehender nutzerzentrierter XAI-Studien durchgeführt, um zukünftige Forschungsbestrebungen zu strukturieren. Diese Systematisierung ermöglicht anschließend empirische Untersuchungen weiterer Einflussfaktoren auf die Endanwenderwahrnehmung. Zunächst wird eine Untersuchung des theoretischen Zielkonflikts zwischen Leistung und Erklärbarkeit in intrinsischen ML-Algorithmen vorgenommen, welche eine dreiteilige Anordnung empirisch bestätigt. Ebenso erfolgt eine empirische Untersuchung der vom Endanwender wahrgenommenen Erklärbarkeit von Post-Hoc-Erklärungstypen, wobei hier lokale Erklärungstypen am besten abschneiden. Anschließend wird der Zusammenhang zwischen Verständlichkeit und Erklärbarkeit betrachtet, wobei sich eine überwiegend (mit Ausreißern) signifikante Korrelation aufzeigen lässt. Der letzte Teil der empirischen Untersuchungen widmet sich dem Einfluss von XAI-Erklärungstypen auf die kognitive Belastung und die Auswirkung dieser Belastung auf die Aufgabenleistung und -zeit des Endanwenders. Hier zeigt sich, dass lokale Erklärungstypen ebenfalls verhältnismäßig am besten abschneiden und die Korrelationen zwischen kognitiver Belastung und Aufgabenleistung sowie kognitiver Belastung und Aufgabenzeit gegeben sind. Der letzte Forschungsbeitrag fügt u. a. die Ergebnisse zusammen und leitet daraus eine Design-Theorie für XAI-basierte DSS ab. Diese Design Theorie umfasst (Meta-)Design-Anforderungen, Design-Prinzipien und Design-Merkmale in einer domänenunabhängigen und interdisziplinären Art und Weise, welche den Einbezug sowohl von Endanwendern als auch von Entwicklern als potenzielle Nutzergruppen ermöglicht.
Aus der Perspektive der IS Disziplin widmet sich diese kumulative Dissertation dem Mangel an Forschung zu Wahrnehmung und Designwissen für eine gesicherte Nutzung von XAI-basierten DSS. Damit legt sie den Grundstein für zukünftige Forschung, um ein ganzheitliches Verständnis des heuristischen Verhaltens der Endanwender während der Entscheidungsfindung zu erlangen und somit die Akzeptanz von XAI-basierten DSS in der betrieblichen Praxis zu fördern
Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study
Get PDFWhile the emerging research field of explainable artificial intelligence
(XAI) claims to address the lack of explainability in high-performance machine
learning models, in practice, XAI targets developers rather than actual
end-users. Unsurprisingly, end-users are often unwilling to use XAI-based
decision support systems. Similarly, there is limited interdisciplinary
research on end-users' behavior during XAI explanations usage, rendering it
unknown how explanations may impact cognitive load and further affect end-user
performance. Therefore, we conducted an empirical study with 271 prospective
physicians, measuring their cognitive load, task performance, and task time for
distinct implementation-independent XAI explanation types using a COVID-19 use
case. We found that these explanation types strongly influence end-users'
cognitive load, task performance, and task time. Further, we contextualized a
mental efficiency metric, ranking local XAI explanation types best, to provide
recommendations for future applications and implications for sociotechnical XAI
research.Comment: Thirty-first European Conference on Information Systems (ECIS 2023
Requirements analysis for a collaborative platform in blockchain-based supply chain networks
No full textIn our globalized world, companies operate on an international market. To concentrate on their main competencies and be more competitive, they integrate into supply chain networks. However, these potentials also bear many risks. The emergence of an international market also creates pressure from competitors, forcing companies to collaborate with new and unknown companies in dynamic supply chain networks. In many cases, this can cause a lack of trust as the application of illegal practices and the breaking of agreements through complex and nontransparent supply chain networks pose a threat.
Blockchain technology provides a transparent, decentralized, and distributed means of chaining data storage and thus enables trust in its tamper-proof storage, even if there is no trust in the cooperation partners. The use of the blockchain also provides the opportunity to digitize, automate, and monitor processes within supply chain networks in real time.
The research project "Plattform für das integrierte Management von Kollaborationen in Wertschöpfungsnetzwerken" (PIMKoWe) addresses this issue. The aim of this report is to define requirements for such a collaboration platform. We define requirements based on a literature review and expert interviews, which allow for an objective consideration of scientific and practical aspects. An additional survey validates and further classifies these requirements as “essential”, “optional”, or “irrelevant”. In total, we have derived a collection of 45 requirements from different dimensions for the collaboration platform.
Employing these requirements, we illustrate a conceptual architecture of the platform as well as introduce a realistic application scenario. The presentation of the platform concept and the application scenario can provide the foundation for implementing and introducing a blockchain-based collaboration platform into existing supply chain networks in context of the research project PIMKoWe
Going Beyond Counting First Authors in Author Co-citation Analysis
Get PDFThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
Variations on the Author
Get PDF“Variations on the Author” discusses two of Eduardo Coutinho’s recent films (Um Dia na Vida, from 2010, and Últimas Conversas, posthumously released in 2015) and their contribution to the general question of documentary authorship. The director’s filmography is characterized by a consistent yet self-effacing form of authorial self-inscription: Coutinho often features as an interviewer that rather than express opinions propels discourses; an interviewer that is good at listening. This mode of self-inscription characterizes him as an author who is not expressive but who is nonetheless markedly present on the screen. In Um Dia na Vida, however, Coutinho is completely absent form the image, while Últimas Conversas, on the contrary, includes a confessional prologue that moves the director from the margins to the center of his films. This article examines the ways in which these works stand out in the filmography of a director who offers new insights into the notion of cinematic authorship
Appropriate Similarity Measures for Author Cocitation Analysis
Get PDFWe provide a number of new insights into the methodological discussion about author cocitation analysis. We first argue that the use of the Pearson correlation for measuring the similarity between authors’ cocitation profiles is not very satisfactory. We then discuss what kind of similarity measures may be used as an alternative to the Pearson correlation. We consider three similarity measures in particular. One is the well-known cosine. The other two similarity measures have not been used before in the bibliometric literature. Finally, we show by means of an example that our findings have a high practical relevance.information science;Pearson correlation;cosine;similarity measure;author cocitation analysis
HOW MUCH IS THE BLACK BOX? THE VALUE OF EXPLAINABILITY IN MACHINE LEARNING MODELS
Get PDFMachine learning enables computers to learn from data and fuels artificial intelligence systems with capabilities to make even super-human decisions. Yet, despite already outperforming preexisting methods and even humans for specific tasks in gaming or healthcare, machine learning faces several challenges related to the uncertainty of the analysis result’s trustworthiness beyond training and validation data. This is because many well-performing algorithms are black boxes to the user who – consequently – cannot trace and understand the reasoning behind a model’s prediction when taking or executing a decision. In response, explainable AI has emerged as a field of study to glass box the former black box models. However, current explainable AI research often neglects the human factor. Against this backdrop, we study from a user perspective the trade-off between completeness, as the accuracy of a model’s prediction, and interpretability, as the way of model prediction understanding. In particular, we evaluate how existing explainable AI model transfers can be used with a focus on the human recipient and derive recommendations for improvements. As a first step, we have identified eleven types of glass box models and defined the fundamentals of a well-founded survey design to understand better the factors that support interpretability and weighing them against improved yet black-boxed completeness
Der Einfluss von menschlichen Denkmustern auf künstliche Intelligenz – Eine strukturierte Untersuchung von kognitiven Verzerrungen
No full textKünstliche Intelligenz (KI) dringt vermehrt in sensible Bereiche des alltäglichen menschlichen Lebens ein. Es werden nicht mehr nur noch einfache Entscheidungen durch intelligente Systeme getroffen, sondern zunehmend auch komplexe Entscheidungen. So entscheiden z. B. intelligente Systeme, ob Bewerber in ein Unternehmen eingestellt werden sollen oder nicht. Oftmals kann die zugrundeliegende Entscheidungsfindung nur schwer nachvollzogen werden und ungerechtfertigte Entscheidungen können dadurch unerkannt bleiben, weshalb die Implementierung einer solchen KI auch häufig als sogenannte Blackbox bezeichnet wird. Folglich steigt die Bedrohung, durch unfaire und diskriminierende Entscheidungen einer KI benachteiligt behandelt zu werden. Resultieren diese Verzerrungen aus menschlichen Handlungen und Denkmustern spricht man von einer kognitiven Verzerrung oder einem kognitiven Bias. Aufgrund der Neuigkeit dieser Thematik ist jedoch bisher nicht ersichtlich, welche verschiedenen kognitiven Bias innerhalb eines KI-Projektes auftreten können. Ziel dieses Beitrages ist es, anhand einer strukturierten Literaturanalyse, eine gesamtheitliche Darstellung zu ermöglichen. Die gewonnenen Erkenntnisse werden anhand des in der Praxis weit verbreiten Cross-Industry Standard Process for Data Mining (CRISP-DM) Modell aufgearbeitet und klassifiziert. Diese Betrachtung zeigt, dass der menschliche Einfluss auf eine KI in jeder Entwicklungsphase des Modells gegeben ist und es daher wichtig ist "mensch-ähnlichen" Bias in einer KI explizit zu untersuchen
- …
