ADDI
Not a member yet
47763 research outputs found
Sort by
Evaluation Metrics for Retrieval Augmented Generation in the Scientific Domain
No full textRetrieval-Augmented Generation represents the state-of-the-art approach to perform questionanswering
(QA) tasks in the scientific domain. This system combines a powerful generative
component, capable of producing grammatically sound and readable answers, with a retrieval
component that efficiently locates specific information within a large corpus of documents. As
such, RAG systems are particularly well-suited to address the complexities inherent in this task.
However, evaluating the accuracy and quality of the generated answers remains a significant
challenge.
The aim of this thesis was to find an effective method for assessing RAG performance in a
scientific QA task. To this end, we conducted an extensive review of the current automatic evaluation
metrics in use. The most common approach involves comparing generated answers with
a reference produced by humans. Such comparison can focus on the form (lexical similarity), the
content (semantic similarity), or on a deeper analysis through the use of Large Language Models
(model-based). Each of these approaches has well-documented advantages and drawbacks,
making it necessary to rigorously test their reliability and effectiveness in this context.
To explore this, we selected representative metrics from each category and designed three
progressively complex experiments to challenge them and analyze their behavior: 1) Can the
metrics distinguish between correct and incorrect answers? 2) Can they differentiate between
answers of varying quality, particularly when they deviate in form or content from the reference?
3) Do the metrics align with human preferences?
The strengths and limitations of these metrics were empirically examined. Findings showed
that at the most basic level — distinguishing clearly correct from incorrect answers — all metrics
had a good performance to varying degrees. However, when they faced more nuanced challenges,
as to differentiate between variations in form or content when comparing higher and lower-quality
answers, both lexical and semantic similarity metrics struggled. Therefore, model-based metrics
demonstrated greater flexibility and reliability. Nevertheless, in the final experiment, none of the
evaluation methods—across all categories—aligned consistently with human judgment. In fact,
most of the metrics exhibited divergence from human preferences.
Consequently, no metric met performance expectations in all scenarios. Nonetheless, we were
able to provide a comprehensive analysis of their behavior, strengths, and limitations. As a
conclusion, we propose that for assessing the performance of a RAG system in scientific QA
model-based metrics appear to be the most effective, particularly in distinguishing correct from
incorrect answers and in differentiating varying levels of answer quality. However, further research
is needed to better align these metrics with human judgment. Moreover, findings suggest that
relying solely on human-generated reference answers as benchmarks may not effectively capture
human preferences. Instead, future evaluation frameworks could integrate human preferences
directly into the evaluation process.
By shedding light on the performance of current evaluation methods and advocating for a
shift toward model-based metrics that better incorporate human preferences, this thesis aims
to contribute to the field of QA evaluation and guide future research towards developing more
reliable and robust evaluation frameworks
El impacto de las competencias sociales en la gestión del conocimiento en empresas de servicios en España
No full textLa gestión del conocimiento es un proceso fundamental que influye significativamente en el logro de los objetivos generales en las empresas de servicio. Asimismo, las competencias sociales de los colaboradores representan un papel crucial en la planificación y ejecución de dicha gestión. Es por esto, que existe una motivación por contrastar la teoría existente sobre la gestión del conocimiento con la realidad que enfrentan las empresas de servicios en España. Los objetivos planteados se centraron en evaluar la relación entre las competencias sociales y la gestión del conocimiento, con el fin de identificar obstáculos y áreas de mejora en la gestión organizacional. La investigación emplea una metodología cuantitativa para analizar las percepciones de los empleados sobre la eficacia de la gestión del conocimiento en sus organizaciones, así como el impacto de las competencias sociales en dicho proceso. Utilizando tres correlaciones de Pearson y un correlograma, los hallazgos revelan que, la falta de tiempo es el principal obstáculo para la gestión del conocimiento (58.8% de la participación), si bien las empresas de servicios reconocen el valor intrínseco de la gestión del conocimiento, muchas carecen de procesos estructurados, y se presenta como una barrera ante las intenciones tanto empresariales como individuales de gestionar conocimiento. La cultura de aprendizaje y conocimiento compartido es valorada, pero la falta de capacitación constante en habilidades sociales (65% de la participación) también es un factor influyente que limita el desarrollo de competencias esenciales para la creación, colaboración y el intercambio de conocimiento. Finalmente, se presenta una correlación positiva moderada entre la cultura empresarial de aprendizaje y la efectividad de la comunicación, así como la comodidad para expresar ideas y la frecuencia en los procesos de retroalimentación a nivel empresarial
Characteristics of transparent information: A stakeholder approach in Spanish Non‑Profit Organisations
No full textNon-profit organisations (NPOs) are increasingly required to be more transparent.
However, the characteristics of the information to be disclosed in the non-profit sector have not been analysed sufficiently in the literature, nor have the perceptions of
different stakeholders. This study aims to determine the characteristics of the information that the main stakeholders of NPOs consider to be most related to transparency. To this end, the opinions of more than 600 stakeholder members from nearly
400 NPOs were gathered. The findings show that the characteristics perceived by
NPO stakeholders that are most related to transparency are comparability, completeness, objectivity, verifiability and reliability. However, the results vary for different
types of stakeholders. This research demonstrates the complexity of defining the
characteristics of the information to be provided by NPOs to be considered transparent by stakeholders. Evidence suggests that regulations should move towards standardising the content and format used for NPO informationOpen Access funding provided thanks to the CRUE-CSIC agreement with Springer Nature. This study was financially supported by the Basque Government–Eusko Jaurlaritza. Grant: IT 1523–22
A Two-Layer Energy Management Strategy for Networks Including Flexible Industrial Energy Hubs
No full text202 p.The main purpose of this thesis is to propose a comprehensive two-layer energy management strategy to optimize the operation of industrial energy hubs within multi-energy networks. The approach pursue minimizing energy losses in the energy networks while maximizing the financial gains of flexible industrial energy hubs through participation in energy, reactive power, and day-ahead reserve regulation markets. This is achieved via a bi-level optimization model including upper-level which model expected energy losses minimization in electrical, gas and heat networks under the constrain of optimal power flow of these networks, while the economic benefits maximization of industrial energy hubs in energy, reactive power and reserve markets is pursued in lower level problem. To enhance computational efficiency, a Karush-Kuhn-Tucker (KKT)-based method is employed to convert the bi-level problem into a single-level formulation, while combined stochastic-robust planning addresses uncertainties in load, market prices, renewable output, reservation demand, and mobile storages. An extension further incorporates renewable/non-renewable resources, hydrogen and thermal storages, and electric car chargers with a fuzzy decision-making process for compromise solutions.Validation through extensive numerical case studies confirms that the proposed methods yield substantial benefits¿achieving up to 28.5% reduction in energy losses, 39% lower maximum temperature, and 27.8% decreased voltage drop¿while maintaining robust profitability, full hub flexibility, and resilience against prediction error
Situación de la empresa energética OSM, S.A. y su efecto en los informes de auditoría. Estudio individual y sectorial
No full textEl presente Trabajo de Fin de Grado (TFG) se centra en el estudio del sector energético de España mediante la comparación de una de las empresas más punteras del sector como es OSM, S.A., la cual tiene el nombre modificado por cuestiones mencionadas más adelante, con las empresas más influyentes del sector.
A lo largo del trabajo se han abordado diferentes aspectos relacionados con la situación económico-financiera de la sociedad, concretamente en el período comprendido entre 2020 y 2023. Se ha desarrollado un estudio comparando los datos de dicha empresa en España con los del sector, en cuestiones como la autonomía, la liquidez y la rentabilidad. Los datos fundamentales del estudio se han obtenido a partir de los estados financieros publicados por la propia empresa, así como los correspondientes al sector.
Por otro lado, se efectuará un estudio comparativo de los informes de auditoría de OSM ESPAÑA S.A. y los de las empresas más influyentes del sector, analizando los aspectos clave de cada uno de ellos y su relevancia a la hora de analizar el sector objeto de análisis.
En definitiva, se trata de obtener la información justa y necesaria para ejecutar la correcta comparación de las empresas más importantes del sector, y presentar unas conclusiones sobre la situación actual de OSM ESPAÑA S.A. dentro del mercado de una forma fiable y precisa
Control avanzado de un filtro activo en convertidores de alta potencia conectados a la red eléctrica
No full textEste trabajo se enmarca en la tesis de Irati Ibañez Hidalgo titulada: “Real-time implementation of low-switching frequency modulation strategies for active power filters”. La presente investigación presenta un trabajo en el que se diseña el control de un APF (Filtro Activo de Potencia) utilizando un convertidor 3L NPC (Punto Neutro Fijado) con un modulador SHC-PWM (Modulación por Ancho de Pulsos mediante Control Selectivo de Armónicos), unas medidas por medio de un Filtro de Kalman y un control MPC (Control Predictivo del Modelo). En concreto, este trabajo presenta una solución para la minimización del error en régimen permanente de este tipo de estructuras. Para ello, se han implementado distintas técnicas de corrección del error estacionario, en donde posteriormente se ha propuesto la técnica novedosa. Esta implementación y comparación se ha llevado a cabo utilizando el software Matlab-Simulink. Finalmente, se concluye que la técnica propuesta es capaz de corregir el error en régimen permanente de este tipo de sistemas, habilitando los convertidores de alta potencia para este tipo de aplicaciones
Futboleko partiduaren hasiera orduak epaileen hautemandako esfortzuan duen eragina
Get PDFIkerketa honek futbol partiduaren orduak epaileen hautemandako esfortzuan duen eragina aztertu du. Guztira 23 futbol partidu aztertu ondoren, goizean epaitzeak esfortzu handiagoa eragiten duela ondorioztatu da, bai partiduko bi zatietan bai partidu osoan. Hala ere, ez da ikusi partiduaren orduak epaileen ongizate psikofisikoan eraginik duenik. Ondorioz, goizeko partiduetan karga fisikoa handiagoa izan daitekeela kontuan hartuta, garrantzitsua litzateke partiduaren orduak epaileen karga fisikoan duen eragina aztertzea aldagai objektiboen bitartez, hala nola bihotz-maiztasuna edo GPS bidezko karga. Ikerketa honek epaileen entrenamendu-estrategiak optimizatzeko baliagarri izan daitezkeen datuak eskaintzen ditu
Construccions causatives en gascó
Get PDFThe causative construction in Gascon consists of the causative factitive verb hér ‘make’, the main
verb, and a lexical verb in the infinitive form, the embedded verb, preceded by the preposition ɑ. We will
show that this construction is the result of restructuring (Rizzi 1976, 1978; Burzio 1986) or clɑuse union
(Aissen & Perlmutter 1976) of the causative and the embedded verb. These two verbs form a complex
predicate ‘hèr-infinitive’ that heads a single clause and not a biclausal construction (Aissen 1979; Aissen
& Perlmutter 1976; Rizzi 1978, 1982; Burzio 1986; Wurmbrand 2003). In this paper, we will explore
several diagnostics, such as case marking of the causee and clitic-climbing. On the basis of this evidence,
we will claim that this causative construction in Gascon is really monoclausal.Eusko Jaurlaritza (IT1439-22) eta Zientzia, Berrikuntza eta Unibertsitaeetako Ministerioa (PID2023-147383NBI00)
El fondo fiduciario de la Unión Europea para Colombia. Innovaciones, aprendizajes y desafíos en su enfoque para la construcción de paz
Get PDF107 p.Esta tesis doctoral analiza de manera crítica el funcionamiento del Fondo Fiduciario de la Unión Europea (UE) para Colombia entre 2016 y 2024, como instrumento clave para la implementación del Acuerdo de Paz firmado con las FARC-EP. Desde una mirada multidimensional, la investigación examina la intersección entre los modelos de paz liberal y los nuevos enfoques que emergen desde la cooperación internacional y los grandes donantes, considerando el diseño, la operación y los efectos del Fondo en la reincorporación de los excombatientes, el desarrollo rural y territorial, y el fortalecimiento de la gobernanza local. La tesis se compone de tres publicaciones, complementarias entre sí, que abordan los siguientes aspectos: (i) planificación estratégica del Fondo, su ejecución operativa y el desarrollo de su portafolio de proyectos; (ii) el enfoque multinivel y los elementos innovadores que ha guiado el apoyo al proceso de reincorporación, haciendo énfasis en su carácter colectivo y las estrategias de economía social y solidaria; (iii) las sinergias entre las metodologías de desarrollo económico local y los procesos de integración socioeconómica y reconciliación impulsados en la comunidad de Aguabonita. La investigación se basa en una detallada revisión documental y un amplio trabajo de campo, incluyendo numerosas entrevistas con actores clave de las instituciones, organizaciones y poblaciones involucradas. La tesis alimenta el debate sobre los modelos híbridos de construcción de paz y aporta evidencia empírica sobre las fortalezas y limitaciones de los esquemas de financiación multilateral en contextos de posconflicto, ofreciendo insumos para el diseño de futuros instrumentos de cooperación internacional y mecanismos de financiación y estabilización en comunidades fuertemente afectadas por la violenci
ATO Subsystem Development for CBTC-Based Railways: Trajectory Planning and Intelligent Refinement.
Get PDF183 p.Esta tesis presenta el diseño e implementación de una arquitectura de control jerárquica para el subsistema de operación automática de trenes (ATO) en entornos CBTC, orientada a aplicaciones con altos niveles de automatización (GoA3¿GoA4). La arquitectura se estructura en tres capas interrelacionadas: la capa macroscópica define los objetivos globales y restricciones operativas (como velocidades objetivo o límites de velocidad); la capa mesoscópica se encarga de planificar trayectorias mediante un algoritmo iterativo basado en modelos de orden reducido, integrando criterios de posicionamiento, tiempo y cumplimiento de restricciones; y la capa microscópica ejecuta el seguimiento de consignas mediante una estrategia de control avanzado en cascada con elementos feedforward, anti-windup y priorización dinámica de acciones para mejorar el rendimiento en frenadas.Además, se desarrolla un observador de perturbaciones basado en regresión, capaz de estimar la magnitud y localización de fuerzas externas adversas, permitiendo adaptar la planificación de manera dinámica y mejorar la operación de trenes sucesivos. La arquitectura propuesta ha sido validada mediante simulación detallada, demostrando una elevada precisión en condiciones realistas y un equilibrio entre rendimiento, robustez y eficiencia computacional. Su diseño modular y escalable ofrece una base sólida para futuras extensiones hacia lacoordinación de múltiples trenes en redes ferroviarias compleja