34 research outputs found
Scripts and data for the paper, "Improving Satellite Remote Sensing Estimates of the Global Terrestrial Hydrologic Cycle via Neural Network Modeling"
No full textSoftware and data for optimizing remote sensing water cycle datasets
This repository contains the training database and Matlab scripts for the neural
network (NN) modeling described in the paper, Improving Satellite Remote
Sensing Estimates of the Global Terrestrial Hydrologic Cycle via Neural Network
Modeling.
These files were created with Matlab R2022b, and require the following
toolboxes:
Deep Learning Toolbox v14.5
Statistics and Machine Learning Toolbox, v12.4
The training database includes the NN inputs and targets. The data files (.mat)
are in Matlab binary format, but should be readable by other software.
Inputs are a set of earth observation datasets, spatially averaged over
1,698 river basins. There are 10 variables, listed in Table 1 in the paper.
Targets are the optimal interpolation (OI) solutions for each
of the 4 major water cycle fluxes:
P, precipitation
E, evapotranspiration
R, runoff
ΔS, change in total water storage
The compressed folder `data` contains all of the data that are required to run
these scripts. Unzip this folder to the same directory with the scripts before
starting.
Inside `data`, the folder `grids05` contains the EO data over land on a
0.5° grid, for making predictions at the pixel scale. Another folder `partitions`
has up to 20 different experimental partitions, which divide the project river
basins into 80/20 sets for training and validation.
To perform the main calculations described in the paper, run these scripts,
in order:
- `_m1_calc_OI.m`
- `_m2_train_nn5.m`
- `_m3_pixel_predictions5.m`
The other `.m` files are custom Matlab functions that are called
by the scripts to perform various data analysis and plotting tasks.
The scripts expect the folders `plots` and `output` for writing plots and
output data files.
For any questions, please contact the author, Matthew Heberger,
[email protected]
Amélioration de l'observation du cycle de l'eau à l'échelle globale grâce à la télédétection par satellite et à la modélisation par réseaux de neurones
No full textSatellite remote sensing is commonly used to observe the hydrologic cycle at spatial scales ranging from river basins to the globe. Yet, it remains difficult to obtain a balanced water budget using remote sensing data, which highlights the errors and uncertainties in earth observation (EO) data. This research aimed to improve estimates of precipitation, evapotranspiration, runoff, and total water storage change at the global scale using a combination of analytical methods (optimal interpolation, OI) and statistical modeling methods including neural networks (NN). Models were trained on a set of 1,358~river basins and validated them on an independent set of 340~basins and in-situ observations of precipitation, evapotranspiration, and river discharge. The models are extended to make pixel-scale predictions in 0.5° grid cells for near-global coverage. Calibrated datasets result in lower water budget residuals in validation basins: the mean and standard deviation of the imbalance is 11±44 mm/mo when calculated with uncorrected EO data and 0.03±24 mm/mo after calibration by the NN models. The results allow us to make more accurate estimates of missing water cycle components, for example to estimate evapotranspiration in un-instrumented areas, or to predict discharge in ungaged basins. The results can also indicate to data producers where their products seem incoherent with other datasets and where enhanced calibration could lead to improvements. Finally, this research demonstrates the use of neural networks and machine learning for the integration of satellite data and for the study of the water cycle.La télédétection par satellite est couramment utilisée pour observer le cycle hydrologique à des échelles spatiales allant des bassins fluviaux au globe terrestre. Pourtant, il reste difficile d'obtenir un bilan hydrique équilibré en utilisant des données de télédétection, ce qui met en évidence les erreurs et les incertitudes des données d'observation de la Terre. Cette recherche visait à améliorer les estimations des précipitations, de l'évapotranspiration, de l'écoulement, et du changement du stockage total de l'eau à l'échelle mondiale en utilisant une combinaison de méthodes analytiques (interpolation optimale, OI) et de méthodes de modélisation statistique, y compris les réseaux neuronaux (NN). Les modèles ont été entraînés sur un ensemble de 1 358 bassins fluviaux et validés sur un ensemble indépendant de 340 bassins et sur des observations in situ des précipitations, de l'évapotranspiration et du débit des cours d'eau. Les modèles sont étendus pour faire des prévisions à l'échelle du pixel dans des cellules de grille de 0,5° pour une couverture quasi mondiale. Les ensembles de données calibrées donnent des résidus de bilan hydrique plus faibles dans les bassins de validation : la moyenne et l'écart-type du déséquilibre sont de 11±44 mm/mo lorsqu'ils sont calculés avec des données non corrigées et de 0,03±24 mm/mo après calibrage par les modèles NN. Les résultats nous permettent de faire des estimations plus précises des composantes manquantes du cycle de l'eau, par exemple pour estimer l'évapotranspiration dans les zones non instrumentées, ou pour prédire le débit dans les bassins non jaugés. Les résultats peuvent également indiquer aux producteurs de données où leurs produits semblent incohérents par rapport à d'autres ensembles de données et où un étalonnage plus poussé pourrait apporter des améliorations. Enfin, cette recherche démontre l'utilisation des réseaux neuronaux et de l'intelligence artificielle pour l'intégration des données satellitaires et pour l'étude du cycle de l'eau
Amélioration de l'observation du cycle de l'eau à l'échelle globale grâce à la télédétection par satellite et à la modélisation par réseaux de neurones
No full textSatellite remote sensing is commonly used to observe the hydrologic cycle at spatial scales ranging from river basins to the globe. Yet, it remains difficult to obtain a balanced water budget using remote sensing data, which highlights the errors and uncertainties in earth observation (EO) data. This research aimed to improve estimates of precipitation, evapotranspiration, runoff, and total water storage change at the global scale using a combination of analytical methods (optimal interpolation, OI) and statistical modeling methods including neural networks (NN). Models were trained on a set of 1,358~river basins and validated them on an independent set of 340~basins and in-situ observations of precipitation, evapotranspiration, and river discharge. The models are extended to make pixel-scale predictions in 0.5° grid cells for near-global coverage. Calibrated datasets result in lower water budget residuals in validation basins: the mean and standard deviation of the imbalance is 11±44 mm/mo when calculated with uncorrected EO data and 0.03±24 mm/mo after calibration by the NN models. The results allow us to make more accurate estimates of missing water cycle components, for example to estimate evapotranspiration in un-instrumented areas, or to predict discharge in ungaged basins. The results can also indicate to data producers where their products seem incoherent with other datasets and where enhanced calibration could lead to improvements. Finally, this research demonstrates the use of neural networks and machine learning for the integration of satellite data and for the study of the water cycle.La télédétection par satellite est couramment utilisée pour observer le cycle hydrologique à des échelles spatiales allant des bassins fluviaux au globe terrestre. Pourtant, il reste difficile d'obtenir un bilan hydrique équilibré en utilisant des données de télédétection, ce qui met en évidence les erreurs et les incertitudes des données d'observation de la Terre. Cette recherche visait à améliorer les estimations des précipitations, de l'évapotranspiration, de l'écoulement, et du changement du stockage total de l'eau à l'échelle mondiale en utilisant une combinaison de méthodes analytiques (interpolation optimale, OI) et de méthodes de modélisation statistique, y compris les réseaux neuronaux (NN). Les modèles ont été entraînés sur un ensemble de 1 358 bassins fluviaux et validés sur un ensemble indépendant de 340 bassins et sur des observations in situ des précipitations, de l'évapotranspiration et du débit des cours d'eau. Les modèles sont étendus pour faire des prévisions à l'échelle du pixel dans des cellules de grille de 0,5° pour une couverture quasi mondiale. Les ensembles de données calibrées donnent des résidus de bilan hydrique plus faibles dans les bassins de validation : la moyenne et l'écart-type du déséquilibre sont de 11±44 mm/mo lorsqu'ils sont calculés avec des données non corrigées et de 0,03±24 mm/mo après calibrage par les modèles NN. Les résultats nous permettent de faire des estimations plus précises des composantes manquantes du cycle de l'eau, par exemple pour estimer l'évapotranspiration dans les zones non instrumentées, ou pour prédire le débit dans les bassins non jaugés. Les résultats peuvent également indiquer aux producteurs de données où leurs produits semblent incohérents par rapport à d'autres ensembles de données et où un étalonnage plus poussé pourrait apporter des améliorations. Enfin, cette recherche démontre l'utilisation des réseaux neuronaux et de l'intelligence artificielle pour l'intégration des données satellitaires et pour l'étude du cycle de l'eau
Amélioration de l'observation du cycle de l'eau à l'échelle globale grâce à la télédétection par satellite et à la modélisation par réseaux de neurones
No full textLa télédétection par satellite est couramment utilisée pour observer le cycle hydrologique à des échelles spatiales allant des bassins fluviaux au globe terrestre. Pourtant, il reste difficile d'obtenir un bilan hydrique équilibré en utilisant des données de télédétection, ce qui met en évidence les erreurs et les incertitudes des données d'observation de la Terre. Cette recherche visait à améliorer les estimations des précipitations, de l'évapotranspiration, de l'écoulement, et du changement du stockage total de l'eau à l'échelle mondiale en utilisant une combinaison de méthodes analytiques (interpolation optimale, OI) et de méthodes de modélisation statistique, y compris les réseaux neuronaux (NN). Les modèles ont été entraînés sur un ensemble de 1 358 bassins fluviaux et validés sur un ensemble indépendant de 340 bassins et sur des observations in situ des précipitations, de l'évapotranspiration et du débit des cours d'eau. Les modèles sont étendus pour faire des prévisions à l'échelle du pixel dans des cellules de grille de 0,5° pour une couverture quasi mondiale. Les ensembles de données calibrées donnent des résidus de bilan hydrique plus faibles dans les bassins de validation : la moyenne et l'écart-type du déséquilibre sont de 11±44 mm/mo lorsqu'ils sont calculés avec des données non corrigées et de 0,03±24 mm/mo après calibrage par les modèles NN. Les résultats nous permettent de faire des estimations plus précises des composantes manquantes du cycle de l'eau, par exemple pour estimer l'évapotranspiration dans les zones non instrumentées, ou pour prédire le débit dans les bassins non jaugés. Les résultats peuvent également indiquer aux producteurs de données où leurs produits semblent incohérents par rapport à d'autres ensembles de données et où un étalonnage plus poussé pourrait apporter des améliorations. Enfin, cette recherche démontre l'utilisation des réseaux neuronaux et de l'intelligence artificielle pour l'intégration des données satellitaires et pour l'étude du cycle de l'eau.Satellite remote sensing is commonly used to observe the hydrologic cycle at spatial scales ranging from river basins to the globe. Yet, it remains difficult to obtain a balanced water budget using remote sensing data, which highlights the errors and uncertainties in earth observation (EO) data. This research aimed to improve estimates of precipitation, evapotranspiration, runoff, and total water storage change at the global scale using a combination of analytical methods (optimal interpolation, OI) and statistical modeling methods including neural networks (NN). Models were trained on a set of 1,358~river basins and validated them on an independent set of 340~basins and in-situ observations of precipitation, evapotranspiration, and river discharge. The models are extended to make pixel-scale predictions in 0.5° grid cells for near-global coverage. Calibrated datasets result in lower water budget residuals in validation basins: the mean and standard deviation of the imbalance is 11±44 mm/mo when calculated with uncorrected EO data and 0.03±24 mm/mo after calibration by the NN models. The results allow us to make more accurate estimates of missing water cycle components, for example to estimate evapotranspiration in un-instrumented areas, or to predict discharge in ungaged basins. The results can also indicate to data producers where their products seem incoherent with other datasets and where enhanced calibration could lead to improvements. Finally, this research demonstrates the use of neural networks and machine learning for the integration of satellite data and for the study of the water cycle
Amélioration de l'observation du cycle de l'eau à l'échelle globale grâce à la télédétection par satellite et à la modélisation par réseaux de neurones
No full textSatellite remote sensing is commonly used to observe the hydrologic cycle at spatial scales ranging from river basins to the globe. Yet, it remains difficult to obtain a balanced water budget using remote sensing data, which highlights the errors and uncertainties in earth observation (EO) data. This research aimed to improve estimates of precipitation, evapotranspiration, runoff, and total water storage change at the global scale using a combination of analytical methods (optimal interpolation, OI) and statistical modeling methods including neural networks (NN). Models were trained on a set of 1,358~river basins and validated them on an independent set of 340~basins and in-situ observations of precipitation, evapotranspiration, and river discharge. The models are extended to make pixel-scale predictions in 0.5° grid cells for near-global coverage. Calibrated datasets result in lower water budget residuals in validation basins: the mean and standard deviation of the imbalance is 11±44 mm/mo when calculated with uncorrected EO data and 0.03±24 mm/mo after calibration by the NN models. The results allow us to make more accurate estimates of missing water cycle components, for example to estimate evapotranspiration in un-instrumented areas, or to predict discharge in ungaged basins. The results can also indicate to data producers where their products seem incoherent with other datasets and where enhanced calibration could lead to improvements. Finally, this research demonstrates the use of neural networks and machine learning for the integration of satellite data and for the study of the water cycle.La télédétection par satellite est couramment utilisée pour observer le cycle hydrologique à des échelles spatiales allant des bassins fluviaux au globe terrestre. Pourtant, il reste difficile d'obtenir un bilan hydrique équilibré en utilisant des données de télédétection, ce qui met en évidence les erreurs et les incertitudes des données d'observation de la Terre. Cette recherche visait à améliorer les estimations des précipitations, de l'évapotranspiration, de l'écoulement, et du changement du stockage total de l'eau à l'échelle mondiale en utilisant une combinaison de méthodes analytiques (interpolation optimale, OI) et de méthodes de modélisation statistique, y compris les réseaux neuronaux (NN). Les modèles ont été entraînés sur un ensemble de 1 358 bassins fluviaux et validés sur un ensemble indépendant de 340 bassins et sur des observations in situ des précipitations, de l'évapotranspiration et du débit des cours d'eau. Les modèles sont étendus pour faire des prévisions à l'échelle du pixel dans des cellules de grille de 0,5° pour une couverture quasi mondiale. Les ensembles de données calibrées donnent des résidus de bilan hydrique plus faibles dans les bassins de validation : la moyenne et l'écart-type du déséquilibre sont de 11±44 mm/mo lorsqu'ils sont calculés avec des données non corrigées et de 0,03±24 mm/mo après calibrage par les modèles NN. Les résultats nous permettent de faire des estimations plus précises des composantes manquantes du cycle de l'eau, par exemple pour estimer l'évapotranspiration dans les zones non instrumentées, ou pour prédire le débit dans les bassins non jaugés. Les résultats peuvent également indiquer aux producteurs de données où leurs produits semblent incohérents par rapport à d'autres ensembles de données et où un étalonnage plus poussé pourrait apporter des améliorations. Enfin, cette recherche démontre l'utilisation des réseaux neuronaux et de l'intelligence artificielle pour l'intégration des données satellitaires et pour l'étude du cycle de l'eau
mheberger/delineator: 1.1
No full text<p>Version 1.1 fixes a bug that occurred rarely where the script created a shapely MultiPolygon instead of the expected Polygon.</p>
Assessing Socio-Economic Vulnerability to Climate Change in California
No full textAssessing the Local Impacts of Climate Chang
