Climate Payouts to Smallholders

import { makeChoropleth, mergeDataToBoundaries } from "/helpers/atlasMap.ojs";

import { downloadPngButton } from "/helpers/uiComponents.ojs";

import { chartStyle, formatNumCompactShort, inputTemplate } from "/helpers/std.ojs";

OverviewVue d’ensemble

Agriculture supports the livelihoods of over 2.5 billion people, mostly in low-income developing countries. Food production is largely dependent on weather, and the variability of heat and rain in the growing season can lead to high yields or conversely, damaged plants and poor harvests. Agriculture, relative to other industries, bears a disproportionate 63% share of loss and damage from disasters such as drought, flooding, pest and disease. These losses, between 2008-2018, represent 108.5B USD lost due to declines in crop and livestock production in LMICs following disasters, with over 30B lost in Africa alone. Of these disasters, drought and floods represent the largest source of agricultural losses at 34% and 19% respectively.

Farmers are not often well equipped to deal with these losses and it can represent a significant source of economic hardship, particularly in the global south where crop insurance and farmer assistance programs are lacking. Given the variability in weather and affected farms, it is also not always abundantly clear which farms are most impacted and where. The scale of the systems required for making these payouts is poorly understood, but critical for implementation down the road. This includes improvements in payment systems and recovery supports needed as well better forecasting the size of programs needed for adaptation and risk reduction, given future climate scenarios.

In this notebook we estimate the number of farms that will likely face losses or lost revenue due to extreme events as well as what states/provinces in African countries will be most impacted, using farm size distributions and historical and future extreme event occurence. We also estimate the average number of farms that will need paying out, numbers that are crucial for the development of programs and policies to address these challenges and inequities.

L’agriculture soutient les moyens de subsistance de plus de 2,5 milliards de personnes, majoritairement dans des pays en développement à faible revenu. La production alimentaire dépend largement des conditions météorologiques, et la variabilité de la chaleur et des précipitations pendant la saison de culture peut se traduire par de bons rendements ou, à l’inverse, par des plants endommagés et de mauvaises récoltes. Comparée aux autres secteurs, l’agriculture supporte une part disproportionnée des pertes et préjudices — 63 % — liés aux catastrophes telles que les sécheresses, les inondations, les ravageurs et les maladies. Entre 2008 et 2018, ces pertes représentent 108,5 milliards de dollars US perdus en raison du recul de la production végétale et animale dans les pays à revenu faible et intermédiaire à la suite de catastrophes, dont plus de 30 milliards pour la seule Afrique. Parmi ces catastrophes, les sécheresses et les inondations constituent la principale source de pertes agricoles, avec respectivement 34 % et 19 %.

Les agriculteurs sont rarement bien équipés pour faire face à ces pertes, qui peuvent représenter une source majeure de difficultés économiques, en particulier dans les pays du Sud où l’assurance récolte et les programmes d’aide aux agriculteurs font défaut. Compte tenu de la variabilité du climat et des exploitations touchées, il n’est pas toujours évident de savoir quelles exploitations sont les plus affectées, ni où. L’ampleur des dispositifs nécessaires pour verser ces indemnisations reste mal comprise, alors qu’elle est déterminante pour leur mise en œuvre future. Cela suppose d’améliorer les systèmes de paiement et les soutiens à la reconstitution, et de mieux anticiper la taille des programmes d’adaptation et de réduction des risques requis selon les scénarios climatiques futurs.

Dans ce notebook, nous estimons le nombre d’exploitations susceptibles de subir des pertes ou des pertes de revenus à la suite d’événements extrêmes, ainsi que les États et provinces des pays africains qui seront les plus touchés, à partir des distributions de taille des exploitations et de l’occurrence historique et future des événements extrêmes. Nous estimons également le nombre moyen d’exploitations à indemniser — des chiffres essentiels à l’élaboration de programmes et de politiques répondant à ces défis et à ces inégalités.

Farmers & Farm Size in AfricaAgriculteurs et taille des exploitations en Afrique

Agriculture is a key industry in Africa, where 50% of the region’s workforce engages in farming and it accounts for 15% of the continent’s GDP. Smallholders, small-scale farmers that manage areas varying from less than 1 hectare to 20 hectares, make up the majority of Africa’s farms and provide up to 80% of the food supply to the continent. The number of farms by farm class size differ by countries across Africa, and there are expected shifts in the distribution by 2050. Here you can explore the number of farms by farm class size across the countries and sub-national regions in Africa and how they are predicted to change by 2050.

L’agriculture est un secteur essentiel en Afrique, où 50 % de la population active travaille dans les champs et où elle représente 15 % du PIB du continent. Les petits exploitants — les agriculteurs qui cultivent des surfaces allant de moins d’un hectare à vingt hectares — constituent la majorité des exploitations africaines et fournissent jusqu’à 80 % de l’approvisionnement alimentaire du continent. Le nombre d’exploitations par classe de taille varie d’un pays africain à l’autre, et la distribution devrait évoluer d’ici 2050. Vous pouvez explorer ici le nombre d’exploitations par classe de taille dans les pays et les régions sous-nationales d’Afrique, ainsi que leur évolution prévue à l’horizon 2050.

viewof fig1_inputs = renderS1_inputs()

fig1aMap = plotMap(fig1a_spatial, "value")

downloadPngButton(fig1aMap, {
  filename: "lossdamage_farm_size_map.png",
  label: nbText.General.downloadFigure,
})

renderS1_insight()

Loss from Extreme EventsPertes liées aux événements extrêmes

As shown there is largely variability in the number of farms and farm size across the African continent. Farms are differently affected by natural hazards such as drought and floods, some of which can be attributed to the size of the farm. The predicted probability of loss and predicted probability of lost revenue, we show, is related to farm size as well as the type of hazard. Using the dropdowns you can explore these relationships between farm size and loss or lost revenue by type of hazard.

Comme nous venons de le voir, le nombre et la taille des exploitations varient fortement à travers le continent africain. Les exploitations ne sont pas affectées de la même manière par les aléas naturels tels que les sécheresses et les inondations, et une partie de ces écarts s’explique par leur taille. Nous montrons que la probabilité prédite de perte et la probabilité prédite de perte de revenus sont liées à la taille de l’exploitation ainsi qu’au type d’aléa. Les menus déroulants vous permettent d’explorer ces relations entre la taille de l’exploitation et les pertes ou les pertes de revenus, par type d’aléa.

viewof fig2_inputs = renderS2_inputs()

fig2Plot = renderS2_plot()

downloadPngButton(fig2Plot, {
  filename: "lossdamage_extreme_event_loss.png",
  label: nbText.General.downloadFigure,
})

renderS2_insight()

Model Ensembles are Conservative Estimates of Extreme EventsLes ensembles de modèles donnent des estimations prudentes des événements extrêmes

To estimate the potential loss and lost revenue by farm size both historically and in the future for African farms, we need to determine the occurrence and frequency of extreme events. To determine these events we use the Standardized Precipitation-Evapotranspiration Index (SPEI), which is a multi-scalar drought index which can be used to determine very dry and very wet conditions. Extreme events were defined as years when SPEI values exceeded ±1, corresponding to very wet or very dry conditions. These modeled events were validated against the EM-DAT disaster database to confirm that the SPEI-based approach captured the timing and spatial distribution of major historical droughts and floods. Five models from the 6th Coupled Model Intercomparison Project (CMIP6) which have been identified as having high performance for simulating climate in Africa were used to develop an ensemble average for the historical period (1995-2014) as well as two future scenarios (2040-2060): SPP245, a middle of the road emissions scenario and SSP585, a high emissions scenario. We show the ensemble means, which we use to estimate loss and lost revenue in the next section, are remarkably conservative compared to the CMIP6 model outputs for both very wet and very dry conditions.

Pour estimer les pertes potentielles et les pertes de revenus par taille d’exploitation, tant sur la période historique que pour l’avenir des exploitations africaines, il faut déterminer l’occurrence et la fréquence des événements extrêmes. Nous identifions ces événements à l’aide de l’indice standardisé de précipitations et d’évapotranspiration (SPEI), un indice de sécheresse multi-scalaire permettant de caractériser les conditions très sèches et très humides. Les événements extrêmes sont définis comme les années où les valeurs du SPEI dépassent ±1, ce qui correspond à des conditions très humides ou très sèches. Ces événements modélisés ont été validés à l’aide de la base de données de catastrophes EM-DAT, afin de confirmer que l’approche fondée sur le SPEI restitue bien la chronologie et la distribution spatiale des principales sécheresses et inondations historiques. Cinq modèles du sixième projet d’intercomparaison de modèles couplés (CMIP6), identifiés comme performants pour simuler le climat africain, ont servi à construire une moyenne d’ensemble pour la période historique (1995-2014) ainsi que pour deux scénarios futurs (2040-2060) : SSP245, un scénario d’émissions intermédiaire, et SSP585, un scénario d’émissions élevées. Nous montrons que les moyennes d’ensemble, utilisées dans la section suivante pour estimer les pertes et les pertes de revenus, sont remarquablement prudentes par rapport aux sorties des modèles CMIP6, pour les conditions très humides comme très sèches.

fig3Plot = renderS3_plot()

downloadPngButton(fig3Plot, {
  filename: "lossdamage_model_ensembles.png",
  label: nbText.General.downloadFigure,
})

Quick Insights for Extreme EventsAperçus rapides sur les événements extrêmes

The number of very dry events are expected to increase by 2040–2060 for both SSP245 and SSP585.

The number of very wet events are expected to decrease by 2040–2060 for both SSP245 and SSP585.

The number of very dry and very wet events are lower for the ensemble average compared to individual models, with high model variability.

Le nombre d’événements très secs devrait augmenter à l’horizon 2040-2060, pour SSP245 comme pour SSP585.

Le nombre d’événements très humides devrait diminuer à l’horizon 2040-2060, pour SSP245 comme pour SSP585.

Le nombre d’événements très secs et très humides est plus faible pour la moyenne d’ensemble que pour les modèles individuels, avec une forte variabilité entre modèles.

Loss by Farm Type: Historical and FuturePertes par type d’exploitation : historique et projections

As we have outlined above, agriculture in critical to Africa and there is diversity in terms of the number of farms by farm size class across the country. Extreme weather such as droughts and floods, which are exacerbated by climate change as we show above, can cause losses on farms which in turn results in lost revenue, and both of these vary by farm size class. Below the map illusrates the average number of farms that experience extreme events (very wet or very dry) over the time period. We can also explore the number of farms that have likely been affected by losses due to extreme events such as very dry and very wet conditions in our baseline period (1995-2014) and could be potentially be impacted under future climate scenarios (SSP245 or SSP585). Furthermore, you can also explore the amount of revenue that could potentially be lost on these farms under either the baseline period or future climate scenarios for very dry and very wet events without additional adaptation.

Comme nous l’avons souligné plus haut, l’agriculture est essentielle pour l’Afrique et le nombre d’exploitations par classe de taille varie considérablement d’un pays à l’autre. Les phénomènes météorologiques extrêmes, tels que les sécheresses et les inondations, aggravés par le changement climatique comme nous l’avons montré, peuvent provoquer des pertes sur les exploitations et donc des pertes de revenus, l’un et l’autre variant selon la classe de taille. La carte ci-dessous illustre le nombre moyen d’exploitations exposées à des événements extrêmes (très humides ou très secs) sur la période considérée. Vous pouvez également explorer le nombre d’exploitations probablement affectées par des pertes dues à des événements extrêmes — conditions très sèches ou très humides — sur notre période de référence (1995-2014), ainsi que celles susceptibles d’être touchées selon les scénarios climatiques futurs (SSP245 ou SSP585). Enfin, vous pouvez examiner le montant des revenus qui pourraient être perdus sur ces exploitations, sur la période de référence ou selon les scénarios climatiques futurs, pour les événements très secs et très humides, en l’absence d’adaptation supplémentaire.

viewof fig4_inputs = renderS4_inputs()

fig4aMap = plotMap(fig4a_spatial, "high_fs")

downloadPngButton(fig4aMap, {
  filename: "lossdamage_high_farm_size_map.png",
  label: nbText.General.downloadFigure,
})

fig4bPlot = renderS4b_plot()

downloadPngButton(fig4bPlot, {
  filename: "lossdamage_loss_by_farm_type.png",
  label: nbText.General.downloadFigure,
})

renderS4b_insight()

SummaryRésumé

Climate change will significantly impact farms, their productivity and farmer’s livelihoods on the African continent. This will have weighty implications for food security, economic development, human health, and vulnerable rural communities. Disaster events are worsening and the impact of climate change-driven extreme events such as droughts and floods depend not only on the climate scenarios, such as forcing and warming under SSP245 or SSP585, but also on different farm size classes. Overall, although losses worsen for both very dry and very wet conditions for larger farm sizes, the proportion of revenue lost is highest for the smallest farms who usually have the least ability to weather such economic shocks. Looking to the future, we see that the incidence of loss and damage to farms in Africa is expected to increase with higher probabilities of extreme events and a greater number of farms. There are a number of solutions that have been proposed to address this challenge of increasing climate-change driven losses on farms, including improved farmer assistance programs, broadening crop insurance programs and their payouts, expanding irrigation infrastructure and through improved seeds and training. Multi-party funds meant to directly address loss and damage through adaptation programs.

Le changement climatique aura des répercussions considérables sur les exploitations agricoles du continent africain, sur leur productivité et sur les moyens de subsistance des agriculteurs. Les conséquences seront lourdes pour la sécurité alimentaire, le développement économique, la santé humaine et les communautés rurales vulnérables. Les catastrophes s’aggravent, et l’impact des événements extrêmes induits par le changement climatique, comme les sécheresses et les inondations, dépend non seulement des scénarios climatiques — forçage et réchauffement sous SSP245 ou SSP585 — mais aussi des classes de taille des exploitations. Globalement, si les pertes s’aggravent avec la taille des exploitations pour les conditions très sèches comme très humides, la proportion de revenus perdus est la plus élevée pour les plus petites exploitations, qui sont généralement les moins à même d’absorber de tels chocs économiques. À l’avenir, l’incidence des pertes et préjudices subis par les exploitations africaines devrait augmenter, sous l’effet d’une probabilité accrue d’événements extrêmes et d’un nombre plus élevé d’exploitations. Plusieurs solutions ont été proposées pour répondre à cette augmentation des pertes agricoles liées au changement climatique : renforcement des programmes d’aide aux agriculteurs, élargissement des dispositifs d’assurance récolte et de leurs indemnisations, extension des infrastructures d’irrigation, amélioration des semences et formation. Des fonds multipartites visent par ailleurs à traiter directement les pertes et préjudices au travers de programmes d’adaptation.

MethodsMéthodes

Farm size projections

We integrate spatial, demographic, and agricultural datasets to generate harmonized projections of African farm size distributions from 2000 to 2060. Spatial farm structure data from the CIAT/LUGE Smallholder Map were combined with demographic projections from Mehrabi et al. 2023 and validated against the FAO World Census of Agriculture, alongside auxiliary sources such as Ricciardi et al. (2018) and Aliber & Hart (2009). For each country and administrative unit, representative farm sizes were sampled from uniform or log-normal distributions by size class, weighted by farm counts, and corrected via a mean-shift algorithm to align with projected agricultural area totals. Corrected samples were rebinned into standardized size categories and adjusted according to one of three data availability cases—full data (spatial + demographic), demographic-only, or spatial-only—using proportional scaling, dependent on data availability. Missing values were filled using country or continental means, and all outputs were validated to ensure consistency with farm totals, agricultural area, and realistic distributional shapes. The resulting harmonized dataset provides subnational farm size distributions for all African countries at decadal intervals through 2000-2060.

Loss and proportion of lost revenue probabilities

We examine how agricultural production losses from climate shocks (droughts and floods) vary as a function of farm size using harmonized household survey data from 17 countries across Africa, Asia, and Latin America. The study employs a dataset developed by Mehrabi, Fortin, and Ramankutty, which integrates household-level farm size, reported production losses, and corresponding climatic indicators. Two main model types were implemented: (1) binary loss models estimating the probability of experiencing a climate-induced production loss, and (2) continuous loss models quantifying the percentage of revenue lost. Both models incorporated interactions between log-transformed farm size and event type (drought or flood) and used multilevel random effects structures to account for nested spatial hierarchies (country and administrative units). Models were further filtered for high SPEI thresholds (< –0.99 for drought, > 0.99 for flood) to isolate the effects of severe climatic events. Diagnostic checks, including residual simulation and bootstrapping, were used to check model assumptions, with alternative robust models being run to check robustness of inference on the relationship between farm size and vulnerability to climate shocks.

Historical and CMIP6 estimates of loss by farm type

We estimate the number of extreme climate events and their impacts on African farms by integrating climate, disaster, and agricultural datasets. Annual growing-season extremes of the Standardized Precipitation Evapotranspiration Index (SPEI) were computed at the subnational level across Africa for the historical period (1995–2015) and for future projections (2040–2060) under SSP245 and SSP585 scenarios, using ensemble means derived from five CMIP6 global climate models (GFDL-ESM4, EC-Earth3, MPI-ESM1-HR, MRI-ESM2-0, NorESM2-LM). Extreme events were defined as years when SPEI values exceeded ±1, corresponding to very wet or very dry conditions. These modeled events were validated against the EM-DAT disaster database to confirm that the SPEI-based approach captured the timing and spatial distribution of major historical droughts and floods. Once validated, the frequency of extreme events was used in combination with the above empirically derived loss functions and 2020-2050 farm projections linking farm size to production and revenue losses. For each administrative unit and farm size class, the probability of farms experiencing loss was estimated for each year and climate scenario, and corresponding revenue losses were calculated as proportional reductions in farm income. The outputs include both yearly averages and cumulative totals of farms and % of revenue affected, allowing comparison of historical and future exposure to extreme climate events across Africa.

Data availability

A significant amount of data was developed for this notebook. The data for farm projections can be found here.

The initial data and shiny app code for this notebook can be found here.

Additional methods

More information on methods for farm projections estimates are available at this repository.

More information on methods for loss functions are available at this repository.

More information on methods including SPEI-derived wet and dry events and estimates of farms experiencing losses and the proportion of lost revenue by farm size are available at this repository.

Full methodological details will also be contained in the forthcoming paper:

Mehrabi, Z., Braich, G., Fortin, J., Ramankutty, N., 2025. Climate payouts to smallholder farmers. LUGE lab/Better Planet Laboratory.

Acknowledgements

This notebook was developed in partnership with the Better Planet Laboratory. We also acknowledge Brayden Youngberg for translating the original R Shiny notebook to JavaScript.

Projections de la taille des exploitations

Nous combinons des jeux de données spatiaux, démographiques et agricoles afin de produire des projections harmonisées de la distribution de la taille des exploitations africaines de 2000 à 2060. Les données spatiales sur la structure des exploitations, issues de la carte des petits exploitants CIAT/LUGE, ont été associées aux projections démographiques de Mehrabi et al. (2023) et validées à l’aide du Recensement mondial de l’agriculture de la FAO, ainsi que de sources complémentaires telles que Ricciardi et al. (2018) et Aliber & Hart (2009). Pour chaque pays et chaque unité administrative, des tailles d’exploitation représentatives ont été échantillonnées à partir de distributions uniformes ou log-normales par classe de taille, pondérées par le nombre d’exploitations, puis corrigées au moyen d’un algorithme de décalage de la moyenne afin de s’aligner sur les surfaces agricoles totales projetées. Les échantillons corrigés ont été redistribués dans des catégories de taille standardisées et ajustés selon l’un des trois cas de disponibilité des données — données complètes (spatiales + démographiques), démographiques seules ou spatiales seules — par mise à l’échelle proportionnelle. Les valeurs manquantes ont été comblées à l’aide de moyennes nationales ou continentales, et toutes les sorties ont été validées afin d’assurer leur cohérence avec les totaux d’exploitations, les surfaces agricoles et des formes de distribution réalistes. Le jeu de données harmonisé qui en résulte fournit des distributions sous-nationales de la taille des exploitations pour tous les pays africains, par décennie, sur la période 2000-2060.

Probabilités de perte et de proportion de revenus perdus

Nous examinons comment les pertes de production agricole dues aux chocs climatiques (sécheresses et inondations) varient en fonction de la taille des exploitations, à partir de données d’enquêtes auprès des ménages harmonisées, couvrant 17 pays d’Afrique, d’Asie et d’Amérique latine. L’étude s’appuie sur un jeu de données élaboré par Mehrabi, Fortin et Ramankutty, qui intègre la taille des exploitations au niveau des ménages, les pertes de production déclarées et les indicateurs climatiques correspondants. Deux grands types de modèles ont été mis en œuvre : (1) des modèles de perte binaires estimant la probabilité de subir une perte de production d’origine climatique, et (2) des modèles de perte continus quantifiant le pourcentage de revenus perdus. Les deux types de modèles intègrent des interactions entre la taille de l’exploitation (transformée en logarithme) et le type d’événement (sécheresse ou inondation), et recourent à des structures multiniveaux à effets aléatoires pour tenir compte des hiérarchies spatiales emboîtées (pays et unités administratives). Les modèles ont en outre été filtrés selon des seuils élevés de SPEI (< –0,99 pour la sécheresse, > 0,99 pour l’inondation) afin d’isoler les effets des événements climatiques sévères. Des contrôles diagnostiques, dont la simulation des résidus et le bootstrap, ont servi à vérifier les hypothèses des modèles, et des modèles robustes alternatifs ont été estimés pour éprouver la solidité de l’inférence sur la relation entre taille de l’exploitation et vulnérabilité aux chocs climatiques.

Estimations historiques et CMIP6 des pertes par type d’exploitation

Nous estimons le nombre d’événements climatiques extrêmes et leurs impacts sur les exploitations africaines en combinant des jeux de données climatiques, catastrophiques et agricoles. Les extrêmes annuels de l’indice standardisé de précipitations et d’évapotranspiration (SPEI) sur la saison de culture ont été calculés au niveau sous-national pour l’ensemble de l’Afrique, sur la période historique (1995-2015) et pour les projections futures (2040-2060) sous les scénarios SSP245 et SSP585, à partir de moyennes d’ensemble dérivées de cinq modèles climatiques globaux CMIP6 (GFDL-ESM4, EC-Earth3, MPI-ESM1-HR, MRI-ESM2-0, NorESM2-LM). Les événements extrêmes sont définis comme les années où les valeurs du SPEI dépassent ±1, correspondant à des conditions très humides ou très sèches. Ces événements modélisés ont été validés à l’aide de la base de données de catastrophes EM-DAT, afin de confirmer que l’approche fondée sur le SPEI restitue la chronologie et la distribution spatiale des principales sécheresses et inondations historiques. Après validation, la fréquence des événements extrêmes a été combinée aux fonctions de perte empiriques décrites ci-dessus et aux projections d’exploitations 2020-2050 reliant la taille des exploitations aux pertes de production et de revenus. Pour chaque unité administrative et chaque classe de taille, la probabilité qu’une exploitation subisse une perte a été estimée pour chaque année et chaque scénario climatique, et les pertes de revenus correspondantes ont été calculées comme des réductions proportionnelles du revenu agricole. Les sorties comprennent à la fois des moyennes annuelles et des totaux cumulés d’exploitations et de pourcentages de revenus affectés, ce qui permet de comparer l’exposition historique et future aux événements climatiques extrêmes à travers l’Afrique.

Disponibilité des données

Un volume important de données a été produit pour ce notebook. Les données relatives aux projections d’exploitations sont disponibles ici.

Les données initiales et le code de l’application Shiny de ce notebook sont disponibles ici.

Méthodes complémentaires

De plus amples informations sur les méthodes d’estimation des projections d’exploitations sont disponibles dans ce dépôt.

De plus amples informations sur les méthodes relatives aux fonctions de perte sont disponibles dans ce dépôt.

De plus amples informations sur les méthodes, notamment les événements humides et secs dérivés du SPEI et les estimations du nombre d’exploitations subissant des pertes et de la proportion de revenus perdus par taille d’exploitation, sont disponibles dans ce dépôt.

L’ensemble des détails méthodologiques figurera également dans l’article à paraître :

Mehrabi, Z., Braich, G., Fortin, J., Ramankutty, N., 2025. Climate payouts to smallholder farmers. LUGE lab/Better Planet Laboratory.

Remerciements

Ce notebook a été développé en partenariat avec le Better Planet Laboratory. Nous remercions également Brayden Youngberg pour la transposition en JavaScript du notebook R Shiny original.

ContributorsContributeurs

AuthorsAuteurs

Zia Mehrabi¹, Ginni Braich¹

Technical DevelopmentDéveloppement technique

Brayden Youngberg², Ginni Braich¹

AffiliationsAffiliations

¹ Better Planet Laboratory

² Alliance Bioversity and CIAT

CitationRéférence

CGIAR. (2026). Climate Payouts to SmallholdersIndemnisations climatiques pour les petits exploitants. Africa Agriculture Adaptation Atlas. https://adaptationatlas.cgiar.org

AppendixAnnexe

Source code

Language

import { lang as Lang } from "/helpers/lang.js";

general_translations = await FileAttachment("/data/shared/generalTranslations.json").json()

languages = [
  { key: "en", label: "English", locale: "en-US" },
  { key: "fr", label: "Français", locale: "fr-FR" },
]

// Language state lives in the navbar switcher; this cell just subscribes.
langKey = Generators.observe((notify) => {
  notify(window.atlasLang ?? "en");
  const onChange = (e) => notify(e.detail);
  window.addEventListener("atlas:lang", onChange);
  return () => window.removeEventListener("atlas:lang", onChange);
})

language = languages.find((l) => l.key === langKey) ?? languages[0]

_lang = Lang.lg(language.key)

import { loadNotebookText, readNotebookConfig } from "/helpers/notebook.js";

notebookConfig = readNotebookConfig()

notebookText = await loadNotebookText(notebookConfig)

nbText = notebookText[language.key]

nbTitle = notebookConfig.title[language.key]

tmpl = (template, values) =>
  Lang.reduceReplaceTemplateItems(
    template,
    Object.entries(values).map(([name, value]) => ({ name, value }))
  )

farmSizeLabel = (k) => nbText.General.farmSizeClasses[k] ?? k
eventLabel = (k) => nbText.General.events[k] ?? k
lossLabel = (k) => nbText.LossFunctions.selectors.loss.options[k] ?? k
eventTypeLabel = (k) => nbText.LossFunctions.selectors.eventType.options[k] ?? k
scenarioLabel = (k) => nbText.Ensembles.scenarios[k] ?? k
modelLabel = (k) => nbText.LossByFarmType.selectors.model.options[k] ?? k
thresholdLabel = (k) => nbText.LossByFarmType.legend.options[k] ?? k

//TODO: country names stay as the raw `nm_slc0` data values — translating them
// needs an nm_slc0 -> iso3 -> data/shared/atlas_countries.json lookup, and the
// aggregate ("Sub-Saharan Africa") has no iso3. Add when a French review asks.

numFormat = formatNumCompactShort({ locale: language.locale })

// Zero means the extreme event never occurred, not "0 farms".
farmCount = (d) => (d !== 0 ? numFormat(d) : nbText.General.noEvents)

Data

hypq = import("https://cdn.jsdelivr.net/npm/hyparquet@1.26.2/+esm")

hypq_compress = import("https://cdn.jsdelivr.net/npm/hyparquet-compressors/+esm")

// Rewinding is load-bearing, not cosmetic: the source rings wind the other way,
// so d3 reads each polygon as the whole sphere minus the region (geoArea 4π).
turfRewind = (await import("https://cdn.jsdelivr.net/npm/@turf/rewind/+esm")).default

bound_arrayBuf = await FileAttachment("/data/lossDamage/bounds.parquet").arrayBuffer()

loadBounds = async (country) => {
  const bounds = await hypq.parquetQuery({
    file: bound_arrayBuf,
    compressors: hypq_compress.compressors,
    columns: ["GID_0", "NAME_0", "NAME_1", "nm_slc0", "geometry"],
    filter: !country
      ? null
      : {
          nm_slc0: {
            $eq: country,
          },
        },
  });
  return {
    type: "FeatureCollection",
    features: bounds.map(({ geometry, ...properties }) => ({
      type: "Feature",
      geometry: turfRewind(geometry, { reverse: true }),
      properties,
    })),
  };
}

boundsCache = new Map()

// Sections 1 and 4 pick a country independently but start on the same one, so
// without this the ~100ms decode+rewind of the 1.4MB boundary file runs twice on
// load and again whenever the two selections coincide. Caching the promise (not
// the result) also collapses the two concurrent first calls into one read.
getBounds = (country) => {
  if (!boundsCache.has(country)) boundsCache.set(country, loadBounds(country));
  return boundsCache.get(country);
}

fig1_mapBounds = await getBounds(fig1_inputs.country)
fig4_mapBounds = await getBounds(fig4_inputs.country)

Section code

Section 1 code

fig1_arrayBuf = await FileAttachment("/data/lossDamage/fig1_allshps.parquet").arrayBuffer()

fig1_selVars = {
  const _data = await hypq.parquetQuery({
    file: fig1_arrayBuf,
    compressors: hypq_compress.compressors,
    columns: ["nm_slc0", "farm_sz2", "variable"],
  });

  return {
    country: Array.from(new Set(_data.map((d) => d.nm_slc0))),
    farm_sz2: Array.from(new Set(_data.map((d) => d.farm_sz2))),
    variable: Array.from(new Set(_data.map((d) => d.variable))),
  };
}

renderS1_inputs = () => {
  return Inputs.form(
    {
      country: Inputs.select(fig1_selVars.country, {
        label: nbText.General.country,
        value: "Sub-Saharan Africa",
      }),
      fSize: Inputs.select(fig1_selVars.farm_sz2, {
        label: nbText.General.farmSize,
        value: "All Farms",
        format: farmSizeLabel,
      }),
      time: Inputs.select(fig1_selVars.variable, {
        label: nbText.FarmSize.selectors.time.title,
        value: "Current Farms",
        format: (k) => nbText.FarmSize.selectors.time.options[k] ?? k,
      }),
    },
    { template: inputTemplate({ gap: "3em" }) }
  );
}

fig1a_filtered = await hypq.parquetQuery({
  file: fig1_arrayBuf,
  compressors: hypq_compress.compressors,
  filter: {
    nm_slc0: {
      $eq: fig1_inputs.country,
    },
    farm_sz2: {
      $eq: fig1_inputs.fSize,
    },
    variable: {
      $eq: fig1_inputs.time,
    },
  },
})

fig1a_spatial = mergeDataToBoundaries({
  boundaries: fig1_mapBounds,
  data: fig1a_filtered,
  boundaryKey: (f) => adminKey(f.properties),
  dataKey: adminKey,
})

fig1b_arrayBuf = await FileAttachment("/data/lossDamage/fig1_farmsizelookup.parquet").arrayBuffer()

fig1b_filtered = await hypq.parquetQuery({
  file: fig1b_arrayBuf,
  compressors: hypq_compress.compressors,
  filter: {
    nm_slc0: {
      $eq: fig1_inputs.country,
    },
    farm_sz2: {
      $eq: fig1_inputs.fSize,
    },
  },
})

renderS1_insight = () => {
  const _data = fig1b_filtered;
  const _present = _data.filter((d) => d.variable === "Current Farms");
  const _future = _data.filter((d) => d.variable === "Farms 2050");

  const sum = (arr) => arr.reduce((a, b) => a + b, 0);

  const sumpr = sum(_present.map((d) => d.value));
  const sumfr = sum(_future.map((d) => d.value));

  const t = nbText.FarmSize.insight;
  const pct = ((sumfr - sumpr) / sumpr) * 100;

  // 18 of the 357 country/size combinations have no farms in the baseline
  // (e.g. Djibouti, 10-20 ha), so the percent change is Infinity — say how many
  // farms are projected and leave the change out.
  const change = !sumpr
    ? ""
    : tmpl(t.change, {
        trend: pct > 0 ? t.trend.increase : t.trend.decrease,
        pct: pct.toLocaleString(language.locale, { maximumFractionDigits: 1 }),
      });

  return md`#### ${tmpl(nbText.General.quickInsights, { subject: fig1_inputs.country })}

${tmpl(t.baseline, {
  country: fig1_inputs.country,
  farms: numFormat(sumpr),
  size: farmSizeLabel(fig1_inputs.fSize),
})}

${tmpl(t.projection, { future: numFormat(sumfr) })} ${change}
`;
}

Section 2 code

fig2_dat = await FileAttachment("/data/lossDamage/fig2_joined_eff.json").json()

fig2_groups = Array.from(new Set(fig2_dat.map((d) => d.group)))
fig2_mod = Array.from(new Set(fig2_dat.map((d) => d.title)))

renderS2_inputs = () => {
  return Inputs.form(
    [
      Inputs.select(fig2_groups, {
        label: nbText.LossFunctions.selectors.eventType.title,
        value: "Drought",
        format: eventTypeLabel,
      }),
      Inputs.select(fig2_mod, {
        label: nbText.LossFunctions.selectors.loss.title,
        value: "Predicted Probabilities of Loss",
        format: lossLabel,
      }),
    ],
    { template: inputTemplate({ gap: "3em" }) }
  );
}

figure2_filtered = (() => {
  const [group_sel, mod_sel] = fig2_inputs;

  return fig2_dat.filter((d) => d.group === group_sel && d.title === mod_sel);
})()

renderS2_plot = () => {
  const [group_sel, mod_sel] = fig2_inputs;
  const yax = figure2_filtered[0].yax;

  return Plot.plot({
    width,
    height: 450,
    marginLeft: 50,
    style: chartStyle,

    title: lossLabel(mod_sel),

    x: {
      label: nbText.LossFunctions.axis.x,
      grid: true,
    },

    y: {
      label: nbText.LossFunctions.axis.y[yax] ?? yax,
      tickFormat: (d) => `${Math.round(d * 100)}%`,
      grid: true,
    },

    marks: [
      // Confidence ribbon (geom_ribbon)
      Plot.areaY(figure2_filtered, {
        x: "x",
        y1: "conf.low",
        y2: "conf.high",
        fill: group_sel === "Drought" ? "red" : "blue",
        fillOpacity: 0.3,
      }),

      // Predicted line (geom_line)
      Plot.line(figure2_filtered, {
        x: "x",
        y: "predicted",
        strokeWidth: 2,
        tip: {
          format: {
            y: (d) => `${Math.round(d * 100)}%`,
          },
        },
      }),
    ],
  });
}

renderS2_insight = () => {
  const [_event, _loss] = fig2_inputs;
  const t = nbText.LossFunctions.insight;
  const _trend = figure2_filtered[0].trend;

  return md`### ${tmpl(nbText.General.quickInsights, { subject: lossLabel(_loss) })}

${tmpl(t.template, {
  loss: lossLabel(_loss),
  event: eventTypeLabel(_event),
  trend: t.trend[_trend] ?? _trend,
})}
  `;
}

Section 3 code

fig3_data = await FileAttachment("/data/lossDamage/figure3_spei.json").json()

ensemble2 = fig3_data.filter((d) => d.gcm === "Ensemble Average")
joint3 = fig3_data.filter((d) => d.gcm !== "Ensemble Average")

renderS3_plot = () => {
  const tip = nbText.Ensembles.tooltip;
  const channels = {
    scenario: {
      value: (d) => scenarioLabel(d.model),
      label: tip.scenario,
    },
    hazard: {
      value: (d) => eventLabel(d.variable),
      label: tip.hazard,
    },
  };

  return Plot.plot({
    width,
    height: 500,
    marginLeft: 90,
    style: chartStyle,

    x: {
      label: nbText.Ensembles.axis.x,
    },

    y: {
      label: null,
      tickFormat: eventLabel,
    },

    fy: {
      label: null,
      axis: "left",
      tickRotate: -90,
      tickPadding: 80,
      tickFormat: scenarioLabel,
    },

    color: {
      legend: true,
    },

    marks: [
      // Ensemble Average bars (geom_col)
      Plot.barX(ensemble2, {
        x: "count",
        fy: "model",
        y: "variable",
        fill: (d) => (d.variable === "Very Dry" ? "#F6A8A8" : "#A8D0F6"),
        channels,
        tip: {
          format: {
            fy: false,
            x: true,
            y: true,
            scenario: true,
            fill: false,
            hazard: true,
          },
        },
      }),

      // Individual GCM points (geom_point)
      Plot.dot(joint3, {
        x: "count",
        fy: "model",
        y: "variable",
        stroke: "gcm",
        r: 4,
        strokeOpacity: 0.7,
        channels,
        tip: {
          format: {
            fy: false,
            x: true,
            y: true,
            scenario: true,
            stroke: true,
            hazard: true,
          },
        },
      }),
    ],
  });
}

Section 4 code

4a code

fig4a_arrayBuf = await FileAttachment(
  "/data/lossDamage/fig4_map_fin_spei12_high.parquet"
).arrayBuffer()

fig4_selVars = {
  const _data = await hypq.parquetQuery({
    file: fig4a_arrayBuf,
    compressors: hypq_compress.compressors,
    columns: ["nm_slc0", "farm_sz2", "extEvent", "model"],
  });

  return {
    country: Array.from(new Set(_data.map((d) => d.nm_slc0))),
    farm_sz2: Array.from(new Set(_data.map((d) => d.farm_sz2))),
    event: Array.from(new Set(_data.map((d) => d.extEvent))),
    model: Array.from(new Set(_data.map((d) => d.model))),
  };
}

renderS4_inputs = () => {
  return Inputs.form(
    {
      country: Inputs.select(fig4_selVars.country, {
        label: nbText.General.country,
        value: "Sub-Saharan Africa",
      }),
      fSize: Inputs.select(fig4_selVars.farm_sz2, {
        label: nbText.General.farmSize,
        value: "All Farms",
        format: farmSizeLabel,
      }),
      event: Inputs.select(fig4_selVars.event, {
        label: nbText.LossByFarmType.selectors.event.title,
        value: "Very Dry",
        format: eventLabel,
      }),
      time: Inputs.select(fig4_selVars.model, {
        label: nbText.LossByFarmType.selectors.model.title,
        value: "baseline",
        format: modelLabel,
      }),
    },
    { template: inputTemplate({ gap: "3em" }) }
  );
}

fig4a_filtered = await hypq.parquetQuery({
  file: fig4a_arrayBuf,
  compressors: hypq_compress.compressors,
  filter: {
    nm_slc0: {
      $eq: fig4_inputs.country,
    },
    farm_sz2: {
      $eq: fig4_inputs.fSize,
    },
    extEvent: {
      $eq: fig4_inputs.event,
    },
    model: {
      $eq: fig4_inputs.time,
    },
  },
  //TODO: Select only the applicable columns to boost perf.
})

fig4a_spatial = mergeDataToBoundaries({
  boundaries: fig4_mapBounds,
  data: fig4a_filtered,
  boundaryKey: (f) => adminKey(f.properties),
  dataKey: adminKey,
})

4b code

fig4b_byCombo = {
  const rows = await hypq.parquetQuery({
    file: await FileAttachment("/data/lossDamage/fig4b.parquet").arrayBuffer(),
    compressors: hypq_compress.compressors,
    columns: [
      "nm_slc0",
      "farm_sz2",
      "Event",
      "model",
      "year",
      "losstype",
      "threshold",
      "threshold2",
      "cum_sum",
    ],
  });

  const byCombo = new Map();
  for (const row of rows) {
    const key = [row.nm_slc0, row.farm_sz2, row.Event, row.model].join("|");
    const bucket = byCombo.get(key);
    bucket ? bucket.push(row) : byCombo.set(key, [row]);
  }
  return byCombo;
}

// Every combination the section 4 selectors can produce is present here (checked
// against fig4_map_fin_spei12_high.parquet: 2100 combinations on both sides), so a
// miss means the two files have drifted apart and should fail loudly.
fig4b_filtered = fig4b_byCombo.get(
  [fig4_inputs.country, fig4_inputs.fSize, fig4_inputs.event, fig4_inputs.time].join("|")
)

renderS4b_plot = () => {
  const domainOrder =
    fig4_inputs.event === "Very Dry"
      ? ["Farms Likely Impacted", "40% lost revenue", "50% lost revenue"]
      : ["Farms Likely Impacted", "30% lost revenue", "40% lost revenue"];
  const tip = nbText.LossByFarmType.tooltip;

  return Plot.plot({
    width,
    height: 420,
    marginLeft: 50,
    style: chartStyle,

    x: {
      label: nbText.LossByFarmType.axis.x,
      tickFormat: "d",
    },

    y: {
      label: nbText.LossByFarmType.axis.y,
      grid: true,
      tickFormat: numFormat,
    },

    fx: {
      label: null,
      tickFormat: (k) => tip.lossTypes[k] ?? k,
    },

    color: {
      legend: true,
      label: nbText.LossByFarmType.legend.title,
      domain: domainOrder,
      range: ["#4E79A7", "#F28E2C", "#E15759"],
      tickFormat: thresholdLabel,
    },

    marks: [
      Plot.line(fig4b_filtered, {
        x: "year",
        y: "cum_sum",
        fx: "losstype",
        stroke: "threshold",
        strokeWidth: 2,
        opacity: 0.85,
        channels: {
          type: {
            value: (d) => tip.lossTypes[d.losstype] ?? d.losstype,
            label: tip.lossType,
          },
        },
        tip: {
          format: {
            x: "d",
            y: farmCount,
            type: true,
            stroke: false, //HACK: Keep false for now while additional "threshold", field keeps appearing
            fx: false,
          },
        },
      }),
    ],
  });
}

renderS4b_insight = () => {
  const _data = fig4b_filtered;
  const years = _data.map((d) => d.year);
  const minyear = Math.min(...years);
  const maxyear = Math.max(...years);

  const maxYearData = _data.filter((d) => d.year === maxyear);

  const maxLoss = maxYearData.find((d) => d.losstype === "Loss");

  const revenueAtMax = maxYearData.filter((d) => d.losstype === "Revenue");

  const minThreshold = revenueAtMax.reduce((a, b) => (a.threshold2 < b.threshold2 ? a : b));

  const maxThreshold = revenueAtMax.reduce((a, b) => (a.threshold2 > b.threshold2 ? a : b));

  const payout = maxLoss.cum_sum / (maxyear - minyear);
  const t = nbText.LossByFarmType.insight;

  const shared = {
    event: eventLabel(fig4_inputs.event),
    country: fig4_inputs.country,
    model: modelLabel(fig4_inputs.time),
  };

  return md`### ${tmpl(nbText.General.quickInsights, { subject: fig4_inputs.country })}

${tmpl(t.losses, {
  ...shared,
  minYear: minyear,
  maxYear: maxyear,
  farms: numFormat(maxLoss.cum_sum),
  size: farmSizeLabel(fig4_inputs.fSize),
  payout: numFormat(payout),
})}

${tmpl(t.revenue, {
  ...shared,
  minFarms: numFormat(minThreshold.cum_sum),
  minPct: minThreshold.threshold2,
  maxFarms: numFormat(maxThreshold.cum_sum),
  maxPct: maxThreshold.threshold2,
})}
`;
}

Geo helpers

adminKey = (o) =>
  ["GID_0", "NAME_0", "NAME_1", "nm_slc0"].map((k) => o?.[k] ?? "").join("|")

// mergeDataToBoundaries parks the matched row at properties.data.
plotMap = (features, valueField, { height = 500, scheme = "YlGnBu" } = {}) => {
  const value = (f) => f.properties.data?.[valueField];

  return makeChoropleth({
    features,
    width,
    height,
    fill: value,
    color: {
      scheme,
      tickFormat: numFormat,
      label: nbText.General.numFarms,
    },
    channels: {
      value: {
        value,
        label: nbText.General.numFarms,
      },
      gid_0: {
        value: (f) => f.properties.GID_0,
        label: nbText.General.iso3,
      },
      country: {
        value: (f) =>
          f.properties.nm_slc0 === "Sub-Saharan Africa"
            ? f.properties.NAME_0
            : f.properties.nm_slc0,
        label: nbText.General.country,
      },
      region: {
        value: (f) =>
          f.properties.nm_slc0 === "Sub-Saharan Africa"
            ? null
            : f.properties.NAME_0,
        label: nbText.General.region,
      },
    },
    tooltip: {
      format: {
        value: farmCount,
        country: true,
        region: true,
        gid_0: true,
      },
    },
  });
}