Calculer le ROI du fine-tuning

Le fine-tuning coûte de l'argent à deux moments : l'entraînement (une seule fois) et l'inférence (à chaque requête). La question que ton manager va te poser : "Est-ce que ça vaut le coup ? À partir de quand on est rentable ?"

Prenons un exemple concret. Tu as un chatbot de support client qui utilise GPT-4o. Ça marche bien, mais ça te coûte 50 dollars par jour en tokens d'inférence parce que tu envoies un gros system prompt avec toutes les instructions et le contexte produit à chaque requête.

Si tu fine-tunes GPT-4o-mini sur tes données de support, le modèle intègre tout ce contexte directement. Tu n'as plus besoin du gros system prompt, tu utilises un modèle moins cher, et les réponses sont aussi bonnes (voire meilleures) parce que le modèle est spécialisé. Résultat : ton coût d'inférence tombe à 6 dollars par jour.

Le calcul du ROI (Return on Investment) est simple :
- Investissement initial : le coût de l'entraînement (par exemple 200 dollars)
- Économie quotidienne : coût GPT-4o par jour - coût GPT-4o-mini fine-tuné par jour
- Breakeven : le nombre de jours pour rentabiliser l'investissement

Écris une fonction calculer_roi(cout_entrainement, cout_jour_base, cout_jour_ft, jours_projection=365) qui prend :
1. Le coût de l'entraînement en dollars
2. Le coût quotidien avec le modèle de base
3. Le coût quotidien avec le modèle fine-tuné
4. Le nombre de jours de projection pour l'analyse

La fonction renvoie un dictionnaire avec :
- "economie_par_jour" : la différence de coût quotidien
- "breakeven_jours" : le nombre de jours pour rentabiliser (arrondi au supérieur avec -(-x // 1)), ou -1 si le fine-tuning n'est pas rentable
- "economie_annuelle" : l'économie totale sur la période de projection, moins le coût d'entraînement, arrondi à 2 décimales
- "roi_pourcentage" : le ROI en pourcentage sur la période de projection, arrondi à 1 décimale. Formule : (economie_annuelle / cout_entrainement) * 100
- "rentable" : True si le fine-tuning est rentable sur la période

Exemple :

calculer_roi(200, 50, 6, 365)
renvoie {"economie_par_jour": 44, "breakeven_jours": 5, "economie_annuelle": 15860.0, "roi_pourcentage": 7930.0, "rentable": True}

Tests (4/6)

Cas classique support client

r = calculer_roi(200, 50, 6, 365)
assert r['economie_par_jour'] == 44
assert r['breakeven_jours'] == 5
assert r['rentable'] == True
assert r['economie_annuelle'] == 15860.0

Fine-tuning pas rentable

r = calculer_roi(10000, 10, 10, 365)
assert r['rentable'] == False
assert r['breakeven_jours'] == -1

Breakeven exact

r = calculer_roi(100, 20, 10, 365)
assert r['economie_par_jour'] == 10
assert r['breakeven_jours'] == 10
assert r['rentable'] == True

ROI pourcentage

r = calculer_roi(200, 50, 6, 365)
assert r['roi_pourcentage'] == 7930.0

+ 0 tests cachés

Indices (3 disponibles)

Solution officielle

def calculer_roi(cout_entrainement, cout_jour_base, cout_jour_ft, jours_projection=365):
    economie_par_jour = cout_jour_base - cout_jour_ft

    if economie_par_jour <= 0:
        return {
            "economie_par_jour": economie_par_jour,
            "breakeven_jours": -1,
            "economie_annuelle": round(economie_par_jour * jours_projection - cout_entrainement, 2),
            "roi_pourcentage": round(((economie_par_jour * jours_projection - cout_entrainement) / cout_entrainement) * 100, 1) if cout_entrainement > 0 else 0.0,
            "rentable": False,
        }

    breakeven_jours = -(-cout_entrainement // economie_par_jour)

    economie_totale = economie_par_jour * jours_projection
    economie_annuelle = round(economie_totale - cout_entrainement, 2)

    roi_pourcentage = round((economie_annuelle / cout_entrainement) * 100, 1) if cout_entrainement > 0 else 0.0

    rentable = breakeven_jours <= jours_projection

    return {
        "economie_par_jour": economie_par_jour,
        "breakeven_jours": int(breakeven_jours),
        "economie_annuelle": economie_annuelle,
        "roi_pourcentage": roi_pourcentage,
        "rentable": rentable,
    }

← Compter les tokens d'un dataset … Évaluer un embedding fine-tuné →

solution.py

Bravo!

Calculer le ROI du fine-tuning

Tests (4/6)

Indices (3 disponibles)

Solution officielle