Valider le format fine-tuning

import json

# Tout valide
valide = json.dumps({'messages': [{'role': 'user', 'content': 'Q'}, {'role': 'assistant', 'content': 'R'}]})
assert valider_jsonl(valide) == [], 'Un JSONL valide ne doit pas avoir d erreurs'

# JSON invalide
assert len(valider_jsonl('pas du json')) > 0, 'JSON invalide doit etre detecte'
assert 'Ligne 1' in valider_jsonl('pas du json')[0], 'L erreur doit mentionner le numéro de ligne'

# Messages vides
assert len(valider_jsonl('{"messages": []}')) > 0, 'Messages vides doit etre detecte'

# Pas de clé messages
assert len(valider_jsonl('{"data": []}')) > 0, 'Absence de clé messages doit etre detecte'

# Pas d assistant
sans_assistant = json.dumps({'messages': [{'role': 'user', 'content': 'Q'}]})
assert len(valider_jsonl(sans_assistant)) > 0, 'Absence de message assistant doit etre detecte'

# Chaine vide
assert valider_jsonl('') == [], 'Chaine vide doit retourner liste vide'

# Plusieurs lignes dont une invalide
deux_lignes = valide + '\n' + 'invalide'
errs = valider_jsonl(deux_lignes)
assert len(errs) == 1, 'Seule la ligne invalide doit générer une erreur'
assert 'Ligne 2' in errs[0], 'L erreur doit etre a la ligne 2'

Solution officielle

import json

def valider_jsonl(contenu):
    erreurs = []
    if not contenu.strip():
        return erreurs
    lignes = contenu.strip().split('\n')
    roles_valides = {'system', 'user', 'assistant'}
    for i, ligne in enumerate(lignes, 1):
        try:
            obj = json.loads(ligne)
        except json.JSONDecodeError:
            erreurs.append(f'Ligne {i}: JSON invalide')
            continue
        if 'messages' not in obj:
            erreurs.append(f'Ligne {i}: clé messages manquante')
            continue
        if not isinstance(obj['messages'], list) or len(obj['messages']) == 0:
            erreurs.append(f'Ligne {i}: messages est vide')
            continue
        a_assistant = False
        for msg in obj['messages']:
            if 'role' not in msg or 'content' not in msg:
                erreurs.append(f'Ligne {i}: message sans role ou content')
                break
            if msg['role'] not in roles_valides:
                erreurs.append(f'Ligne {i}: role invalide {msg["role"]}')
                break
            if msg['role'] == 'assistant':
                a_assistant = True
        else:
            if not a_assistant:
                erreurs.append(f'Ligne {i}: pas de message assistant')
    return erreurs