Filtrer les résultats par metadonnées

En RAG, on ne veut pas toujours chercher dans tous les documents. Parfois on veut filtrer par source, par date, par catégorie. C'est le concept de recherche hybride : recherche vectorielle + filtres sur les metadonnées.

Écris une fonction filtered_search(query, documents, filters, k) qui :
1. Filtre les documents dont les metadonnées correspondent aux filtres
2. Parmi les documents filtres, cherche les k plus pertinents avec TF-IDF + cosine
3. Renvoie la liste des k meilleurs Documents

filters est un dictionnaire {'clé': 'valeur'}. Un document passe le filtre si chaque clé du filtre est presente dans ses metadonnées avec la bonne valeur.

Si aucun document ne passe les filtres, renvoie une liste vide.

Exemple :
docs = [
Document(page_content='Python basique', metadata={'source': 'cours', 'niveau': 'debutant'}),
Document(page_content='Python avance', metadata={'source': 'cours', 'niveau': 'avance'}),
Document(page_content='Recette de cuisine', metadata={'source': 'blog'}),
]
filtered_search('Python', docs, {'source': 'cours'}, 1)
ne cherche que dans les 2 premiers documents

Tests (1/1)

Tests

from langchain_core.documents import Document
docs = [
    Document(page_content='Python pour debutants', metadata={'source': 'cours', 'niveau': 'debutant'}),
    Document(page_content='Python avance decorateurs', metadata={'source': 'cours', 'niveau': 'avance'}),
    Document(page_content='Recette de tarte aux pommes', metadata={'source': 'blog'}),
    Document(page_content='Python machine learning', metadata={'source': 'cours', 'niveau': 'avance'}),
]
result = filtered_search('Python', docs, {'source': 'cours'}, 2)
assert len(result) == 2, f'Attendu 2 résultats, obtenu {len(result)}'
assert all('source' in r.metadata and r.metadata['source'] == 'cours' for r in result)
result2 = filtered_search('Python', docs, {'niveau': 'avance'}, 1)
assert len(result2) == 1, 'Attendu 1 résultat pour niveau avance'
assert result2[0].metadata['niveau'] == 'avance'
result3 = filtered_search('test', docs, {'source': 'inexistant'}, 1)
assert result3 == [], 'Aucun filtre ne correspond, devrait renvoyer une liste vide'

Indices (3 disponibles)

Solution officielle

from langchain_core.documents import Document
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def filtered_search(query, documents, filters, k):
    filtered = [
        doc for doc in documents
        if all(doc.metadata.get(key) == val for key, val in filters.items())
    ]
    if not filtered:
        return []
    texts = [doc.page_content for doc in filtered]
    vectorizer = TfidfVectorizer()
    doc_vectors = vectorizer.fit_transform(texts)
    query_vector = vectorizer.transform([query])
    scores = cosine_similarity(query_vector, doc_vectors)[0]
    top_indices = scores.argsort()[::-1][:k]
    return [filtered[i] for i in top_indices]

← Pipeline de chunking avec Documents … Pipeline RAG avec FAISS et … →

solution.py

Bravo!

Filtrer les résultats par metadonnées

Tests (1/1)

Indices (3 disponibles)

Solution officielle