Combiner TF-IDF et FAISS

texts = [
    'Python est un langage de programmation',
    'Java est utilise en entreprise',
    'Python et Django pour le developpement web',
    'Les chats dorment beaucoup',
    'JavaScript est utilise dans le navigateur',
]
index, vec = build_search_engine(texts)
assert index.ntotal == 5, f'L index doit contenir 5 vecteurs'
results = query_engine('Python programmation', index, vec, texts, 2)
assert len(results) == 2, f'Attendu 2 résultats, obtenu {len(results)}'
assert any('Python' in r for r in results), 'Les résultats devraient mentionner Python'
results2 = query_engine('chats dorment', index, vec, texts, 1)
assert 'chat' in results2[0].lower(), f'Attendu un résultat sur les chats: {results2[0]}'

Solution officielle

import faiss
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer

def build_search_engine(texts):
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(texts)
    vectors = np.array(tfidf_matrix.toarray(), dtype='float32')
    index = faiss.IndexFlatL2(vectors.shape[1])
    index.add(vectors)
    return index, vectorizer

def query_engine(query, index, vectorizer, texts, k):
    query_vec = vectorizer.transform([query]).toarray().astype('float32')
    distances, indices = index.search(query_vec, k)
    return [texts[i] for i in indices[0]]