Score TF-IDF

Sixieme étape : combiner TF et IDF pour obtenir le score TF-IDF.

TF-IDF(mot, document) = TF(mot, document) x IDF(mot)

Un mot qui apparait souvent dans un document (TF eleve) ET qui est rare dans la collection (IDF eleve) obtient un score tres eleve. C'est ce mot qui caracterise le mieux ce document.

Tu dois écrire deux fonctions :

1. tfidf(document, idf) : retourne un dictionnaire {mot: score_tfidf} pour chaque mot du document.

2. scorer_document(document, requête, idf) : retourne le score total d'un document pour une requête. C'est la somme des scores TF-IDF des mots de la requête presents dans le document.

Exemple : si un document parle beaucoup de 'python' et que 'python' est un mot rare dans la collection, ce document aura un score TF-IDF eleve pour la requête 'python'.

Tests (2/4)

TF-IDF non nul

import math
idf = {'python': math.log(3/2), 'est': 0.1}
doc = 'python python est simple'
scores = tfidf(doc, idf)
assert scores['python'] > scores['est']

Score document

import math
idf = {'python': math.log(3/2), 'simple': math.log(3)}
doc = 'python est simple'
score = scorer_document(doc, 'python simple', idf)
assert score > 0

+ 0 tests cachés

Indices (3 disponibles)

Solution officielle

import re
import math
from collections import Counter, defaultdict

def tokeniser(texte):
    mots = re.findall(r'[a-zA-ZÀ-ÿ0-9]+', texte.lower())
    return [mot for mot in mots if len(mot) > 1]

def calculer_tf(document):
    mots = tokeniser(document)
    if not mots:
        return {}
    total = len(mots)
    compteur = Counter(mots)
    return {mot: count / total for mot, count in compteur.items()}

def tfidf(document, idf):
    tf = calculer_tf(document)
    return {mot: tf_val * idf.get(mot, 0) for mot, tf_val in tf.items()}

def scorer_document(document, requête, idf):
    scores = tfidf(document, idf)
    mots_requete = tokeniser(requête)
    return sum(scores.get(mot, 0) for mot in mots_requete)

← Calcul IDF (Inverse Document Frequency) Classement des résultats →

solution.py

Bravo!

Score TF-IDF

Tests (2/4)

Indices (3 disponibles)

Solution officielle