Fréquence des mots dans tatoeba:

Bon voici quelques fichiers de données brutes pour ceux qui veulent s'amuser

http://downloads.tatoeba.org/data_fra/

En me basant sur la liste de fréquence d'apparitions des mots en français trouvé ici http://www.lexique.org/listes/liste_mots.php, j'ai généré deux fichiers (chacun classé une fois par ordre alphabétique et l'autre par fréquence/occurrence)

1 - fréquence du mot en Français (fréquence de l'ensemble des mots = 1)
2 - nombre d'occurrence du mots dans tatoeba

j'ai aussi mis les données dans une base de donné sqlite3 pour ceux ayant besoin de faire des traitements poussé

"mot" est à prendre au sens de réprésentations graphique "mangeons" et "mangez" sont deux mots
Il se peut que la liste contiennent des noms propres, abréviations etc.

En se basant sur les métas du wiktionnary français (qui dit par exemple que "mangeons" est une forme verbale de "manger") (ou un autre source, je sais juste que le dump xml du wiktionnary contient cette info et vu que c'est du xml ce ne doit pas être trop compliqué de faire un script) il devrait être possible de regrouper les différentes graphies d'un même mot.

Quand j'aurai le temps (dans quelque semaines?), je générai sûrement comme avait fait CK, des pages HTML avec les mots les plus fréquents n'étant pas présent dans tatoeba, ceux n'ayant qu'une occurrence, ceux ayant le plus d'occurrence etc. , mais si quelqu'un à le temps de le faire avant moi, ne vous gênez pas.

En espérant que ça sera utile.