Our data is released under various Creative Commons licenses.More information
If you love this content, please consider a donation.
Menu
I've run the remove duplicates script
so it's why the number of sentences in some languages may have decrease
by the way overall, we have now more than 500 000 sentences ! (515 000 to be exact)
Congratulations to everyone, some months ago I would have never imagine we will reach it so fast. Next step, 1 000 000 :p
tu es sûr que ça a marché ? Parce que j'ai du mal à croire que ça n'aie pas diminué le nombre de phrases anglaises parmi lesquelles je vois évidemment le plus de doublons puisqu'elles sont les plus nombreuses...
oui car ensuite j'ai fait un "select count(*) , text, lang from sentences group by text, lang having count(*) > 1" qui me montre les phrases en double, et il n'en reste plus qu'une dizaine qui ont rajouté entre temps (le script a tourné hier en soirée)
Mais le nombre de phrase anglaise a baissé, après il est vrai que beaucoup des phrases anglaises se ressemblent parfois à un mot près ou à un singulier pluriel près.
Bon, ben au temps pour moi. Tu as sans doute raison que les ressemblances sont illusoires.
Mais il est vrai en tout cas qu'il serait intéressant de voir, surtout pour l'Anglais, le nombre de phrase réellement différentes. Il me semble que dans le même ordre idée, voir un peu la richesse réelle du corpus, CK avait établi des statistiques sur le nombre de mots différents dans le corpus, et la fréquence de certain. Ce qui n'était pas forcément très glorieux (c'est pour cela que dans les versions futures, il nous faudra trouver divers moyens pour favoriser l'ajout de nouvelles phrases, et si possible contenant du nouveau vocabulaire)
Et ça n'est pas simple d'évaluer la notion de "différence". Tatoeba va justement permettre la créativité en matière d'instruments d'analyse...Je suis impatient de voir tout ça !