menu
Tatoeba
 language
Percurrer expand_more
Monstrar phrase aleatori
Percurrer per lingua
Percurrer per lista
Percurrer per etiquetta
Percurrer audio
Communitate expand_more
Muro
Lista de tote le membros
Linguas del membros
Parlantes native
Inscriber te Aperir session
language Interlingua
menu
Tatoeba

chevron_right Inscriber te

chevron_right Aperir session

Percurrer

chevron_right Monstrar phrase aleatori

chevron_right Percurrer per lingua

chevron_right Percurrer per lista

chevron_right Percurrer per etiquetta

chevron_right Percurrer audio

Communitate

chevron_right Muro

chevron_right Lista de tote le membros

chevron_right Linguas del membros

chevron_right Parlantes native

search
AdjutaRecerca avantiate
clear
swap_horiz
search

Menu

Retornar al muro

sysko sysko 26 de septembre 2010 26 de septembre 2010 a 13:59:43 UTC flag Report link Permaligamine

I've run the remove duplicates script

{{vm.hiddenReplies[3313] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sysko sysko 26 de septembre 2010 26 de septembre 2010 a 14:04:48 UTC flag Report link Permaligamine

so it's why the number of sentences in some languages may have decrease

by the way overall, we have now more than 500 000 sentences ! (515 000 to be exact)
Congratulations to everyone, some months ago I would have never imagine we will reach it so fast. Next step, 1 000 000 :p

{{vm.hiddenReplies[3315] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sacredceltic sacredceltic 26 de septembre 2010 26 de septembre 2010 a 14:12:20 UTC flag Report link Permaligamine

tu es sûr que ça a marché ? Parce que j'ai du mal à croire que ça n'aie pas diminué le nombre de phrases anglaises parmi lesquelles je vois évidemment le plus de doublons puisqu'elles sont les plus nombreuses...

{{vm.hiddenReplies[3316] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sysko sysko 26 de septembre 2010 26 de septembre 2010 a 14:33:39 UTC flag Report link Permaligamine

oui car ensuite j'ai fait un "select count(*) , text, lang from sentences group by text, lang having count(*) > 1" qui me montre les phrases en double, et il n'en reste plus qu'une dizaine qui ont rajouté entre temps (le script a tourné hier en soirée)
Mais le nombre de phrase anglaise a baissé, après il est vrai que beaucoup des phrases anglaises se ressemblent parfois à un mot près ou à un singulier pluriel près.

{{vm.hiddenReplies[3318] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sacredceltic sacredceltic 26 de septembre 2010 26 de septembre 2010 a 14:43:58 UTC flag Report link Permaligamine

Bon, ben au temps pour moi. Tu as sans doute raison que les ressemblances sont illusoires.

{{vm.hiddenReplies[3319] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sysko sysko 26 de septembre 2010 26 de septembre 2010 a 14:55:09 UTC flag Report link Permaligamine

Mais il est vrai en tout cas qu'il serait intéressant de voir, surtout pour l'Anglais, le nombre de phrase réellement différentes. Il me semble que dans le même ordre idée, voir un peu la richesse réelle du corpus, CK avait établi des statistiques sur le nombre de mots différents dans le corpus, et la fréquence de certain. Ce qui n'était pas forcément très glorieux (c'est pour cela que dans les versions futures, il nous faudra trouver divers moyens pour favoriser l'ajout de nouvelles phrases, et si possible contenant du nouveau vocabulaire)

{{vm.hiddenReplies[3321] ? 'expand_more' : 'expand_less'}} celar responsas monstrar responsas
sacredceltic sacredceltic 26 de septembre 2010 26 de septembre 2010 a 15:02:22 UTC flag Report link Permaligamine

Et ça n'est pas simple d'évaluer la notion de "différence". Tatoeba va justement permettre la créativité en matière d'instruments d'analyse...Je suis impatient de voir tout ça !