Nos données sont distribuées sous différentes licences Creative Commons.Plus d'informations
Si vous aimez ce contenu, pensez à faire une donation.
Menu
Je suggère un affinement de l'algorithme de reconnaissance de langue.
Ma phrase : « J'ignore exactement où. » a curieusement été identifiée comme de l'anglais.
Il faudrait à mon avis, en sus des séquences de (3 ou 4 ?) caractères, prendre en compte les jeux de caractères eux-mêmes, puisque la lettre « ù » ne peut pas figurer en anglais.
Mais aussi exclure les combinaisons impossibles. "J'" est impossible en anglais. Et je pense qu'une apostrophe devant un "i" l'est aussi...à confirmer...
+1
Ça m'est arrivé parfois d'écrire des questions en espagnol avec "¿" au début qui ont été identifiées comme anglais ou français...
En fait il faudrait aussi que je remette à jour les données du serveur en production, il me semble qu'il est encore au statistiques d'il y a un an.
Le but est aussi d'avoir le code le plus simple possible / adaptable, donc je pense plutôt que dans le calcul du score, pour les langues ayant suffisamment de données, considéré que tous les "N-grams" possible y sont présent , et impliquer un score negatif si un n-gram d'une phrase a detecter n'est pas présent.
> En fait il faudrait aussi que je remette à jour les données du serveur en production, il me semble qu'il est encore au statistiques d'il y a un an.
C'est très vilain...enfin je ne t'en veux pas trop parce que je sais combien tu es occupé avec tout ça et je t'en remercie.
>Le but est aussi d'avoir le code le plus simple possible / adaptable, donc je pense plutôt que dans le calcul du score, pour les langues ayant suffisamment de données, considéré que tous les "N-grams" possible y sont présent , et impliquer un score negatif si un n-gram d'une phrase a detecter n'est pas présent.
Mais tes N-grams font-ils la différence entre un « u » et un « ù » ou un « ? » et un "¿" ?
Amastan se plaint que le berbère est confondu avec l'espagnol et le finnois alors que le berbère comporte la lettre spécifique "ɣ"...
et j'ajoute que je suis très fervent des algorithmes les plus simples et que ton idée de statistiques de N-grams est brillante. Mais on peut ajuster...