Comment créer un dictionnaire de fréquence de mots japonais à partir de Wikipedia ou de corpus de romans ?
YuzuLingo · 1 nov. 2026
Vous prenez une liste de mots classée d'un corpus, écrivez ces classements dans des fichiers term_meta_bank de Yomitan en mode freq, puis zippez le JSON avec un index.json. Les fichiers wikipedia_freq.txt et novels_freq.txt de Kanjium sont des listes de départ courantes ; d'autres projets de fréquence ouverts fonctionnent de la même manière une fois que vous contrôlez la licence.
Commencez par une liste classée
Une liste de fréquence est généralement composée de l'expression, d'une lecture facultative et d'un classement ou d'un score. Les listes basées sur Wikipedia privilégient le vocabulaire encyclopédique. Les corpus de romans privilégient le dialogue et le langage fictionnel. Des lectures ambiguës portent parfois des notes dans la source ; conservez ces drapeaux lorsque vous mappez les lignes afin que le lecteur puisse préférer la lecture correspondante.
Mappez les lignes dans les banques term-meta
Les données de fréquence de Yomitan doivent être dans term_meta_bank_*.json, et non dans les banques de termes de glossaire. Chaque ligne méta stocke l'expression et un objet ou nombre de fréquence que le schéma permet pour le mode freq. Divisez les grands corpus à travers des fichiers de banque numérotés de la même manière que le font les créateurs de glossaires. Validez par rapport au schéma term-meta publié avant de zipper.
Écrivez index.json et packagez le zip
index.json a besoin d'un titre clair, d'une révision et du format 3. Mettez chaque fichier JSON à la racine de l'archive et compressez avec Deflate. Nommez le dictionnaire de sorte que les utilisateurs puissent faire la distinction entre les classements de Wikipedia et ceux des romans lorsqu'ils sont tous deux installés. Ne mélangez pas les entrées de mode de hauteur dans les mêmes banques à moins que vous ne prévoyiez un package méta combiné et compreniez comment votre lecteur sélectionne le premier résultat.
Comment les lecteurs utilisent le classement
Après une correspondance de glossaire, le lecteur recherche l'expression dans les dictionnaires de fréquence activés et affiche le classement. Les classements plus bas signifient généralement des mots plus courants, en fonction de la manière dont la source a numéroté sa liste. La fréquence ne remplace jamais une définition. Elle répond seulement à la question de la fréquence d'apparition de cette forme dans le corpus choisi.
Licence et maintenance
Ne redistribuez que les listes dont la licence le permet et créditez le corpus dans le titre ou la description du dictionnaire. Reconstruisez lorsque vous rafraîchissez le déchargement de la source. Conservez la fréquence sous forme de zip indépendante afin de pouvoir échanger Wikipedia contre des romans sans toucher à JMdict ou aux packages de hauteur.
