Como fazer um dicionário de frequência de palavras em japonês a partir de Wikipedia ou corpora de romances?
YuzuLingo · 1 de nov. de 2026
Você pega uma lista de palavras classificadas de um corpus, escreve essas classificações em arquivos term_meta_bank do Yomitan no modo freq, e então compacta o JSON com um index.json. A lista wikipedia_freq.txt do Kanjium e a novels_freq.txt são listas iniciais comuns; outros projetos de frequência abertos funcionam da mesma maneira uma vez que você controla a licença.
Comece a partir de uma lista classificada
Uma lista de frequência geralmente contém expressão, leitura opcional e uma classificação ou pontuação. Listas baseadas em Wikipedia favorecem vocabulário enciclopédico. Corpora de romances favorecem diálogos e redações ficcionais. Leituras ambíguas às vezes carregam notas na fonte; mantenha essas bandeiras ao mapear linhas para que o leitor possa preferir a leitura correspondente.
Mapeie linhas nos bancos de term-meta
Os dados de frequência do Yomitan pertencem ao term_meta_bank_*.json, não aos bancos de termos do glossário. Cada linha meta armazena a expressão e um objeto ou número de frequência que o esquema permite para o modo freq. Divida corpora grandes em arquivos de banco numerados da mesma forma que os construtores de glossário fazem. Valide contra o esquema publicado de term-meta antes de compactar.
Escreva index.json e empacote o zip
index.json precisa de um título claro, revisão e formato 3. Coloque cada arquivo JSON na raiz do arquivo e comprima com Deflate. Dê um nome ao dicionário para que os usuários possam distinguir as classificações da Wikipedia das classificações de romances quando ambos estiverem instalados. Não misture entradas de modo de entonação nos mesmos bancos, a menos que você pretenda um pacote meta combinado e entenda como seu leitor escolhe a primeira correspondência.
Como os leitores usam a classificação
Após uma correspondência de glossário, o leitor pesquisa a expressão em dicionários de frequência habilitados e mostra a classificação. Classificações mais baixas geralmente significam palavras mais comuns, dependendo de como a fonte numerou sua lista. A frequência nunca substitui uma definição. Ela apenas responde com que frequência essa forma apareceu no corpus escolhido.
Licença e manutenção
Somente redistribua listas cuja licença permita isso, e dê crédito ao corpus no título ou descrição do dicionário. Reconstrua quando você atualizar o dump da fonte. Mantenha a frequência como seu próprio zip para que você possa trocar Wikipedia por romances sem tocar em pacotes JMdict ou de entonação.
