Wikipediaや小説コーパスから日本語の語頻辞典を作るには？
YuzuLingo · 2026/11/01
コーパスから順位付けされた単語リストを取得し、その順位をYomitanのterm_meta_bankファイルに頻度モードで書き込み、その後JSONをindex.jsonと共に圧縮します。Kanjiumのwikipedia_freq.txtやnovels_freq.txtは一般的なスタートリストです。他のオープン頻度プロジェクトもライセンスを管理すれば同様に機能します。
順位付けリストから始める
頻度リストは通常、表現、オプションの読み、そして順位またはスコアで構成されます。Wikipediaベースのリストは百科事典的な語彙を好みますが、小説コーパスは対話やフィクションの言葉を好みます。あいまいな読みはソースにメモを持つことがあり、行をマッピングする際にそれらのフラグを保持して、読者が一致する読みを選べるようにします。
行をterm-metaバンクにマッピングする
Yomitanの頻度データはterm_meta_bank_*.jsonに保存されるべきで、用語集の用語バンクには含まれません。各メタ行は表現とスキーマがfreqモードに許可した頻度オブジェクトまたは数値を保存します。大規模なコーパスは用語集ビルダーが行うのと同じ方法で、番号付きのバンクファイルに分けます。圧縮する前に公開されたterm-metaスキーマに対して検証します。
index.jsonを書き、zipパッケージを作成する
index.jsonには明確なタイトル、改訂、フォーマット3が必要です。すべてのJSONファイルをアーカイブのルートに置き、Deflateで圧縮します。両方がインストールされている場合、ユーザーがWikipediaの順位と小説の順位を区別できるように辞書に名前を付けます。ピッチモードエントリを同じバンクに混ぜないでください。複合メタパッケージを意図している場合や、読者が最初のヒットをどのように選ぶかを理解している場合を除きます。
読者の利用方法
用語集マッチの後、読者は有効な頻度辞典の中で表現を調べ、その順位を表示します。順位が低いほど一般的な単語を示すことがあり、これはソースがリストに番号を付けた方法によります。頻度は決して定義を置き換えるものではありません。その形が選ばれたコーパスにどれだけ現れたかを示すだけです。
ライセンスとメンテナンス
ライセンスが許可するリストのみを再配布し、辞書のタイトルまたは説明にコーパスをクレジットします。ソースダンプをリフレッシュする際に再構築します。Wikipediaを小説と交換できるよう、頻度を独自のzipとして保持し、JMdictやピッチパッケージに触れずに済むようにします。
