lexsim

AI コーディングエージェントとの作業で、前のセッションのメモリから関連する情報を引きたい場面と、いま書こうとしている内容がすでに保存済みでないかを確かめたい場面があります。lexsim はこの 2 つを、ひとつのトークナイザの上で解くために書きました。

「これは同じものか？」には Jaccard 類似度で答え、「これに関連するものは？」には BM25 ランキングで答えます。テキストが変わったかどうかを追跡するコンテンツハッシュもあります。

いちばんの特徴は、形態素辞書をまったく使わないことです。日本語や中国語のように空白で区切れない言語には、文字を 2 つずつ重ねながらスライドしてトークンを切り出します。辞書が要らないので依存は軽く、どの言語でもそのまま動きます。ただし辞書を持たないぶん、日本語と英語のように語彙がまったく異なる言語間で「意味が同じか」を判断することはできません。

もともと Handoff のメモリエンジンとして開発し、独立クレートとして切り出しました。実際の運用の中で磨かれたコードです。