PlumeでLindera版を起動するとメモリー消費が激しい

Plumeをsearch-linderaフィーチャー付きでビルドしたバージョンのDockerイメージをDocker Hubに置くようにした: kitaitimakoto/plume

これを使ってさっそく検索機能を日本語対応させて(環境変数SEARCH_LANG=jaを設定)、Kubernetesで使ってるイメージをアップデートしてみた。ところが、中々起動しない。起動してもすぐにエラーになってコンテナが落ちてしまう。

どうも、メモリー消費が激しくて、マシンのキャパをオーバーしてしまっているようだ(PlumeでLindera版を起動するとメモリー消費が激しい)。

しょうがないからこのコンコニではN-gramトークナイザーを使うことにした。空白文字でのトークナイザーよりは、日本語文書に対してはまだましだからね。環境変数

  • SEARCH_TAG_TOKENIZER=ngram
  • SEARCH_CONTENT_TOKENIZER=ngram

でトークナイザーを指定できる(ように以前パッチを送っておいた)。

さてこのメモリー問題、マシンのメモリーを増やす以外に解決策ないよな……。Plumeは一つのプロセス内でブログのウェブアプリケーションと検索エンジンを両方動かしていて、ウェブアプリの方からもRustの中で検索機能を呼び出している。なので単にPlumeを(日本語形態素解析器付きで)動かすだけで、検索機能用のメモリーが必要になってしまう。groonga-httpdとかElasticsearchみたいに、別マシンで動かしてHTTPで通信するタイプが広まるの、当たり前だよなあと思えてしまう……。

それにしてもLinderaトークナイザーはメモリー食い過ぎの気もする。調べたわけでもベンチマーク取ったわけでもないから只の言い掛かりだけども……。