SQLite3学習 FTSまとめ（ICU, MeCab）

　全文検索。

FTS5 + MeCab

• SQLite3学習　全文検索（FTS5
• SQLite3学習　全文検索FTSを日本語で使う方法を調べてみた
• 形態素解析MeCabをインストールする
• SQLite3学習　全文検索FTS5のMeCab用トークナイザを実装する
• SQLite3学習　FTS5+MeCabでクエリ構文
• SQLite3学習　FTS5のテーブル作成と初期化
• SQLite3学習　FTS5の補助関数
• SQLite3学習　FTS5のfts5vocab仮想テーブル
• MeCabユーザ辞書の作り方（Wikipediaの題名を名詞とした

FTS4 + ICU

• SQLite3ビルド　ICUを有効にする（SQLITE_ENABLE_ICU
• SQLite3拡張　ICUを動的ロードする
• SQLite3拡張　ICUでcollateする
• SQLite3拡張　ICUで全文検索する（FTS4

概要

• FTSはFull Text Search（全文検索）のことである
• FTSはバージョン4, 5が主流である（執筆当時）
• FTSは検索単語をトークンに分解するトークナイザが必要
• 組込トークナイザは英語用である（日本語では役立たず）
  • 日本語で使えるトークナイザにICUやMeCabがある
    • FTS5ではICUが使えない

対象環境

• 2019-08-23
• Raspbierry pi 3 Model B+
• Raspbian stretch 9.0 2018-11-13
• bash 4.4.12(1)-release
• SQLite 3.29.0
• MeCab 0.996ユーザ辞書

$ uname -a
Linux raspberrypi 4.19.42-v7+ #1218 SMP Tue May 14 00:48:17 BST 2019 armv7l GNU/Linux