ローカルLLMと会話しながら読む漫画ビューワをつくってみる
環境：Claude Code(Opus 5)
視覚モデルがどの程度漫画を読み取れるのかが気になったので試作してみました。フリー素材となっている「ブラックジャックによろしく」を使って解説します。
漫画を読みながらLLMに質問したり、雑談したりできるアプリを目指しました。
ページ解析
ページの解析にはGemma 4 26B-A4Bと、manga-ocrを使いました。Gemmaだけでも解析できるのですが、manga-ocrはテキストの抽出専門なので、こちらで高速にテキスト抽出させてから、Gemmaに補助としてそれを読ませて絵を解析させる、という構成にしています。
画像を1ページごとに解析をしていきます。前後のコンテキストが途切れないように、前の3ページの結果の文章も一緒に使います。これをやらないと画像の人物が誰なのか見失ったり、その瞬間の出来事として判断してしまうからです。
200ページの解析にRTX PRO 5000 Blackwellを使っておおよそ30分ぐらいかかります。
精度は完璧とは言えないですが、悪くないですね。一連の解析が終わると、物語のまとめを作成します。
チャット
解析が終わると、LLMとチャットすることができます。これが一番やりたかったことですね。画像やテキスト等のコンテンツをベクトル空間上で扱い、その意味や関係性、構造を計算可能なものとして扱えるようになったことが、LLMによる大きな変化の一つだと思います。
「登場人物を整理して」と質問すると、物語の登場人物を羅列してくれます。結果はおおむね間違っていないかなと思いました。人物が重複していることがたまにあり、絵柄から同一人物かどうかを判断するのは難しく、人物や関係性は台詞から推測しているように見えます。
まあまあ深い質問もできるようになっている。内容の難しい漫画ほど、LLMと理解を深めながら読み進めることができると思います。一人ではなく誰か（LLM）と共有しながら読めるようなものをコンセプトに今後も改良を進めていきたいですね。
リポジトリ
リポジトリはこちら
Build software better, togethergithub.com
※未完成の試作なので、参考程度に留めてください。