Gemini Notebook（旧NotebookLM）より安全に。町工場の第二の脳を、手元のMacだけで動かした話
- ⏱ 約4分で読めます - 👁 … viewsGoogleのGemini notebook（旧NotebookLM。以下長いのでNotebookLMと書きます）は非常に便利なサービスで、入力ソースをベースにしているのでハルシネーションは起きにくく、スライドやインフォグラフィック、音声解説も簡単に作れます。
ただ、お客様にNotebookLMを説明する際、必ず念を押すことがあります。
「このサービスはクラウド上で動作するものなので、機密データを送ることは避けるか、具体的な部分をかなりぼかして入力してくださいね」と。
こうしてぼかしてしまうと、本当に得たい答えに至らない可能性も大きいのです。
NotebookLMの基礎技術はRAGと呼ばれる技術です。最近よく見かける「Obsidian＋生成LLMで第二の脳を」という記事も、結局はこのRAGの仕組みを使っているものです。以前、ISO 27001の知識をRAGで追加することで、ローカルの相談相手を作った記事を書きました。基本がRAGならば、それを完全にノートPC上に構築してしまえばいいんじゃないか。そう思い立ちました。
ちょうど、町工場のお客様に説明するたびに気になっていたことでもありました。
町工場が扱う資料には、取引先の図面、まだ公開していない見積もり、加工条件のノウハウが混ざっています。クラウドに預けた瞬間その管理は自社の手を離れてしまい、便利さと引き換えにするには重すぎる代償に思えました。
だったら、同じことを社内だけで完結させればいい。RAGがローカルで動くこと自体は、以前の記事で確かめてある。問題は、その先にどこまで踏み込めるかです。うちにある普通のMacBook Pro、メモリ16GBの手元の環境で、いったいどこに限界が来るのか。それを確かめてみることにしました。
手元のMacだけで動く頭脳
調べてみると、GoogleがGemmaという無料のAIモデルを公開していて、いくつかある種類の中には文章だけでなく画像も理解できるタイプがありました。図面を見せて「これは何の部品か」と聞けば、それらしく答えてくれるわけです。
このモデルを、Ollamaという無料ソフトで手元のMacに入れてみました。動きました。インターネットに一切繋がずに、質問すれば答えが返ってくる環境が、あの16GBのMacの中にできあがったのです。
ただ、動いたと一言で済ませられるほど単純な話でもありません。資料をどう小分けにして読み込ませるか、似た内容の文章をどう見つけ出すか、そのあたりの仕組みを一つずつ組み立てて、ようやく実用に足る答えが返ってくるようになります。ここは以前のISO 27001の記事で通った道で、勝手はある程度わかっていました。
あとは、資料を放り込んで質問できる画面と、質問への回答をAIに考えてもらう仕組みを組み立てるだけです。設計をまとめ、実装を進め、動かしては直しを繰り返しました。
出来上がったところで、実際に動く範囲は次のようになりました。
- PDFやテキストの資料をアップロードして、その内容をもとにした質疑応答ができる
- 答えには、資料のどの部分を根拠にしたかも添えられる
- それまでのやり取りを踏まえた上での質問にも対応できる
- 資料そのものから要約や学習用のまとめを作れる
- 図面のような画像を扱う機能も、実際に自分のMac上で問題なく動くことを確認した
- 資料の内容を音声で読み上げる機能も、簡単なものは組み込んである
「第二の脳」として、現場に置く
ここまでできると、次に見えてくるのは町工場での使い道です。
過去の見積もり、加工条件のメモ、取引先とのやり取り、図面の変更履歴。こうした資料は、たいてい特定の人の頭の中か、共有フォルダの奥にしまわれています。担当者が休んだ日に「あの件、どうなってたっけ」と困った経験は、現場なら一度や二度ではないはずです。
このアプリなら、そうした資料を手元のパソコンに置いたまま、外部に情報を渡さず質問すればすぐに答えが返ってきます。ベテランの頭の中身を、クラウドに預けずに、そのまま脇に置いておけるようなものです。
もちろん、ここまではまだ土台にすぎず、資料を読み込ませて質問に答えるという、いちばん基本の部分が動いただけです。今回はっきりしたのは、この普通のMacBook Proでも仕組みそのものは組み上がる、というところまでです。回答の速さや賢さをもう一段引き上げるとなると、話は変わってきます。もっと大きなメモリと、処理を担う強いGPUが要る。そこが再確認できたことです。
設計から実装、動作の検証まで一通り自分の手で確かめてある分、どこを強化すれば現場に耐える形になるかも、輪郭が見えてきました。図面と加工条件と過去のやり取りを、黙って抱え込んでくれる「第二の脳」。それを現場に置くために、次に詰めるべき課題がはっきりしたところで、今回の検証は一区切りです。