手元のマシンでLLMを動かしたい開発者にとって、示唆の多い2本が同じ週に話題になりました。片方は Meta の新モデル Muse Glimmer の発表。もう片方は「ローカルモデルは勝たない」という反論の記事です。正反対に見えますが、数字を並べると、それぞれが正しい条件の線が引けます。
Meta が出したもの。常駐エージェント向けの30B
Muse Glimmer は300億パラメータのモデルで、Apache 2.0 ライセンスで Hugging Face に公開されています。設計の中心は「always-on local agent workflows」、ローカルで常時動き続けるエージェントです。想定されている仕事は、スケジュール管理・メッセージの下書き・ファイル整理といった、個人データに深く触れる常駐業務です。
数字を見ると、消費者向けハードウェアから逆算した規模だと分かります。フル精度では55GB超のメモリが要りますが、量子化で20GB前後まで下がり、24〜32GBのGPUメモリで動きます。DFlash という投機的デコードで、RTX 5090 なら約3.1倍、M5 Max で1.8倍の高速化。比較対象は Gemma4-31B や Qwen3.6-27B で、エージェントタスクの完了率・コード生成・画像込みの理解で競っています。30Bという規模は、消費者GPU1枚に載る上限から決まっています。
なぜローカルなのか
Meta の説明は4点です。ネット接続なしで動く。クラウド基盤に依存しない。個人データが手元から出ない。常時応答できる。
この4つのうち、決め手は後ろの2つです。常駐エージェントが扱うのは、予定・メッセージ・ファイルという、クラウドに送ること自体をためらうデータです。しかも常時見ている必要があるので、リクエストのたびにクラウドと往復する形とは相性が悪い。ローカルであることが、性能の妥協ではなく要件になっています。
反論。データセンターは約30倍効率がいい
seangoedecke の記事は、この夢に経済の数字をぶつけます。
- 効率: データセンターはローカル比で約30倍のリソース効率。根拠はバッチ処理——数百人分の推論を同時にさばける——と、ハードウェアの差。B200 は RTX 4090 に対して同じ電力で浮動小数点演算が約3倍、メモリ帯域が約4倍
- 費用: ローカル環境の初期投資で、AIサービスの月額契約が複数年分買える。電力代も月50〜300ドルかかり、「ローカルは無料」は隠れた費用を無視した錯覚だと指摘
- 行動: 利用者は結局、払える価格帯でいちばん強いモデルを選ぶ
ただし本人も結論を限定しています。低遅延が要る音声応答のようなニッチでは有効で、5年後にはスマートフォン上のローカルモデルが利用の大部分を仲介している可能性も認めている。「勝たない」は「消える」の意味ではなく、主流にはならない、という主張です。
どちらも正しい。分かれ目はバッチ処理が使えるか
30倍という効率の数字は、大量のリクエストをまとめて処理できる前提の数字です。ここが切り分けの線になります。
不特定多数のリクエストをさばく仕事——チャットサービス、API、コード補完——は、リクエストをまとめて処理できるので、クラウドの効率が勝ちます。トークン単価で比べる仕事は、この側です。
一方、常駐エージェントは1人のデータに張り付きます。まとめる相手がいないのでバッチの利点が薄れ、扱うデータはそもそも外に送りたくない。Meta が狙ったのはこの領域で、seangoedecke が「ニッチでは有効」と認めた領域と、実は重なっています。
つまり対立しているように見えて、2本は同じ地図の別の場所を指しています。トークン単価で選ぶ仕事はクラウド、データを出せない・常時性が要る仕事はローカル。手元で動かすこと自体を目的にせず、自分の仕事がどちら側かを先に決める。これがこの2本から引ける線です。