生成AI、何から始める?はじめての方へ

軽いローカルLLM(1.2B)でどこまでできる?|VRAM約2GBで動く日本語モデルに、要約・事実・メールを頼んだ結果

当ページのリンクには広告が含まれています。
「軽いローカルLLM(1.2B)でどこまでできる?」の記事のアイキャッチ

「VRAMが少ないパソコンでも動く、小さいローカルLLMって使えるの?」

この記事は、GPUのVRAMが少ないパソコンや、GPUのないパソコンで、ローカルLLM(自分のパソコンで動かす文章AI)を試したい人が、小さいモデルでどこまでできるかを知るための記事です。同じ頼み方を8BとChatGPTで比べた結果は、ローカルLLMとChatGPTはどう違う?にまとめています。

先に結論です。

  • 1.2Bの日本語モデル(ファイル約1.3GB)は、VRAMを全体で約2,100 MiB使い、1秒あたり約240トークンと速く動きました
  • 要約は、お知らせの点をすべて含めて答えました(ただし「3行」の形ではありませんでした)
  • 富士山の標高は3,776mと正しく答えましたが、どの機関の値かを間違えました
  • 小さいモデルは、手元で文章の下書きや要約を試すのに使えます。事実の答えは、必ず確かめます

2026年11月1日に、筆者のRTX 4070のパソコンで、LM StudioのLFM2.5-1.2B-JPを使って、同じ3つの頼み方を1回ずつ試しました。

1.2Bの日本語モデルの結果。要約は点をすべて含んだ、富士山の標高は値は正しいが機関を間違えた、メールは日程変更のお願いになっていなかった
各1回の結果。速さと答えのよさは一致しなかった
目次

あなたならどれで十分か

やりたいこと1.2Bで足りるか筆者の記録
ローカルLLMを、まず動かしてみる足りるVRAM約2,100 MiB、GPUなしでも1秒あたり約28トークン
短い文章の要約試せる点はすべて含んだが、形の指定は守らなかった
事実を答えてもらう確かめが必須標高の値は正しく、機関を間違えた
メールの下書き手直しが要るお願いの中身が変わっていた

どれも各1回の結果です。同じモデルでも、頼み方や設定で答えは変わります。

なぜそう言えるか:小さいモデルは軽いが、知識と指示の守り方に限りがある

モデルの大きさ(「1.2B」「8B」の数字)は、モデルの中の数値の多さを表します。小さいモデルは、ファイルもVRAMの使用量も小さく、速く動きます。筆者のパソコンでは、1.2Bは8Bの約3倍の速さでした。

一方で、今回の3問では、1.2Bは事実の出どころを間違え、メールのお願いの中身も変わっていました。8Bでも要約で点が抜けたり、メールが長くなったりしたので、どの大きさでも、答えを確かめてから使う点は同じです。

実際に試した結果

頼み方1.2B8B(参考)
お知らせを3行で要約4文の1段落。点はすべて含んだ3文の1段落。2つの点が抜けた
富士山の標高と、どの機関の値か3,776m。機関を「日本気象協会(現・気象庁)」と答えた3776m・国土地理院
日程変更のお願いメール(150字以内)約79字。相手の都合を聞く文になった168字で上限を超えた

注意:お知らせの文は架空のものです。富士山の標高を公表しているのは国土地理院で、標高は3,776mです(国土地理院の発表)。8Bの結果は、同じ日に同じ頼み方をしたときのものです。

1.2Bの答えは、3問とも2〜3秒で返りました。速くて軽いぶん、答えの中身は1つずつ確かめる必要がありました。

1.2Bと8Bの比較。1.2BはVRAM約2,100 MiBで1秒あたり約240トークン、8BはVRAM約6,700 MiBで約80トークン
小さいモデルほど速く、VRAMも少ない

使うときに見る場所

  1. 今のVRAMとメモリ:1.2BはVRAMを全体で約2,100 MiB使いました。GPUがなければ、CPUだけでも動きます(GPUなし(CPUだけ)でローカルLLMは動く?)
  2. 用事:下書きや要約を試すなら、小さいモデルから始められます
  3. 事実の確かめ方:答えの数字や出どころは、公式の情報で確かめます(生成AIの答えはどこまで信じていい?)

よくある勘違い

  • 小さいモデルは、要約もできない → 今回は、お知らせの点をすべて含めて要約しました
  • 数字が合っていれば、出どころも正しい → 標高の値は正しく、機関は間違えていました
  • 速いモデルほど、答えもよい → 今回、速さと答えのよさは一致しませんでした

よくある質問

Q. VRAMが4GBくらいのパソコンでも動きますか?

A. 筆者のパソコンでは、1.2BはVRAMを全体で約2,100 MiB使いました。ほかのパソコンでは試していないので、まず動かして、タスクマネージャーでVRAMの使用量を見てください。始め方はLM Studioの始め方にまとめています。

Q. もっと大きいモデルとの違いは?

A. 8Bとの比較は上の表のとおりです。どの大きさまで動くかはRTX 4070(12GB)でローカルLLMはどこまで動く?にまとめています。

小さい1.2Bのモデルは、VRAMの少ないパソコンでも速く動き、要約も試せました。ただ、事実の出どころを間違えたので、答えは確かめてから使います。

次に読む記事

この記事でできるようになったこと小さいモデルの速さ・VRAMと、要約・事実・メールでの得意不得意が分かり、使いどころを決められる

やってみる小さいモデルで短い文章の要約を頼み、答えの事実を自分で確かめる

次に「自分のパソコンで動くAIとChatGPTで、答えがどれくらい違うか知りたい」と思ったら

ChatGPTと比べる同じ3つの頼み方の結果

ほかの疑問なら

いまは「STEP 7 自分に合わせる」です。難しかった・違う悩みだった人は、START HERE の「困ったときは」から選べます。

参考

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次