就一个字——折腾：本地运行大模型—qwen2.5-coder:1.5b

ただ一言 —— 遊ぶ#

　　突然、私の 7、8 年の古いノートパソコンと GTX1050 2G 版が AI 大モデルの恩恵を受けられるか見てみたくなった。

　　ローカルのオープンソース大モデルを試してみて、この古い相棒がどれだけの余熱を発揮できるか見てみよう。

　　どうやって便利に遊ぶか？Ollama は非常に良い選択肢で、オープンソースの大規模言語モデルサービスツールで、Windows、macOS、Linux をサポートし、さまざまな主流のオープンソース大モデルをサポートしています。さらに重要なのは、大モデルをワンクリックでデプロイできることです。本当に手間いらずです。

ollama のダウンロードとインストール#

　　ollama の公式サイトは以下の通りです：Ollama

　　自分のコンピュータのシステムに対応するバージョンをインストールすれば良いです。

自分に合ったローカル大モデルの選択#

　　ollama のホームページで models をクリックするだけです。具体的なモデルの選択は、自分のローカルハードウェアの性能とモデルの利点に基づいて選びます。

　　1050 と弱い 2G の VRAM を考慮して、私は「遊ぶ」ために 1.b のモデルを選ぶことにしました。対応するモデルを見つけ、モデルに対応するコマンドを Windows のコマンドプロンプト「cmd」画面にコピーすれば良いです。例えば、私が選んだのはollama run qwen2.5-coder:1.5bです。その後、自動的に対応する大モデルがインストールされ、実行されます。「send a message (/? for help)」と表示されたら、大モデルのインストールが完了し、使用を開始できます。

　　起動後、グラフィックカードの使用状況を確認します。

　　2G の VRAM 使用量は 1.2G で、1.5b の「大モデル」に対して、1050 はまだ戦えることがわかります。

qwen の能力をテストする#

以下は **「不正確」** なテストのいくつかです。

まず最初の質問は自己紹介です。
2. 私はアリババクラウドによって開発された人工知能アシスタントで、ユーザーの質問に答えたり、情報を提供したり、さまざまなタスクを支援することを目的としています。私の設計目的は、自然言語処理技術を通じて、ユーザーの意図やニーズを理解し、これらの情報に基づいて個別の応答を提供することです。私は言語理解と生成能力を備えており、ユーザーと対話し、文脈に基づいて推論や意思決定を行うことができます。さらに、私は定期的に自分の知識ベースを更新し、質問に対する回答が正確で信頼できることを保証します。
3. 回答速度はかなり速く、最初の質問の回答は無難でした。次に他の質問を見てみましょう。
簡単な数学の問題をテストする
2. ハハ、大小を比較する際に間違いはありませんでした、なかなか良いです。
国語のレベルをテストする
2. うーん、この回答にはあまり満足できませんでした。《蜀道難》を暗記できないとは、私も暗記できませんが。
ネット上の問題をいくつか試してみる。
1. 電動自転車に乗って帰宅中、無人の路地で暴走。突然、向こうから一人のおじさんが飛び出してきて、彼も速く走っています。もうすぐ衝突しそうです。おじさんが叫びました：「あなたは左！私は右！」このジョークの笑いどころはどこですか？
2. 甲：私たちの大爷を守れ！乙：なぜ方大爷だけを守るのですか？韓大爷は守らなくてもいいのですか？
  
  このジョークの笑いどころは何ですか？
3. 次の選択肢の中から、異なるものを見つけてください：
  1. アルミ 2. スズ 3. 鋼 4. 鉄 5. 銅
4. 1 キロの綿と 1 キロの鉄、どちらが重いですか？
5. 1 から 101 までの合計はいくつですか？
6. これらの問題を解いた後、天が崩れたように感じました。やはり「小」モデルでは、回答が期待通りではありませんでした。また、問題が増えるにつれて、生成応答の速度も 20 トークン / 秒から 20 以下に低下しました。
翻訳能力を再度テストする

プログラミング能力を試してみる

問題：各二分木の各ノードの値を印刷する Python プログラムを書いてください。

class TreeNode:
    def __init__(self, value=0, left=None, right=None):
        self.value = value
        self.left = left
        self.right = right

def print_tree_nodes(node):
    if node is None:
        return

    # 現在のノードの値を印刷
    print(node.value)

    # 左の部分木を再帰的に印刷
    print_tree_nodes(node.left)

    # 右の部分木を再帰的に印刷
    print_tree_nodes(node.right)

# 使用例
root = TreeNode(1)
root.left = TreeNode(2)
root.right = TreeNode(3)
root.left.left = TreeNode(4)
root.left.right = TreeNode(5)

print("木の中の順序遍歴:")
print_tree_nodes(root)

そのコードが実行できるか試してみましたが、やはり実行できました。

最後に#

　　1050 で大モデルを動かすのは一言で言うと ——「遊ぶ」。遊びの属性は実用性をはるかに上回ります。

　　より良い体験とより正確な回答を得るには、より良いデバイスとより大きなモデルを使用する必要があります。

　　次は、時間があるときに Mac の M4 でローカル大モデルを試してみて、どんな結果になるか見てみます。