パソコンのスペックが低すぎる、「ローカル大モデルの魅力」を無料で体験する方法

背景#

== 毎月無料で 10000 分間 GPU を使用：Tencent Cloud Studio を利用してクラウド上に大モデルを構築。==

AI 空間の構築#

https://cloud.tencent.com/ を開き、指示に従ってログインし、自分の状況に応じて必要なモデルを選択します。次に、olloma を例にとり、図のように olloma を選択し、新しい基本型の空間を作成します。

IDE 環境への入場#

ターミナルを通じて現在インストールされているローカルの大モデルを確認します。使用するコマンドは以下の通りです：

ollama list

デフォルトでインストールされているモデルは：llama3:latest

必要なローカル大モデルのインストール#

olloma 公式サイトにログインし、必要な大モデルを選択します。deepseek-r1:32b を例にとり、IDE ターミナルに ollama pull deepseek-r1:32b と入力し、モデルのダウンロードが成功するのを待ちます。

Python プログラムを作成し、大モデル体験の旅を始める#

以下の Python プログラムを例にします。

from ollama import chat
from ollama import ChatResponse

response: ChatResponse = chat(
    model='deepseek-r1:32b',
    messages=[
        {'role': 'user', 'content': 'あなたは誰ですか？'},
    ]
)

print(response['message']['content'])

ターミナルの実行結果は以下の通りです。

最後に#

テストの結果、16g のメモリで 32b モデルを実行するのはやや困難で、14b のモデルを再ダウンロードして試してみます…………