就一個字——折騰：本地運行大模型—qwen2.5-coder:1.5b

就一個字 —— 折騰#

　　突然想看看我這七八年的老筆記本和搭配的 GTX1050 2G 版還能不能吃到 AI 大模型的紅利。

　　折騰個本地開源大模型試試水，看看這老夥計還能發揮多少餘熱。

　　怎麼方便快捷的折騰呢？Ollama 是很好的選擇，它一個開源的大型語言模型服務工具，支持 Windows、macOS、Linux ，支持多種主流開源大模型，更重要的是可以一鍵部署大模型，是真省事啊。

下載和安裝 ollama#

　　ollama 的官網如下：Ollama

　　安裝自己電腦系統對應的版本即可。

選擇適合自己的本地大模型#

　　在 ollama 的首頁點擊 models 即可，具體的模型選擇根據自己本地硬件的性能和模型的優勢來選取。

　　鑒於 1050 和孱弱的 2G 顯存，我只能選擇一個 1.b 的模型來「耍一耍」。找到對應的模型，複製模型對應的命令到 win 的命令提示符「cmd」界面即可。例如我選擇的是 ollama run qwen2.5-coder:1.5b，之後就會自動安裝和運行對應的大模型，當出現 send a message (/? for help) 時，表明大模型已經安裝完畢，可以開始使用啦。

　　啟動之後看一下顯卡的使用情況

　　2G 顯存佔用 1.2G，說明應對 1.5b 的「大模型」，1050 還是可以一戰的。

測試一下 qwen 的能力#

以下是一些 「不嚴謹」 測試

首先第一個問題自然是自我介紹

1.

2. > 我是一個由阿里雲開發的人工智能助手，旨在幫助用戶解答問題、提供信息、協助完成各種任務。我的設計目的是通過自然語言處理 > 技術，理解用戶的意圖和需求，並根據這些信息提供個性化的響應。我具備語言理解和生成能力，能夠與用戶進行對話，並根據上下文進行推理和決策。此外，我還定期更新自己的知識庫，以確保回答的問題準確可靠。
1. 回答速度還是很快的，第一題的回答中規中矩。接下來看看別的問題。
測試一些簡單的數學題

1.

2. 哈哈，比較大小的時候沒有出錯，還是可以的。
測試一下語文水平
2. 額，這個回答就不怎麼滿意了。竟然背不下來《蜀道難》，雖然我也背不下來。
找一些網上的題目試試。
1. 騎著電動車回家，在無人的巷子裡飆車。突然對面衝出一個大叔，也騎的飛快。眼看就要撞起了。大叔吼道："你左！我右！" 這個笑話的笑點在哪裡？
2. 甲：保護我方大爺！乙：為什麼只保護方大爺？韓大爺就不需要保護了嗎？
  
  請問這個笑話的笑點是什麼？
3. 下列選項中，找出與眾不同的一個：
  1. 鋁 2. 錫 3. 鋼 4. 鐵 5. 銅
4. 一公斤的棉花和一公斤的鐵，哪一個更重？
5. 從 1 加到 101 的總和是多少？
6. 測完這幾道題感覺天塌了，果然「小」模型，回答的也不尽如人意啊。且隨著問題的增加，生成響應的速度也從二十多 tokens/s 降低到了二十以下。
再來測一測翻譯能力

1.

2.

再試試編程能力

題目：寫一個 python 程序，打印每個二叉樹的每一個樹節點的值

class TreeNode:
    def __init__(self, value=0, left=None, right=None):
        self.value = value
        self.left = left
        self.right = right

def print_tree_nodes(node):
    if node is None:
        return

    # Print the current node's value
    print(node.value)

    # Recursively print the left subtree
    print_tree_nodes(node.left)

    # Recursively print the right subtree
    print_tree_nodes(node.right)

# Example usage
root = TreeNode(1)
root.left = TreeNode(2)
root.right = TreeNode(3)
root.left.left = TreeNode(4)
root.left.right = TreeNode(5)

print("In-order traversal of the tree:")
print_tree_nodes(root)

我試試它的代碼能不能跑，嘿嘿還是可以跑起來的。

1.

最後#

　　1050 跑大模型就是一個字 ——「玩」，玩樂屬性遠大於其實用性。

　　想要更好的體驗、更準確的回答，還是得用更好的設備、更大的模型。

　　接下來有空用 mac 的 m4 試試本地大模型，看看效果如何。