Làm Chủ
AI Chatbot Riêng Ngay Trên Máy Tính Của Bạn

Giới Thiệu Tại Sao Nên Chạy LLM Trên Máy Tính Cá Nhân?

Sức mạnh của các mô hình ngôn ngữ lớn (LLM) nhờ điện toán đám mây là điều không thể phủ nhận. Nhưng bạn đã bao giờ nghĩ đến việc chạy một AI chatbot ngay trên máy tính xách tay hoặc máy tính để bàn của mình chưa? Nếu hệ thống của bạn đủ mạnh, bạn hoàn toàn có thể làm được điều đó.

Có nhiều lý do để bạn muốn tự mình chạy LLM. Bạn có thể tinh chỉnh công cụ cho dữ liệu riêng, đảm bảo các cuộc trò chuyện AI được riêng tư và ngoại tuyến, hoặc đơn giản chỉ là khám phá khả năng của các mô hình AI mà không bị giới hạn bởi các quy định của nhà cung cấp dịch vụ đám mây. Với một LLM tương tự ChatGPT trên máy tính của bạn, tất cả những điều này đều có thể thực hiện được.

Phần Cứng Yêu Cầu Không Quá Khắt Khe

Việc sở hữu phần cứng phù hợp không còn là trở ngại lớn. Các LLM mới nhất được tối ưu hóa để hoạt động với card đồ họa Nvidia và máy Mac sử dụng bộ xử lý Apple M-series, thậm chí cả các hệ thống Raspberry Pi có công suất thấp. Khi phần cứng tập trung vào AI mới ra mắt, như NPU tích hợp của bộ xử lý Intel "Meteor Lake" hoặc AMD Ryzen AI, việc chạy chatbot cục bộ sẽ trở nên dễ dàng hơn bao giờ hết.

Các nền tảng như Hugging Face và cộng đồng LocalLlaMA đã cung cấp các mô hình phần mềm mã nguồn mở tương đương với các công cụ nổi tiếng như ChatGPT. Hiện tại, có hơn 200.000 mô hình khác nhau đang được cung cấp miễn phí. Cùng với các công cụ như Text Generation WebUI của Oobabooga, bạn có thể truy cập chúng trong trình duyệt của mình bằng giao diện đơn giản, tương tự như ChatGPT, Microsoft Copilot và Google Gemini.

Lưu Ý Cảnh Báo Quan Trọng Trước Khi Bắt Đầu

Tuy nhiên, cần nhớ rằng các công cụ AI chạy cục bộ vẫn chưa hoàn thiện cho người dùng không chuyên về kỹ thuật. Danh mục này còn khá mới, vì vậy bạn sẽ khó tìm thấy các hướng dẫn dễ hiểu về cách tải xuống và chạy LLM của riêng mình. Quan trọng hơn, LLM cục bộ sẽ không nhanh bằng nền tảng máy chủ đám mây vì tài nguyên bị giới hạn trong hệ thống của bạn.

Các mô hình này được cung cấp miễn phí bởi cộng đồng mã nguồn mở và dựa trên nhiều phần mềm khác cũng miễn phí và mã nguồn mở. Điều này có nghĩa là mọi thứ được duy trì bởi các lập trình viên độc lập, nhóm tình nguyện viên và một số công ty lớn như Facebook và Microsoft. Bạn sẽ gặp phải nhiều thành phần chuyển động, và nếu đây là lần đầu tiên bạn làm việc với phần mềm mã nguồn mở, đừng mong đợi nó đơn giản như tải xuống một ứng dụng trên điện thoại.

“

Chạy LLM trên máy tính cá nhân mở ra một thế giới mới về quyền riêng tư, khả năng tùy chỉnh và tự do khám phá AI.

PCMag

Chuẩn Bị Chọn Phần Cứng Và Thiết Lập Môi Trường

Trước khi bắt đầu, bạn cần biết một số thông tin về máy tính mà bạn muốn chạy LLM. Đó là máy tính Windows, Mac hay Linux? Hướng dẫn này tập trung vào Windows, nhưng hầu hết các tài nguyên được tham khảo đều cung cấp các tùy chọn và hướng dẫn bổ sung cho các hệ điều hành khác.

Bạn cũng cần biết hệ thống của mình có GPU rời hay dựa vào đồ họa tích hợp của CPU. Nhiều LLM mã nguồn mở có thể chạy hoàn toàn trên CPU và bộ nhớ hệ thống, nhưng hầu hết đều được thiết kế để tận dụng sức mạnh xử lý của chip đồ họa chuyên dụng và VRAM bổ sung của nó. Laptop chơi game, máy tính để bàn và máy trạm phù hợp hơn cho các ứng dụng này vì chúng có phần cứng đồ họa mạnh mẽ mà các mô hình này thường dựa vào.

Hướng Dẫn Các Bước Cài Đặt và Sử Dụng

Để bắt đầu, bạn cần tải xuống một số phần mềm cần thiết: Microsoft Visual Studio 2019 (phiên bản BuildTools) và Text Generation WebUI từ Oobabooga. Đảm bảo chọn "Desktop Development with C++" trong Visual Studio để các phần mềm khác hoạt động bình thường.

Sau khi tải xuống và cài đặt Visual Studio, bạn cần tải xuống Text Generation WebUI từ Oobabooga. Tạo một thư mục mới trên PC của bạn (ví dụ: AI_Tools) và giải nén nội dung của tệp zip bạn vừa tải xuống vào thư mục đó. Chạy tệp start_windows.bat để bắt đầu cài đặt. Trình cài đặt sẽ mở một dấu nhắc lệnh (CMD) và bắt đầu cài đặt hàng loạt phần mềm cần thiết để chạy Text Generation WebUI.