LLM Cá Nhân
Ollama: Sức Mạnh Mô Hình Ngôn Ngữ Lớn Trong Tay Bạn

Giới Thiệu Ollama Là Gì và Tại Sao Bạn Nên Sử Dụng?

Ollama cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) mã nguồn mở, như Llama 2, một cách cục bộ trên máy tính của bạn. Điều này có nghĩa là bạn có thể tận dụng sức mạnh của LLM mà không cần kết nối internet hoặc chia sẻ dữ liệu của mình với các dịch vụ bên ngoài.

Ollama đóng gói trọng số mô hình, cấu hình và dữ liệu vào một gói duy nhất, được xác định bởi Modelfile. Nó tối ưu hóa các chi tiết cài đặt và cấu hình, bao gồm cả việc sử dụng GPU, giúp bạn dễ dàng bắt đầu sử dụng LLM hơn bao giờ hết. Xem thư viện mô hình Ollama để có danh sách đầy đủ các mô hình và biến thể được hỗ trợ.

Điểm mạnh của Ollama nằm ở khả năng đơn giản hóa quá trình triển khai và quản lý LLM, cho phép người dùng tập trung vào việc khai thác sức mạnh của mô hình mà không cần lo lắng về các vấn đề kỹ thuật phức tạp.

Cài Đặt Hướng Dẫn và Thiết Lập Ollama

Để bắt đầu, hãy làm theo các hướng dẫn sau để thiết lập và chạy một phiên bản Ollama cục bộ:

1. **Tải xuống và cài đặt Ollama**: Ollama hỗ trợ các nền tảng bao gồm Windows Subsystem for Linux (WSL), macOS và Linux.

*Người dùng macOS* có thể cài đặt qua Homebrew với `brew install ollama`.

2. **Tải xuống mô hình LLM**: Xem danh sách các mô hình có sẵn thông qua [thư viện mô hình](https://ollama.com/library). Ví dụ: `ollama run llama2` sẽ tải xuống phiên bản được gắn thẻ mặc định của mô hình Llama 2. Thông thường, mặc định trỏ đến mô hình tham số có kích thước nhỏ nhất, mới nhất.

*Trên Mac*, các mô hình sẽ được tải xuống `/Users//.ollama/models`.

*Trên Linux (hoặc WSL)*, các mô hình sẽ được lưu trữ tại `/usr/share/ollama/.ollama/models`.

3. **Chỉ định phiên bản mô hình**: Chỉ định phiên bản chính xác của mô hình bạn quan tâm (Xem các thẻ khác nhau cho mô hình trong trường hợp này).

4. **Xem tất cả các mô hình đã tải xuống**: Sử dụng `ollama list`.

5. **Chat trực tiếp với mô hình**: Sử dụng `ollama run ` từ dòng lệnh.

6. **Xem tài liệu Ollama**: Chạy `ollama --help` trong terminal để xem các lệnh có sẵn.

“

Ollama giúp bạn khai thác sức mạnh của LLM cục bộ, riêng tư và an toàn.

Content Alchemist

Tích Hợp Ollama với LangChain

Ollama có thể được tích hợp dễ dàng với LangChain để tạo các ứng dụng phức tạp hơn.

**Cài đặt**: Tích hợp LangChain Ollama nằm trong gói `langchain-ollama`.

Cập nhật bằng cách chạy: `pip install -U langchain-ollama`.

**Khởi tạo**: Bây giờ chúng ta có thể khởi tạo đối tượng mô hình và tạo các hoàn thành trò chuyện:

**Kết nối**: Chúng ta có thể kết nối mô hình của mình với một mẫu lời nhắc như sau:

Bạn có thể sử dụng tool calling với LLM đã được tinh chỉnh để sử dụng công cụ. Chi tiết về việc tạo các công cụ tùy chỉnh có sẵn trong hướng dẫn này. Dưới đây, chúng tôi minh họa cách tạo một công cụ bằng cách sử dụng decorator trên một hàm python thông thường.

Ollama có hỗ trợ hạn chế cho LLM đa phương thức, chẳng hạn như gemma3. Hãy nhớ cập nhật Ollama để bạn có phiên bản mới nhất hỗ trợ đa phương thức.

Một số mô hình, chẳng hạn như Granite 3.2 của IBM, hỗ trợ vai trò tin nhắn tùy chỉnh để cho phép các quy trình tư duy. Để truy cập các tính năng tư duy của Granite 3.2, hãy chuyển một tin nhắn có vai trò có nội dung được đặt thành ``.