Giới thiệu Tìm hiểu về Retrieval-Augmented Generation (RAG)
Kho tài liệu này cung cấp cái nhìn tổng quan toàn diện về kho lưu trữ all-rag-techniques, một bộ sưu tập giáo dục gồm hơn 22 triển khai Retrieval-Augmented Generation (RAG) được thiết kế để chứng minh các khái niệm RAG cơ bản thông qua mã hóa thực hành.
Kho lưu trữ này nhấn mạnh tính rõ ràng và giá trị giáo dục bằng cách triển khai các kỹ thuật từ đầu bằng cách sử dụng các thư viện Python cơ bản thay vì dựa vào các framework phức tạp. Để biết chi tiết triển khai cụ thể của từng kỹ thuật RAG, hãy xem các trang được đánh số tương ứng: Simple RAG, Semantic Chunking, Adaptive RAG, Reinforcement Learning Enhanced RAG, v.v. Để biết thiết lập kỹ thuật và các phụ thuộc, hãy xem System Setup and Infrastructure.
Triết lý Phương pháp Giáo dục và Chiến lược Triển khai
Kho lưu trữ tuân theo một phương pháp giáo dục thực hành với ba nguyên tắc cốt lõi: Framework-Free (Sử dụng các thư viện cơ bản thay vì framework phức tạp để giúp người học nắm bắt cơ chế hoạt động bên dưới), Building-From-Scratch (Xây dựng các lớp tùy chỉnh, logic phân đoạn thủ công để minh họa các khái niệm cốt lõi), Self-Contained Notebooks (Mỗi tệp chạy độc lập để cho phép học tập tập trung).
Kiến trúc Kho lưu trữ
Kho lưu trữ bao gồm hơn 22 Jupyter notebook được tổ chức theo độ phức tạp và chức năng, được hỗ trợ bởi các tệp dữ liệu và cấu hình được chia sẻ.
Phân loại Kỹ thuật RAG
Kho lưu trữ tổ chức các kỹ thuật RAG thành năm cấp độ phức tạp, mỗi cấp độ xây dựng dựa trên các khái niệm trước đó.
“Học RAG từ đầu, không cần framework phức tạp.
Fareed Khan
Khám phá RAG
Trải nghiệm các tính năng tương tác
Simple RAG
Bắt đầu với kỹ thuật RAG cơ bản.
Thành phần Các Hệ thống Cốt lõi
Kho lưu trữ triển khai một số lớp và hàm cơ bản tạo thành nền tảng của tất cả các kỹ thuật RAG: Lưu trữ và truy xuất vector, Cấu hình và phụ thuộc API (API LLM qua biến môi trường Nebius AI, mô hình nhúng Nebius AI, thao tác vector tùy chỉnh, xử lý tài liệu cho phân tích cú pháp PDF và đánh giá).
Cấu trúc Mã và Mẫu Triển khai
Mỗi kỹ thuật RAG tuân theo các mẫu triển khai nhất quán có thể được theo dõi thông qua các thực thể mã cụ thể: Các mẫu hàm phổ biến, Framework Kiểm tra và Xác thực (chứa các truy vấn mẫu và câu trả lời tham khảo, tài liệu kiểm tra chính cho hầu hết các kỹ thuật, tài liệu chuyên dụng để kiểm tra đa phương thức, các hàm đánh giá tùy chỉnh trong mỗi sổ ghi chép cho các số liệu cụ thể về kỹ thuật).
Hướng dẫn Điều hướng
Tài liệu kho lưu trữ này được tổ chức thành các phần chính sau: Thiết lập và Cơ sở hạ tầng, Kỹ thuật Nền tảng, Kỹ thuật Nâng cao, Hệ thống Thông minh, Ứng dụng Chuyên dụng. Mỗi trang được đánh số tương ứng với một triển khai sổ ghi chép cụ thể, cung cấp tài liệu kỹ thuật chi tiết về cấu trúc mã, thuật toán và phương pháp đánh giá.