Tổng Quan CrewAI và RAG: Khái Niệm và Cấu Trúc Dự Án
Kho lưu trữ này cung cấp một cái nhìn sâu sắc về việc sử dụng CrewAI kết hợp với các kỹ thuật RAG (Retrieval-Augmented Generation). Dự án trình bày cách thiết lập và sử dụng các agent, công cụ và task khác nhau trong CrewAI để thực hiện các hoạt động cụ thể, chẳng hạn như phân tích PDF và kênh YouTube, trích xuất thông tin và tạo ra các kết quả có cấu trúc.
Cấu trúc dự án được chia thành các thư mục chính: `1_pdf/` chứa mã và cấu hình môi trường cho việc xử lý tài liệu PDF, bao gồm các thiết lập cơ bản và tùy chỉnh sử dụng các LLM và embedder cụ thể. `2_youtube_and_web/` chứa mã và công cụ để xử lý các kênh và video YouTube, bao gồm các công cụ tùy chỉnh để thêm video YouTube vào cơ sở dữ liệu vector và lấy video mới nhất từ một kênh YouTube. Scripts chính được sử dụng để thiết lập các agent và task liên quan đến việc xử lý YouTube.
Hướng Dẫn Cài Đặt và Thiết Lập Môi Trường
Để bắt đầu, hãy clone kho lưu trữ và cài đặt các dependencies cần thiết bằng Poetry. Đảm bảo bạn đã cài đặt Poetry và thiết lập các biến môi trường cần thiết, bao gồm API key, trong file `.env` ở thư mục gốc và các thư mục con liên quan (1_pdf, 2_youtube_and_web).
Các bước cài đặt bao gồm: Clone repository, cài đặt dependencies (sử dụng `poetry install`), và thiết lập biến môi trường bằng cách tạo file `.env` và thêm các API key cần thiết.
Chi Tiết Agent và Task: Xử Lý PDF và YouTube
Dự án sử dụng nhiều agent và task khác nhau để xử lý PDF và YouTube. Đối với PDF, có các agent như `Manager Agent` (quản lý quy trình), `Research Agent` (tìm kiếm thông tin liên quan trong PDF), và `Professional Writer Agent` (viết email chuyên nghiệp). Các task bao gồm `Answer Customer Question Task` và `Write Email Task`.
Đối với YouTube, có các agent như `Scrape Agent` (trích xuất nội dung từ video), `Vector DB Processor` (thêm video vào cơ sở dữ liệu vector), `General Research Agent` (thu thập thông tin từ kênh YouTube), `Follow-up Agent` và `Fallback Agent`. Các task bao gồm `Scrape YouTube Channel Task`, `Process Videos Task`, `Find Initial Information Task`, `Follow-up Task` và `Fallback Task`.
“CrewAI kết hợp RAG mở ra khả năng xây dựng các hệ thống AI thông minh và linh hoạt, có thể xử lý nhiều loại dữ liệu khác nhau.
Content Alchemist
Khám Phá Thêm
Tương tác và tìm hiểu sâu hơn về CrewAI và RAG
Tài Liệu CrewAI
Truy cập tài liệu chính thức của CrewAI để tìm hiểu thêm về các tính năng và cách sử dụng.
Ví Dụ Ứng Dụng RAG
Xem các ví dụ khác về cách RAG có thể được sử dụng trong các lĩnh vực khác nhau.
Ví Dụ Hướng dẫn Chạy Các Quy Trình Xử Lý
Để chạy quy trình xử lý PDF, di chuyển đến thư mục `1_pdf/` và chạy script chính. Tương tự, để chạy quy trình xử lý YouTube, di chuyển đến thư mục `2_youtube_and_web/` và chạy script tương ứng.
Để sử dụng YouTube Data API v3, bạn cần bật API này trong Google Cloud Console, tạo API key và thêm nó vào file `.env`. Các bước bao gồm: Bật YouTube Data API v3, tạo API Key, và thêm API Key vào file `.env`.
Mục Tiêu Ứng Dụng và Đóng Góp vào Dự Án
Mục tiêu chính của dự án là giúp mọi người làm quen với các kỹ thuật RAG, bao gồm scraping, embedding, querying, và tạo/sử dụng tools. Dự án có nhiều use case khác nhau, từ tìm kiếm thông tin trong vector store đến các ứng dụng trong tuyển dụng, sales, và quản lý tài liệu nội bộ.
Chúng tôi hoan nghênh các đóng góp để nâng cao chức năng và tính năng của dự án. Vui lòng fork kho lưu trữ, tạo branch mới, thực hiện thay đổi, commit và push, sau đó tạo Pull Request.