Multimodal AI: Kết hợp Thị giác, Ngôn ngữ & Hơn thế

Khóa học toàn diện về Multimodal AI — từ Vision-Language Models (CLIP, LLaVA), Visual Question Answering, Image Captioning, đến Document AI, Video Understanding. Thực hành với Python, PyTorch, Hugging Face Transformers, và các model state-of-the-art như GPT-4V, Gemini, LLaVA.

Duy Tran

14 bài học

42 giờ

Nội dung series

4 phần · 14 bài học

1.Phần 1: Nền tảng Multimodal Learning

3 bài

Bài 1: Multimodal AI là gì? — Cross-modal Learning90 phút
Bài 2: CLIP & Contrastive Vision-Language Learning150 phút
Bài 3: Vision Encoders — ViT, DINOv2 & Beyond120 phút

2.Phần 2: Vision-Language Models (VLMs)

4 bài

Bài 4: Image Captioning — Từ Attention đến Transformer150 phút
Bài 5: Visual Question Answering (VQA)120 phút
Bài 6: LLaVA & Open-source VLMs180 phút
Bài 7: GPT-4V, Gemini & Commercial VLMs120 phút

3.Phần 3: Document AI & Video Understanding

3 bài

Bài 8: Document AI — OCR, Layout Analysis & Extraction150 phút
Bài 9: Video Understanding & Temporal AI150 phút
Bài 10: Text-to-Image Generation & Editing150 phút

4.Phần 4: Advanced Multimodal & Production

4 bài

Bài 11: Multimodal RAG — Retrieval with Images & Documents150 phút
Bài 12: Embodied AI & Robotics Vision-Language120 phút
Bài 13: Deploy Multimodal AI — Optimization & Serving150 phút
Bài 14: Capstone — Multimodal Assistant Pipeline240 phút

Tác giả

DUY TRAN

Pursuing an AI-first mindset and intelligent system architecture. I build solutions by combining technology, creativity, and the ability to see structure in chaos — the foundation for becoming a Solution Architect.