مدل‌های زبانی عمومی می‌توانند تنظیم و بهتر بشوند تا کارهای معمولی مثل تحلیل احساسات و شناسایی نام موجودیت‌ها رو انجام بدن. این کارها معمولاً نیاز به دانش اضافی ندارن.

برای کارهای پیچیده‌تر و نیازمند دانش بیشتر، میشه یه سیستم مدل زبانی درست کرد که به منابع دانش خارجی دسترسی داشته باشه تا کارها رو انجام بده. این باعث میشه جواب‌هایی که تولید میشن، دقیق‌تر و معتبرتر باشن و مشکل “هذیان‌گویی ” hallucination رو کمتر کنه.

محققان هوش مصنوعی متا یه روشی به اسم Retrieval Augmented Generation (RAG) معرفی کردن تا کارهایی که نیاز به دانش زیاد دارن رو حل کنه. RAG یه بخش بازیابی اطلاعات رو با یه مدل تولید متن ترکیب می‌کنه. RAG رو می‌شه جوری تنظیم کرد که دانش داخلی‌ش به شکل کارآمدی تغییر کنه، اونم بدون اینکه نیازی باشه کل مدل رو دوباره آموزش بدن.

RAG یه ورودی می‌گیره و یه سری اسناد مرتبط و پشتیبان رو از یه منبع (مثلاً ویکی‌پدیا) پیدا می‌کنه. بعد این اسناد رو به عنوان زمینه با ورودی اصلی قاطی می‌کنه و به یه مولد متن میده که خروجی نهایی رو بسازه. اینجوری RAG برای شرایطی که اطلاعات ممکنه با گذشت زمان تغییر کنن، خیلی منعطفه. این خیلی کاربردیه چون دانش مدل‌های زبانی بزرگ (LLMs) ثابت و تغییرناپذیره. RAG به مدل‌های زبانی این امکان رو میده که بدون نیاز به آموزش دوباره، به آخرین اطلاعات دسترسی داشته باشن و خروجی‌های قابل اعتماد تولید کنن.

لوییس و همکارانش در سال 2021 یک روش تنظیم دقیق چند هدفه برای RAG پیشنهاد دادند. در این روش، از یک مدل seq2seq از پیش آموزش‌دیده به عنوان حافظه پارامتری استفاده می‌شود و از یک ایندکس وکتوری متراکم از ویکی‌پدیا به عنوان حافظه غیرپارامتری بهره گرفته می‌شود (که با استفاده از یک دریافت‌کننده عصبی از پیش آموزش‌دیده به آن دسترسی دارند).