خودسازگاری Self-Consistency
شاید یکی از تکنیک‌های پیشرفته‌ی مهندسی پرامپت، “خودسازگاری” باشه. این روش رو وانگ و همکارانش تو سال ۲۰۲۲ پیشنهاد دادن. خودسازگاری رویکردیه که به سادگی از یک مدل یک پرسش را چندین بار می‌پرسد و نتیجه غالب را به عنوان پاسخ نهایی در نظر می‌گیره. این رویکرد تکمیل‌کننده‌ی روش CoT است و در ترکیب با آن قدرتمندتر می‌شه.
حالا یک مثال ساده از آنالیز ایمیل‌ها رو بررسی می‌کنیم. فرض کنید شما یه شرکت نرم‌افزاری هستید و روزانه صدها ایمیل دریافت می‌کنید. شما می‌خواهید از یک مدل استفاده کنید تا ایمیل‌ها رو به دو دسته مهم و غیرمهم تقسیم کنید، تا بتونید ایمیل‌هایی رو که ممکنه تأثیر زیادی روی کسب و کارتون داشته باشه، اولویت‌بندی کنید.
پرامپت:
سلام
من یک آسیب پذیری امنیتی بزرگ در سیستم شما کشف کرده ام. اگرچه استفاده از آن آسان نیست، اما امکان دسترسی به تمام داده های کاربران شما وجود دارد. من یک نمونه‌ای برای اثبات وجود را پیوست کرده ام. لطفا هر چه سریعتر این مشکل را برطرف کنید.
با احترام،
دانی
ایمیل بالا را به عنوان مهم یا غیر مهم طبقه بندی کنید زیرا مربوط به یک شرکت نرم افزاری است. بیایید قدم به قدم فکر کنیم.
حالا از پرامپت بالا برای ایجاد چندین زنجیره تفکر جداگانه استفاده می‌کنیم. در اینجا چند نمونه آورده شده:
خروجی ۱:
فرستنده یک آسیب پذیری امنیتی بزرگ در سیستم کشف کرده است.
این مهم است زیرا می تواند منجر به نقض داده شود.
من این ایمیل را به عنوان مهم طبقه بندی می کنم
خروجی ۲:
فرستنده یک آسیب پذیری امنیتی بزرگ را در سیستم کشف کرده است، اما آنها هیچ مدرکی برای اثبات ارائه نکرده اند و استفاده از آن آسان نیست.
من این ایمیل را به عنوان غیرمهم طبقه بندی می کنم
خروجی ۳:
فرستنده احتمالاً یک هکر است و ممکن است به سیستم دسترسی داشته باشد.
این مهم است زیرا می تواند منجر به نقض داده شود.
من این ایمیل را به عنوان مهم طبقه بندی می کنم
می‌توانیم ببینیم که یک پاسخ اکثریتی در حال شکل‌گیری است که در واقع به عنوان پاسخ نهایی (مهم) خواهد بود.
با ایجاد زنجیره تفکر و انتخاب پاسخ‌هایی که به طور مکرر ظاهر می‌شوند، می‌توانیم به پاسخی صحیح‌تر و با ثبات از مدل زبانی دست یابیم.