استدلال خودکار و استفاده از ابزارها
Automatic Reasoning and Tool-use (ART)
ترکیب رویکرد «پرامپت‌نویسی زنجیره تفکر» (CoT) و ابزارها به صورت متناوب، نشان داده که یک راهکار قوی و موثر برای حل بسیاری از وظایف با مدل‌های زبانی بزرگ (LLMs) است. معمولاً این روش‌ها نیاز به طراحی دقیق و کار شده نمونه‌های خاص هر وظیفه و ترکیب پیچیده‌ای از تولیدات مدل با استفاده از ابزارها دارد. در مقاله‌ای که Paranjape و همکارانش در سال 2023 منتشر کردند، یک چارچوب جدید پیشنهاد شده که از یک مدل زبانی بزرگ ثابت استفاده می‌کند تا به طور خودکار مراحل میانی استدلال را به عنوان یک برنامه تولید کند.
ART به این صورت کار می‌کند:
ART کمک می‌کند تا مدل بتواند از نمایش‌ها استفاده کنه، کار جدید رو تجزیه و تحلیل کنه و ابزارها رو در جاهای مناسب به کار بگیره، بدون این که قبلاً با اون کار آشنا بوده باشه. علاوه بر این، ART قابلیت گسترش داره، یعنی انسان‌ها می‌تونن با به‌روزرسانی کتابخانه‌ها، اشتباهات مراحل استدلال رو اصلاح کنن یا ابزارهای جدیدی اضافه کنن. روند این کار به صورت زیر توضیح داده شده:
ART به شکل چشمگیری از روش‌های چند-نمونه‌ای و روش CoT در انجام کارهای جدید در بنچ‌مارک‌های BigBench و MMLU بهتر عمل می‌کنه و وقتی از بازخورد انسانی استفاده می‌شه، از پرامپت‌های طراحی‌شده توسط انسان هم پیشی می‌گیره.