معرفی RAGEval: چارچوبی نوین برای ارزیابی سیستم‌های تولید مبتنی بر بازیابی در دامنه‌های تخصصی

با پیشرفت سریع فناوری در حوزه هوش مصنوعی، مدل‌های زبانی بزرگ (LLMs) نقش حیاتی در پردازش زبان طبیعی (NLP) ایفا می‌کنند. این مدل‌ها در پاسخگویی به سوالات، تولید متن و ترجمه زبان‌ها عملکرد قابل‌توجهی داشته‌اند. اما یکی از چالش‌های اساسی که این مدل‌ها با آن روبرو هستند، تولید اطلاعات نادرست یا هذیان است. این مشکل به خصوص در حوزه‌هایی که نیاز به دقت بالایی دارند، مانند مالی، سلامت و حقوقی، بیش از پیش اهمیت پیدا می‌کند.

برای مقابله با این چالش، سیستم‌های تولید مبتنی بر بازیابی (RAG) توسعه یافته‌اند. این سیستم‌ها با ترکیب قدرت بازیابی اطلاعات با توانایی تولید زبان طبیعی مدل‌های LLM، به تولید پاسخ‌های دقیق‌تر کمک می‌کنند. با این حال، ارزیابی دقیق کارایی این سیستم‌ها در دامنه‌های تخصصی همواره چالش بزرگی بوده است. در این راستا، چارچوب **RAGEval** معرفی شده است که به شکل خودکار داده‌های ارزیابی تولید می‌کند و توانایی مدل‌های LLM در استفاده از دانش را در سناریوهای مختلف می‌سنجد.

چالش‌های ارزیابی سیستم‌های RAG

ارزیابی مدل‌های RAG در دامنه‌های تخصصی به دلیل پیچیدگی‌های موجود در داده‌ها و نیاز به دقت بالا، بسیار چالش‌برانگیز است. بسیاری از معیارهای ارزیابی موجود، تنها به بررسی صحت پاسخ‌ها در سوالات عمومی می‌پردازند و قادر به سنجش دقت و کارایی مدل‌ها در حوزه‌های خاص نیستند. این مشکل به خصوص زمانی برجسته‌تر می‌شود که پاسخ‌های تولید شده توسط مدل‌ها در یک دامنه خاص، به طور مستقیم بر تصمیم‌گیری‌های مهم تأثیر می‌گذارند.

برای حل این مشکل، RAGEval با استفاده از یک رویکرد چندمرحله‌ای و ایجاد داده‌های ارزیابی خاص برای هر سناریو، امکان ارزیابی دقیق‌تری از عملکرد سیستم‌های RAG را فراهم می‌کند. این چارچوب از داده‌های کوچک دامنه‌ای شروع کرده و با استفاده از آن‌ها، یک اسکیما یا چارچوب کلی از دانش موجود در دامنه ایجاد می‌کند. سپس با استفاده از این اسکیما، مستندات جدیدی تولید می‌شود که برای ارزیابی مدل‌ها استفاده می‌شود.

ساختار RAGEval

RAGEval به صورت چندمرحله‌ای طراحی شده است. این مراحل شامل خلاصه‌سازی اسکیما، تولید مستندات، و تولید پرسش و پاسخ برای ارزیابی سیستم‌ها است. در ادامه، هر یک از این مراحل به تفصیل توضیح داده می‌شوند:

1. خلاصه‌سازی اسکیما: در این مرحله، RAGEval با جمع‌آوری مجموعه‌ای کوچک از مستندات دامنه‌ای، یک اسکیما ایجاد می‌کند. این اسکیما شامل عناصر کلیدی مانند سازمان، نوع، رویدادها، تاریخ و مکان است که دانش پایه‌ای و ویژگی‌های خاص آن دامنه را پوشش می‌دهد. این مرحله به RAGEval امکان می‌دهد تا داده‌های منسجم و قابل اعتماد تولید کند که با ساختارهای خاص هر دامنه همخوانی دارند.
2. تولید مستندات: پس از ایجاد اسکیما، RAGEval به تولید مستندات متنوعی می‌پردازد. این مستندات با استفاده از پیکربندی‌هایی که از اسکیما مشتق شده‌اند، تولید می‌شوند. این مرحله اطمینان حاصل می‌کند که اطلاعات در سراسر مستندات سازگار بوده و با پیکربندی‌های ایجاد شده مطابقت دارند. این فرآیند شامل ترکیبی از روش‌های مبتنی بر قوانین و استفاده از مدل‌های زبانی برای تولید محتواهای پیچیده و متنوع است.
3. تولید پرسش و پاسخ: در مرحله آخر، RAGEval به تولید پرسش‌های ارزیابی و پاسخ‌های مرتبط با مستندات تولید شده می‌پردازد. این پرسش‌ها به گونه‌ای طراحی شده‌اند که توانایی مدل‌های LLM را در بازیابی و استفاده از دانش به چالش می‌کشند. انواع مختلفی از سوالات شامل سوالات واقعیت‌محور، استنتاج چند مرحله‌ای، خلاصه‌سازی و غیرقابل پاسخ طراحی شده‌اند تا جنبه‌های مختلفی از درک زبان و پردازش اطلاعات توسط مدل‌ها را مورد ارزیابی قرار دهند.

نتایج و مزایای RAGEval

آزمایش‌های انجام شده با استفاده از RAGEval نشان داده‌اند که این چارچوب قادر است به شکل جامع‌تری عملکرد سیستم‌های RAG را در سناریوهای مختلف ارزیابی کند. برای مثال، در یکی از آزمایش‌ها، مدل GPT-4o بهترین عملکرد را در معیار “کامل بودن” داشت، اما فاصله آن با مدل‌های متن‌باز نیز بسیار کم بود. این نشان‌دهنده این است که مدل‌های متن‌باز نیز پتانسیل بالایی برای بهبود و رسیدن به سطح عملکرد مدل‌های تجاری دارند.

RAGEval همچنین توانایی مدل‌های LLM را در جلوگیری از تولید اطلاعات نادرست ارزیابی می‌کند و با استفاده از معیارهای “هذیان” و “غیرمرتبط بودن” به شناسایی نقاط ضعف مدل‌ها می‌پردازد. این ابزار نه تنها به پژوهشگران کمک می‌کند تا نقاط ضعف مدل‌های خود را شناسایی و بهبود بخشند، بلکه به کسب‌وکارها نیز امکان می‌دهد تا مدل‌های زبانی خود را با دقت بیشتری برای استفاده در دامنه‌های خاص به کار گیرند.

چشم‌انداز آینده

RAGEval با ارائه یک چارچوب جامع و دقیق برای ارزیابی سیستم‌های RAG، گامی مهم در جهت بهبود کیفیت این سیستم‌ها برداشته است. این چارچوب می‌تواند در آینده به دامنه‌های بیشتری گسترش یابد و به بهبود عملکرد مدل‌های زبانی کمک کند. علاوه بر این، RAGEval با فراهم آوردن ابزارهای ارزیابی دقیق‌تر، به محققان و کسب‌وکارها این امکان را می‌دهد تا مدل‌های خود را بهینه‌تر کرده و از دقت و صحت بالاتری در پاسخ‌های خود اطمینان حاصل کنند.