پنجره زمینه در هوش مصنوعی: چرا چت‌های طولانی با هوش مصنوعی بدتر می‌شوند

هوش مصنوعی شما ناگهان احمق نشده است. چت شما سنگین شده است.

این همان بخشی است که بیشتر مردم متوجه آن نمی‌شوند. آنها مدل، ارائه‌دهنده، پرامپت، فاز ماه، یا هر چیزی که به اندازه کافی دراماتیک به نظر می‌رسد را مقصر می‌دانند تا توضیح دهند چرا خروجی کندتر و بی‌نظم‌تر شده است.

اغلب اوقات، مشکل ساده‌تر است. جلسه با حجم زیادی از اطلاعات قدیمی، شاخه‌های مرده زیاد، و زمینه بیش از حدی که مدل باید به جلو بکشد، پر شده است.

پنجره زمینه، حافظه کاری است

پنجره زمینه، میزان مکالمه، دستورالعمل‌ها، فایل‌ها و سایر ورودی‌هایی است که مدل می‌تواند به طور فعال برای پاسخ از آنها استفاده کند. آن را مانند حافظه کاری در نظر بگیرید، نه حافظه بلندمدت.

این تمایز مهم است. یک پنجره زمینه بزرگ به این معنی است که مدل می‌تواند در حال حاضر به چیزهای بیشتری نگاه کند. این به معنای داشتن حافظه دائمی، یادآوری کامل، یا صبر بی‌نهایت برای مدل نیست.

توکن‌ها واحد واقعی زیربنای همه اینها هستند. پیام شما، پاسخ‌های قبلی مدل، اسناد چسبانده شده، خروجی ابزارها و دستورالعمل‌های سیستمی، همگی توکن مصرف می‌کنند. هرچه این پشته بزرگ‌تر باشد، مدل باید قبل از پاسخ مجدد، مطالب بیشتری را دوباره بخواند.

این یک افسانه است که پنجره زمینه بزرگ‌تر کل مشکل را حل می‌کند. واضح است که کمک می‌کند. اما یک پنجره یک میلیون توکنی، یک جلسه آشفته را به طور جادویی به یک جلسه تمیز تبدیل نمی‌کند. اگر همچنان آشغال روی زمین بریزید، اتاق بزرگ‌تر هم کثیف می‌شود.

چت‌های طولانی در هر نوبت هزینه بیشتری دارند

با رشد یک جلسه، مدل همچنان مطالب قدیمی بیشتری را بازپردازش می‌کند. این امر مصرف توکن، تأخیر و هزینه را افزایش می‌دهد، حتی زمانی که جدیدترین سؤال شما کوتاه باشد.

به همین دلیل است که چت‌های طولانی اغلب با گذشت زمان سنگین‌تر می‌شوند. شما یک سؤال کوچک پیگیری می‌پرسید، اما مدل فقط آن سؤال را نمی‌خواند. بلکه کل تاریخچه مکالمه را مانند یک کاناپه در حال بالا بردن از پله‌ها، با خود حمل می‌کند.

جلسات پر از ابزار حتی سریع‌تر رشد می‌کنند. چند تفاوت کد، لاگ‌ها، بلوک‌های JSON، اسکرین‌شات‌ها و توضیحات مفصل می‌توانند مجموعه کاری را به سرعت متورم کنند تا یک چت عادی مانند سیمان خیس به نظر برسد.

قسمت پنهان این است که کشش تشدید می‌شود. هر پاسخ طولانی، مطالب بیشتری را برای پاسخ بعدی اضافه می‌کند، که آن هم مطالب بیشتری را برای پاسخ پس از آن اضافه می‌کند. اینگونه است که جلسه‌ای که یک ساعت پیش تمیز به نظر می‌رسید، مانند یک سیگاری قهار نفس‌نفس می‌زند.

کیفیت قبل از رسیدن به حد سخت افت می‌کند

حالت واقعی شکست معمولاً افت کیفیت تدریجی است، نه یک سقوط دراماتیک. مردم تصور می‌کنند مدل تا زمانی که به یک دیوار سخت برخورد کند، کاملاً کار می‌کند، سپس منفجر می‌شود. فانتزی بامزه. واقعیت بی‌رحمانه‌تر است.

بیشتر اوقات، کیفیت قبل از اینکه پنجره از نظر فنی پر شود، شروع به افت می‌کند. مدل کندتر می‌شود. شروع به تکرار خود می‌کند. محدودیت‌های جدیدتر را نادیده می‌گیرد. شاخه‌های مرده را مانند یک مدیر محصول زامبی که هنوز ایده‌های ویژگی سه ساعت پیش را می‌خواهد، احیا می‌کند.

این افت کیفیت تدریجی است که به کار واقعی آسیب می‌رساند. شکست سخت واضح است. شکست تدریجی زمان را هدر می‌دهد زیرا تقریباً درست به نظر می‌رسد.

به این علائم هشداردهنده توجه کنید:

• دستورالعمل‌های اخیر را فراموش می‌کند و از دستورالعمل‌های قدیمی‌تر پیروی می‌کند
• با کلمات بیشتر اما دقت کمتر پاسخ می‌دهد
• مسیرهایی را که قبلاً رد کرده‌اید، دوباره باز می‌کند
• حتی زمانی که پرامپت جدید ساده است، کندتر می‌شود
• زمانی که مکالمه قبلاً خاص به نظر می‌رسید، عمومی می‌شود

این همیشه ضعف مدل نیست. گاهی اوقات فساد زمینه است.

زمینه آشفته بدتر از زمینه بزرگ است

یک جلسه ۶۰ درصدی متمرکز اغلب سالم‌تر از یک جلسه ۳۰ درصدی آشفته است. اندازه مهم است، اما ارتباط بیشتر اهمیت دارد.

اگر هر نوبت هنوز در مورد همان خروجی، همان فایل‌ها، همان محدودیت‌ها و همان مسیر تصمیم‌گیری باشد، یک جلسه طولانی می‌تواند مفید بماند. مدل با یک فضای کاری منسجم کار می‌کند.

اما اگر سه پروژه، شش ایده رها شده، تحقیقات تصادفی، پرامپت‌های تصویری، یادداشت‌های استراتژی و یک بحران وجودی نامربوط را در یک رشته ترکیب کنید، خودتان چاه را مسموم کرده‌اید. تبریک می‌گویم. شما یک کشوی آشغال ساخته‌اید و انتظار داشتید ابزارهای جراحی از آن بیرون بیاید.

تغییر موضوع در اینجا کشنده است. مدل باید شاخه‌های قدیمی را در دسترس نگه دارد حتی زمانی که شما از نظر ذهنی به جلو حرکت کرده‌اید. این بدان معناست که زمینه کهنه با زمینه فعال رقابت می‌کند.

یک جلسه برای هر جریان کاری مفید است زیرا بدهی شاخه را کاهش می‌دهد. مدل یک مشکل فعال، یک مسیر، یک مجموعه از محدودیت‌ها را می‌بیند. می‌تواند دقیق بماند زیرا شما دیگر از آن نمی‌خواهید که یک سرایدار غیب‌گو باشد.

از این آستانه‌های درصد زمینه استفاده کنید

بیشتر مردم به تله‌متری کامل نیاز ندارند. آنها به یک قانون ساده برای اینکه چه زمانی ادامه دهند، چه زمانی فشرده کنند و چه زمانی بازنشانی کنند، نیاز دارند.

از این جدول به عنوان آستانه عملی استفاده کنید:

این اعداد را مانند کتب مقدس در نظر نگیرید. مدل‌های مختلف به طور متفاوتی افت کیفیت می‌کنند. وظایف مختلف نیز به طور متفاوتی افت کیفیت می‌کنند. یک جلسه نوشتاری ممکن است انحراف بیشتری را نسبت به اشکال‌زدایی یا برنامه‌ریزی فنی تحمل کند.

اصل موضوع این است: هنگامی که کشش زمینه گران‌تر از بازآموزی شد، بازنشانی کنید.

قانون سرانگشتی سریع:

• زمانی که کار هنوز منسجم است، ادامه دهید
• زمانی که رشته هنوز مفید است اما شروع به سنگین شدن کرده، فشرده‌سازی کنید
• زمانی که مدل بیشتر برای حمل تاریخچه تلاش می‌کند تا حل گام بعدی، بازنشانی کنید

زودتر یک چت تازه شروع کنید

شروع یک چت تازه به معنای از دست دادن پیوستگی نیست، اگر حافظه واقعی شما خارج از چت باشد. این نسخه بزرگسالانه استفاده از هوش مصنوعی است.

جلسه فعلی را در این موارد حفظ کنید:

• هنوز در حال انجام یک خروجی هستید
• نوبت‌های اخیر همگی هنوز مرتبط هستند
• مدل به طور تمیز از آخرین محدودیت‌ها پیروی می‌کند
• رشته بیشتر کمک می‌کند تا اینکه کشش ایجاد کند

بلافاصله در این موارد بازنشانی کنید:

• پروژه‌ها را تغییر می‌دهید
• هدف واقعی را تغییر می‌دهید
• رشته دارای چندین شاخه رها شده است
• مدل دستورالعمل‌هایی را که قبلاً داده‌اید، مدام نادیده می‌گیرد
• پاسخ‌ها کندتر و مبهم‌تر از آن چیزی است که کار شایسته آن است

یک بازنشانی تمیز اغلب کیفیت را سریع‌تر از نوشتن پنجمین پرامپت اصلاحی در همان جلسه سنگین بهبود می‌بخشد. از تلاش برای احیای یک رشته مرده دست بردارید. یک رشته جدید باز کنید و فقط آنچه را که هنوز مهم است بیاورید.

اگر می‌خواهید سیستم‌ها و تجزیه و تحلیل‌های گردش کار بیشتری مانند این را ببینید، بقیه مقالات Brainy را مرور کنید. اگر می‌خواهید کل این سیستم به درستی برای تیم شما ساخته شود، Brainy را استخدام کنید.

سیستم بسازید، نه چت‌های جاودانه

بهترین گردش کارهای هوش مصنوعی، دانش پایدار را خارج از مکالمه ذخیره می‌کنند. جلسات باید تاکتیکی باشند. حافظه باید ساختاری باشد.

این به معنای برنامه‌ها، یادداشت‌ها، خلاصه‌ها، چک‌لیست‌ها، اسناد و دارایی‌های پرامپت قابل استفاده مجدد است. اگر تنها جایی که زمینه مهم شما وجود دارد، داخل یک رشته غول‌پیکر باشد، شما یک گردش کار نساخته‌اید. شما یک وضعیت گروگان‌گیری ایجاد کرده‌اید.

حافظه خارجی به شما امکان بازنشانی‌های تمیز را بدون از دست دادن رشته کار واقعی می‌دهد. همچنین همکاری را آسان‌تر، تحویل کار را تمیزتر و اشتباهات را آسان‌تر قابل تشخیص می‌کند، زیرا موارد مهم خارج از حباب چت قابل مشاهده هستند.

اینجاست که بیشتر تیم‌ها هوش مصنوعی را اشتباه متوجه می‌شوند. آنها به دنبال پنجره‌های بزرگ‌تر هستند به جای سیستم‌های بهتر. پنجره‌های بزرگ‌تر مفید هستند. سیستم‌های بهتر، اثر مرکب دارند.

نسخه قابل نقل قول:

یک پنجره زمینه غول‌پیکر، یک کوله‌پشتی بزرگ‌تر است. یک کمد بایگانی بهتر نیست.

سؤالات متداول

پنجره زمینه در هوش مصنوعی چیست؟

پنجره زمینه، میزان متن و ورودی است که یک مدل هوش مصنوعی می‌تواند به طور فعال برای پاسخ از آن استفاده کند. این شامل آخرین پرامپت شما، نوبت‌های قبلی، فایل‌ها، خروجی ابزار و دستورالعمل‌های سیستمی پنهان است.

چرا چت‌های طولانی با هوش مصنوعی بدتر می‌شوند؟

چت‌های طولانی بدتر می‌شوند زیرا مدل همچنان مطالب قدیمی بیشتری، از جمله مطالب نامربوط، را بازپردازش می‌کند. این امر هزینه و تأخیر را افزایش می‌دهد و می‌تواند دقت را مدت‌ها قبل از رسیدن به حد سخت زمینه کاهش دهد.

آیا پنجره زمینه بزرگ‌تر مشکل را حل می‌کند؟

کمک می‌کند، اما مشکل را از بین نمی‌برد. پنجره‌های بزرگ‌تر فضای بیشتری به شما می‌دهند، اما جلسات آشفته همچنان افت کیفیت می‌کنند زیرا ارتباط و کیفیت شاخه به اندازه اندازه خام اهمیت دارند.

هر چند وقت یک بار باید یک چت جدید با هوش مصنوعی شروع کنم؟

هر زمان که پیوستگی گران‌تر از بازآموزی شد، یک چت جدید شروع کنید. در عمل، این معمولاً به معنای پس از تغییر پروژه، تغییر هدف اصلی، یا زمانی است که رشته شروع به نشان دادن کشش و سردرگمی آشکار می‌کند.

آیا شروع یک جلسه جدید برای پیوستگی بد است؟

فقط در صورتی که پیوستگی شما فقط در داخل رشته باشد. اگر حافظه واقعی شما در فایل‌ها، یادداشت‌ها، خلاصه‌ها و اسناد ساختاریافته است، یک جلسه تازه اغلب با حذف نویز کهنه، پیوستگی را بهبود می‌بخشد.

جلسات را مانند فضاهای کاری در نظر بگیرید

سیستم را پایدار نگه دارید، نه چت را.

بازی همین است. از جلسات مانند فضاهای کاری یکبار مصرف استفاده کنید. حقیقت پایدار را در مکان‌های ساختاریافته نگه دارید. فقط زمینه مناسب را به رشته بعدی بیاورید. سپس مدل سریع‌تر، تمیزتر و مفیدتر می‌ماند.

اگر همچنان یک چت غول‌پیکر را مانند یک مغز جاودانه در نظر بگیرید، در نهایت به سوپ تبدیل خواهد شد. خوشمزه؟ نه. کارآمد؟ همچنین نه.

سیستم را بسازید. فضای کاری را بازنشانی کنید. ادامه دهید.