توضیح پنجره متن، چرا چتهای طولانی هوش مصنوعی بدتر میشوند
پنجرهی زمینه (context window) واقعاً چیست، چرا چتهای طولانی هوش مصنوعی قبل از رسیدن به حد نصاب، کند میشوند و وضوح خود را از دست میدهند، و آستانههای درصدی که به شما میگویند چه زمانی باید ادامه دهید، فشرده کنید یا از نو شروع کنید.
پنجرههای زمینهای بزرگ مشکل چت طولانی را حل نکردند. آنها آن را جابجا کردند.
مدلی که میتواند یک میلیون توکن را در خود جای دهد، همچنان کندتر، گرانتر و کمدقتتر میشود، هر چه بیشتر در یک جلسه بمانید. محدودیت سخت به ندرت شما را آزار میدهد. محدودیت نرم این است. چتهای طولانی بیسروصدا از بین میروند و اکثر اپراتورها فقط زمانی متوجه میشوند که پاسخها دیگر به دست نمیآیند و هزینهها دیگر منطقی نیستند.
این قطعه نسخه عملی است. پنجره زمینهای در واقع چیست، چرا جلسات طولانی قبل از اینکه از کار بیفتند بدتر میشوند، و یک جدول درصد که میتوانید امروز از آن عکس بگیرید و استفاده کنید.
پنجره زمینهای حافظه کاری است
یک پنجره زمینهای میزان مکالمه، فایلها و دستورالعملهایی است که یک مدل هوش مصنوعی میتواند به طور فعال در یک نوبت در نظر بگیرد. همه چیز در داخل آن حساب میشود. پیامهای شما، پاسخهای مدل، اعلانهای سیستم، پیوستها، قطعه کدهای بازیابی شده، خروجیهای ابزار. اگر مدل برای پاسخ دادن نیاز به "دیدن" آن داشته باشد، در پنجره زندگی میکند.
یک مدل ذهنی مفید: پنجره زمینهای RAM است، نه فضای ذخیرهسازی. سریع و محدود است. لحظهای که یک جلسه تمام میشود، بهروزرسانی میشود. هیچ چیزی را در چتها به خاطر نمیسپارد، مگر اینکه آن را در جایی ماندگار ذخیره کنید.
توکنها واحد واقعی هستند
توکنها واحدهایی هستند که مدلها در واقع شمارش میکنند، نه کاراکترها یا کلمات. یک کلمه کوتاه انگلیسی معمولاً یک توکن است، کلمات طولانیتر به دو یا سه تقسیم میشوند و کد، علائم نگارشی و متن غیرانگلیسی اغلب از توکنهای بیشتری برای هر کاراکتر نسبت به حد انتظار استفاده میکنند. اکثر مدلهای مدرن برای هر میلیون توکن ورودی و برای هر میلیون توکن خروجی قیمتگذاری میکنند، که ورودی بسیار ارزانتر از خروجی است اما در جلسات طولانی به سرعت افزایش مییابد زیرا کل تاریخچه در هر نوبت همراه است.
اگر فقط یک چیز را در مورد توکنها به خاطر دارید، این را به خاطر داشته باشید: مدل تقریباً کل مکالمه را در هر نوبت بازخوانی میکند. تاریخچه طولانی رایگان نیست.
زمینه بزرگ به معنای چت نامحدود نیست
یک پنجره توکن ۲۰۰ هزار، ۵۰۰ هزار یا ۱ میلیون دلاری یک بودجه است، نه یک مجوز. مدل از نظر فنی قادر به در نظر گرفتن همه آن است، اما عملکرد عملی در آن محدوده ثابت نیست. تأخیر با اندازه ورودی افزایش مییابد. هزینهها با اندازه ورودی افزایش مییابند. و کیفیت، بخشی که هیچکس نمیخواهد بپذیرد، نیز افزایش و سپس کاهش مییابد. اکثر مدلها در محتوای کاملاً مرتبط نزدیک به شروع و پایان یک جلسه بهترین عملکرد را دارند و در وسط متراکم که باید برای پاسخ به آخرین سوال بررسی کنند، بدترین عملکرد را دارند.
پنجرههای بزرگتر سقف را بالا میبرند. آنها کف را بالا نمیبرند.
چتهای طولانی در هر نوبت هزینه بیشتری دارند
با افزایش یک جلسه، مدل باید زمینه بیشتری را دوباره پردازش کند، که باعث افزایش استفاده از توکن، تأخیر و هزینه میشود. این مکانیکی است، نه فلسفی. هر پیام جدیدی که ارسال میکنید، کل مکالمه قبلی را به همراه خود حمل میکند.
چرا توکنهای ورودی گلوله برفی میشوند
یک مکالمه کوتاه با سه پیام رفت و برگشتی ممکن است در هر نوبت از چند هزار توکن ورودی استفاده کند. یک جلسه بررسی طراحی دو ساعته با اسناد پیوست، تصاویر تولید شده و کد نقل قول شده میتواند به راحتی قبل از اینکه متوجه شوید، از 50 هزار توکن ورودی در هر نوبت عبور کند. با رسیدن به نوبت چهلم یک جلسه مانند این، شما بیشتر برای بازخوانی آنچه قبلاً اتفاق افتاده است، هزینه میکنید تا تولید پاسخ بعدی.
محاسبه آن بیرحمانه اما ساده است. اگر یک جلسه ۸۰ هزار توکن از تاریخچه جمعآوری کرده باشد، هر نوبت جدید هزینه آن ۸۰ هزار توکن ورودی به علاوه هر آنچه تولید میشود را پرداخت میکند. این هزینه، نوبتهای بعدی را برای بقیه جلسه ترکیب میکند.
چرا جلسات سنگین ابزار سریعتر رشد میکنند
استفاده از ابزار، گلوله برفی را تسریع میکند. هر بار که یک مدل ابزاری را فراخوانی میکند و پاسخی دریافت میکند، خروجی ابزار به متن میپیوندد. خواندن فایلهای طولانی، نتایج جستجوی بزرگ، تفاوتهای چند فایلی، خروجیهای فرمان و تولید تصاویر، همگی در پنجره قرار میگیرند و برای بقیه جلسه در آنجا میمانند.
جلسات مهندسی و تحلیل، سریعترین زمان را در متن طی میکنند. یک جلسه کدنویسی که دوازده فایل را میخواند، چند آزمایش اجرا میکند و گزارشها را بررسی میکند، میتواند ۶۰٪ از یک پنجره ۲۰۰ هزارتایی را قبل از شروع کار مصرف کند. تا زمانی که وظیفه واقعی انجام شود، مدل در حال پیمایش یک اتاق شلوغ است.
کیفیت قبل از حد سخت افت میکند
مشکل واقعی نه تنها خارج شدن از چارچوب است، بلکه از دست دادن تدریجی وضوح است که ابتدا اتفاق میافتد.
تخریب نرم در مقابل شکست سخت
شکست سخت صدای بلندی دارد. جلسه ورودی جدید را رد میکند یا پیامها را کوتاه میکند. شما فوراً متوجه میشوید و دقیقاً میدانید چه اتفاقی افتاده است.
تخریب نرم بیصدا است. مدل هنوز پاسخ میدهد. پاسخها فقط کمی بدتر میشوند. شروع به تکرار اشتباهات قبلی میکند. محدودیتهایی را که ده پیام قبل تنظیم کردهاید، حذف میکند. جزئیات اشتباه را تشخیص میدهد و با آن اجرا میکند. جایی را که قبلاً مستقیم بود، پوشش میدهد. جلسه احساس خرابی میکند، اما هیچ چیز از نظر فنی خراب نیست.
تخریب نرم حالت خرابی پرهزینهتری است زیرا تشخیص آن دشوارتر است.
چگونه زمینه قدیمی کار خوب را آلوده میکند
زمینه فقط حجم نیست. نسبت سیگنال به نویز است. یک جلسه متمرکز پر از جزئیات مرتبط و یک صورت مسئلهی واضح، عملکرد متفاوتی نسبت به یک جلسهی پراکنده دارد که شامل سه ایدهی رها شده، دو محدودیت قدیمی که از آن زمان تغییر کردهاند و یک گفتگوی حاشیهای در مورد چیز کاملاً متفاوتی است.
مدلهایی که سعی میکنند مفید باشند، همه چیز را در پنجره وزن میکنند. اگر در نیمهی راه یک جلسه، جهت را تغییر دهید و هرگز صریحاً جهت قبلی را کنار نگذارید، هر دو نسخه در اتاق برای تأثیرگذاری رقابت میکنند. پاسخهای مدل شروع به سازش بین این دو میکنند. این سازش به ندرت چیزی است که شما میخواهید.
زمینهی آشفته بدتر از زمینهی بزرگ است
یک جلسهی متمرکز ۶۰٪ اغلب بهتر از یک جلسهی آشفتهی ۳۰٪ پر از شاخههای مرده و کارهای نامرتبط است. پر بودن پنجره کمتر از آنچه در آن است اهمیت دارد.
چرا تغییر موضوع، کارایی را از بین میبرد
هر تغییر موضوع، پسماندی به جا میگذارد. موضوع قبلی از زمینه حذف نمیشود، فقط دیگر کانون توجه نیست. مدل همچنان آن را در هر نوبت بعدی در نظر میگیرد. اگر در یک جلسه بین سه کار نامرتبط جابجا شوید، به طور ضمنی از مدل خواسته میشود که هر سه را متعادل کند، حتی زمانی که فقط در مورد یکی از آنها سوال میکنید.
این به صورت خروجیهای نیمهترکیبی نمایش داده میشود. کدی که مشکل اشتباهی را حل میکند زیرا مدل تا حدودی به متن بازاریابی که بیست پیام پیش در مورد آن صحبت کردید فکر میکند. پیشنهادهای طرحبندی که بیسروصدا محدودیتهایی را از برند دیگری که به طور گذرا به آن اشاره کردید، به ارث میبرند.
چرا یک جلسه در هر جریان کاری کار میکند
تمیزترین الگویی که اکثر کاربران پرکار روی آن تمرکز میکنند، یک جریان کاری در هر جلسه است. کار برند در یک چت. کار مهندسی در چت دیگر. استراتژی یا برنامهریزی در چت سوم. تغییر جریانهای کاری به معنای شروع یک جلسه جدید است، نه پرش متن به داخل همان جلسه.
این به معنای ارزشمند بودن نیست. این به معنای دادن یک اتاق تمیز به مدل برای هر نوع کار است. هزینه شروع یک جلسه جدید تقریباً صفر است. هزینه وارد کردن متن اشتباه به یک تصمیم بالا است.
از این آستانههای درصد متن استفاده کنید
بیشتر مردم به تلهمتری کامل نیاز ندارند، آنها به آستانههای عملی نیاز دارند که به آنها بگوید چه زمانی ادامه دهند و چه زمانی تنظیم مجدد کنند. در اینجا جدولی برای اسکرینشات وجود دارد.
| متن استفاده شده | حالت | چه احساسی دارد | چه کاری باید انجام شود |
|--------------|-------------|-------------------------------------------------------------------------|----------------------------------------------| | 0% تا 40% | سبز | پاسخهای دقیق، چرخشهای سریع، هزینه کم | ادامه دهید، این منطقه بهرهوری است | | 40% تا 60% | سالم | هنوز دقیق، هزینهها در حال افزایش هستند | متمرکز بمانید، از تغییر موضوع خودداری کنید | | 60% تا 75% | هشدار | چرخشهای آهستهتر، انحراف گاه به گاه، بازخوانی بیشتر | قبل از اضافه کردن کار جدید، فشردهسازی یا خلاصهسازی کنید | | 75% تا 85% | کشیدن | تأخیر آشکار، بازگشت اشتباهات، افزایش سرعت | جمعبندی وظیفه، شروع یک جلسه جدید بعدی | | 85% و بالاتر | تنظیم مجدد | خطر کوتاهسازی، افت شدید کیفیت، هزینهها غیراقتصادی | فشردهسازی در یک برنامه، سپس تنظیم مجدد |
0% تا 40% منطقه سبز است
با این مثل یک آشپزخانه تازه رفتار کنید. آزادانه آشپزی کنید. جریان کاری واحد، تمرکز دقیق، سربار کم. اینجاست که اکثر کارهای باکیفیت در واقع اتفاق میافتند.
40% تا 60% هنوز سالم است
شما در میانه راه هستید. تأخیر و هزینه در حال افزایش است، اما اگر جلسه متمرکز باقی مانده باشد، کیفیت هنوز عالی است. در برابر تمایل به اضافه کردن کارهای نامربوط مقاومت کنید. این جلسه هزینه راهاندازی مدل را جبران میکند؛ شما میخواهید آن را برداشت کنید.
60% تا 75% نوار هشدار است
همه چیز هنوز کار میکند، اما مدل برای انجام همان کار، کار بیشتری انجام میدهد. دو حرکت کمک میکند: تصمیماتی را که تاکنون گرفته شده است در یک خلاصه کوتاه خلاصه کنید و هرگونه زمینه آشکارا مرده (رویکردهای رها شده، پیوستهای نامربوط) را هرس کنید. یک فشردهسازی کوچک در اینجا، تنظیم مجدد بسیار بزرگتری را در آینده ذخیره میکند.
75% تا 85% منطقه کشش است
هر اپراتوری که جلسات طولانی را اداره میکند، یاد میگیرد که این نوار را حس کند. پاسخها کندتر میآیند. مدل خودش حدس میزند. بیسروصدا محدودیتها را حذف میکند. وظیفه فعلی را جمعبندی میکند، نتیجهگیری را در یک فایل یا طرح ذخیره میکند و وظیفه بعدی را در یک جلسه جدید شروع میکند.
بالای ۸۵٪ به معنای فشردهسازی یا تنظیم مجدد است.
شما اکنون برای بازدههای نزولی، هزینههای گزافی میپردازید. این مدل همچنین یک دور بد از کوتاهسازی فاصله دارد، که حالت شکست بدتری نسبت به شروع دوباره است. موارد مهم را در یک برنامه تمیز فشرده کنید، آن را خارج از چت ذخیره کنید و تنظیم مجدد کنید.
یک چت جدید را زودتر شروع کنید
شروع یک چت جدید به معنای از دست دادن زمینه نیست اگر حافظه واقعی شما در فایلها، برنامهها و یادداشتهای ساختاریافته زندگی میکند. این به معنای اجازه دادن به حافظه کاری، حافظه کاری است، در حالی که حافظه بلندمدت را در جایی که واقعاً به آن تعلق دارد، نگه دارید.
چه زمانی جلسه فعلی را حفظ کنیم
وقتی کار یک کار مداوم است، پنجره زمینه زیر ۶۰٪ است، جلسه در یک جریان کاری واحد باقی مانده است و مدل هنوز تیز است، به کار خود ادامه دهید. اینها جلساتی هستند که باید از هر آنچه دارند، بهره ببرید.
چه زمانی باید فوراً ریست شود
هنگام تغییر جریانهای کاری، وقتی زمینه از ۷۵٪ گذشته است، وقتی مدل شروع به تکرار اشتباهات یا طفره رفتن میکند، یا وقتی جلسه سه یا چند شاخه جانبی جمع کرده است، ریست کنید. همچنین هر زمان که یک کار مجزا را تمام میکنید، ریست کنید. هزینه انتقال یک کار تمام شده به کار بعدی تقریباً همیشه بیشتر از هزینه یک شروع تمیز است.
سیستم بسازید، نه چتهای جاودانه
بهترین گردشهای کاری هوش مصنوعی دانش پایدار را خارج از مکالمه ذخیره میکنند تا جلسات بتوانند تاکتیکی و تمیز باقی بمانند. چت ابزار است، نه بایگانی.
از اسناد، برنامهها و چک لیستها استفاده کنید
ارزانترین حافظه خارجی یک فایل markdown است. یک طرح کوتاه، لیستی از تصمیمات، یک چک لیست از مراحل بعدی. آنها را در پروژه خود قرار دهید، نه در چت. جلسات جدید با خواندن فایل شروع میشوند، که هزینه آن کسری از کشیدن کل تاریخچه چت ۸۰K توکن است.
گردشهای کاری قابل استفاده مجدد را به عنوان مهارت ذخیره کنید
هر کاری که بیش از دو بار انجام دهید، شایسته است که خارج از چت باشد. یک فرآیند بررسی طراحی تکرارپذیر، یک قالب استاندارد تحویل، یک گردش کار تحقیقاتی. آن را به عنوان یک مهارت قابل استفاده مجدد، الگوی سریع یا یادداشت سیستمی ثبت کنید. هر جلسه جدید، گردش کار را بدون به ارث بردن نویز به ارث میبرد.
یک سیستم هوش مصنوعی کارآمد کمتر شبیه یک گفتگوی نابغه بینهایت و بیشتر شبیه یک کارگاه تمیز با ابزارهای تیز، کشوهای برچسبگذاری شده و یک دفترچه یادداشت جدید برای هر کار است. کارگاه ادامه دارد. دفترچههای یادداشت یکبار مصرف هستند.
سوالات متداول
اینها سوالاتی هستند که مردم وقتی متوجه میشوند مشکل مدل نیست، بلکه گردش کار است، میپرسند.
آیا یک زمینه میلیون توکنی همه چیز را حل میکند؟
خیر. یک پنجره میلیون توکنی سقف را بالا میبرد اما کف را نه. جلسات طولانی هنوز کندتر، گرانتر و کمدقتتر میشوند قبل از اینکه به حد نهایی برسند. این بهبود برای کارهایی که واقعاً نیاز به بارگذاری همزمان مقدار زیادی از مطالب مرتبط دارند، مانند خواندن کل یک پایگاه کد یا یک مجموعه داده بزرگ، واقعی است. این یک جلسه آشفته را به یک جلسه متمرکز تبدیل نمیکند.
آیا شروع یک گفتگوی جدید برای تداوم بد است؟
فقط اگر پیوستگی در چت وجود داشته باشد. اگر تصمیمات، برنامهها و دستورالعملهای شما در فایلها باشند، یک چت جدید دقیقاً از همان جایی که چت قبلی متوقف شده بود، بدون نویز، ادامه پیدا میکند. اکثر اپراتورهایی که احساس میکنند یک جلسه جدید "در حال از دست دادن زمینه" است، در واقع تنها کپی آن زمینه را از دست میدهند، که این یک مشکل گردش کار است، نه یک مشکل چت.
چند وقت یکبار باید جلسه هوش مصنوعی خود را تنظیم مجدد کنم؟
هیچ ریتم ثابتی وجود ندارد. هر زمان که یک کار مجزا انجام شد، هر زمان که جریانهای کاری را تغییر دادید، یا هر زمان که جلسه از 75٪ استفاده از زمینه عبور کرد، آن را تنظیم مجدد کنید. برای کاربران سنگین این میتواند سه تا ده بار در روز باشد. برای کاربران سبکتر ممکن است یک بار در هر جلسه باشد. عامل محرک کار است، نه ساعت.
چرا هوش مصنوعی من در چتهای طولانی کندتر میشود؟
زیرا هر نوبت کل تاریخچه مکالمه را دوباره میخواند. با افزایش تاریخچه، اندازه ورودی در هر نوبت با آن افزایش مییابد، بنابراین هر پاسخ جدید هزینه محاسباتی بیشتری دارد و شروع آن زمان بیشتری میبرد. خروجیهای ابزار، پیوستها و خواندن کدهای بزرگ را اضافه کنید، و اندازه ورودی سریعتر از آنچه مکالمه احساس میکند رشد میکند.
با جلسات مانند فضاهای کاری رفتار کنید
هوشمندانهترین راه برای استفاده از هوش مصنوعی، حفظ هویت و حافظه پایدار است، در حالی که اجازه میدهید جلسات یکبار مصرف بمانند.
جلسات، فضاهای کاری هستند. شما آنها را تنظیم میکنید، از آنها استفاده میکنید، آنها را از هم جدا میکنید. کاری که مهم بوده در فایلها، برنامهها و یادداشتهای ماندگار ذخیره میشود. خود جلسه نیازی به بقا ندارد. قرار است ارزان باشد.
اشتباه این است که با چت مانند یک رابطه رفتار کنید. طولانی، انباشته، و ترک کردن آن دشوار است. این اشتباه همان چیزی است که باعث میشود استفاده از هوش مصنوعی به مرور زمان کندتر و بدتر به نظر برسد، حتی با اینکه مدلهای زیربنایی سریعتر و بهتر میشوند. چت همکار شما نیست. چت یک میز کار است. یک میز کار تمیز، همیشه سریعتر از یک میز کار شلوغ است.
به جای چتهای جاودانه، سیستمهای تمیزتری بسازید. اگر برای طراحی گردش کار واقعی پیرامون ابزارها، برند و محصول هوش مصنوعی خود به کمک نیاز دارید، استخدام ⟦برند ۰⟧. ما کارگاه را میسازیم، نه فقط دستورالعملها را.
Build cleaner AI systems instead of immortal chats. Brainy designs the workflows, not just the prompts.
Get Started
