Bağlam Penceresi Açıklandı: Uzun Yapay Zeka Sohbetleri Neden Kötüleşiyor?

Yapay zekanız aniden aptallaşmadı. Sohbetiniz şişti.

Çoğu insanın gözden kaçırdığı kısım bu. Çıktının neden yavaşladığını ve daha özensiz hale geldiğini açıklamak için modeli, sağlayıcıyı, istemi, ayın evresini, yeterince dramatik gelen her şeyi suçluyorlar.

Çoğu zaman sorun daha basittir. Oturum, çok fazla eski yük, çok fazla ölü dal ve modelin sürekli ileriye sürüklemesi gereken çok fazla bağlamla doldu.

Bağlam penceresi çalışma belleğidir

Bağlam penceresi, modelin bir yanıtta aktif olarak kullanabileceği konuşma, talimat, dosya ve diğer girdilerin miktarıdır. Bunu uzun süreli bellek değil, çalışma belleği gibi düşünün.

Bu ayrım önemlidir. Büyük bir bağlam penceresi, modelin şu anda daha fazla şeye bakabileceği anlamına gelir. Bu, modelin kalıcı belleğe, mükemmel hatırlamaya veya sonsuz sabra sahip olduğu anlamına gelmez.

Tokenlar tüm bunların altında yatan gerçek birimdir. Mesajınız, modelin önceki yanıtları, yapıştırılan belgeler, araç çıktıları ve sistem talimatları hepsi token tüketir. Yığın ne kadar büyük olursa, modelin tekrar yanıt vermeden önce o kadar çok şeyi yeniden okuması gerekir.

Efsane, daha büyük bağlamın tüm sorunu çözdüğüdür. Açıkçası yardımcı olur. Ancak bir milyon tokenlık bir pencere, kaotik bir oturumu sihirli bir şekilde temiz bir oturuma dönüştürmez. Yere çöp atmaya devam ederseniz daha büyük bir oda bile yine de kirlenir.

| Girdi türü | Bağlama dahil mi? | Neden önemli | |---| | Kullanıcı mesajları | Evet | Her yeni tur yığını artırır | | Model yanıtları | Evet | Uzun asistan yanıtları bir sonraki tur için geri gelir | | Dosyalar ve yapıştırılan belgeler | Evet | Derinlik için harika, aşırı büyük olduğunda acımasız | | Araç çıktısı | Evet | Bir çalışma oturumunu şişirmenin en hızlı yolu | | Gizli sistem talimatları | Evet | Model bunları da taşır |

Uzun sohbetler her turda daha pahalıya mal olur

Bir oturum büyüdükçe, model daha fazla eski materyali yeniden işlemeye devam eder. Bu, en yeni sorunuz kısa olsa bile token kullanımını, gecikmeyi ve maliyeti artırır.

Uzun sohbetlerin zamanla neden daha ağır hissettirmesinin nedeni budur. Küçük bir takip sorusu sorarsınız, ancak model sadece takip sorusunu okumaz. Tüm konuşma geçmişini bir kanepeyi merdivenlerden yukarı taşır gibi sürükler.

Araç ağırlıklı oturumlar daha da hızlı büyür. Birkaç kod farkı, günlük, JSON blobu, ekran görüntüsü ve ayrıntılı açıklamalar, çalışma kümesini normal bir sohbeti ıslak çimento gibi hissettirecek kadar hızlı şişirebilir.

Sinsi kısım, sürüklenmenin bileşik olmasıdır. Her uzun yanıt, bir sonraki yanıt için daha fazla materyal ekler, bu da ondan sonraki için daha fazla materyal ekler. Bir saat önce temiz hissettiren bir oturumun zincirleme sigara içen biri gibi nefes almaya başlaması işte böyledir.

| Oturum türü | Ne olur | Tipik sonuç | |---| | Kısa ve odaklı | Düşük token yeniden kullanımı | Hızlı, keskin yanıtlar | | Uzun ama disiplinli | Orta düzeyde token yeniden kullanımı | Konu sıkı kalırsa hala kullanılabilir | | Uzun ve dağınık | Yoğun token yeniden kullanımı artı gürültü | Yavaş, pahalı, unutkan çıktı |

Kalite, sert sınıra ulaşmadan önce düşer

Gerçek hata modu genellikle dramatik bir çöküş değil, yumuşak bir bozulmadır. İnsanlar modelin sert bir duvara çarpana kadar mükemmel çalıştığını, sonra patladığını hayal eder. Sevimli bir fantezi. Gerçeklik daha acımasızdır.

Çoğu zaman, pencere teknik olarak dolmadan önce kalite düşmeye başlar. Model yavaşlar. Kendini tekrar etmeye başlar. Daha yeni kısıtlamaları kaçırır. Üç saat önceki özellik fikirlerini hala isteyen bir zombi ürün yöneticisi gibi ölü dalları canlandırır.

Gerçek işe zarar veren bu yumuşak bozulmadır. Sert hata açıktır. Yumuşak hata zaman kaybına neden olur çünkü neredeyse doğru görünür.

Bu uyarı işaretlerine dikkat edin:

• En son talimatı unutmaya ve daha eski birini takip etmeye devam ediyor
• Daha fazla kelimeyle ama daha az hassasiyetle yanıt veriyor
• Zaten reddettiğiniz yolları yeniden açıyor
• Yeni istem basit olsa bile yavaşlıyor
• Konuşma eskiden spesifik hissettirirken genel hale geliyor

Bu her zaman modelin zayıflığı değildir. Bazen bağlam çürümesidir.

Dağınık bağlam, büyük bağlamdan daha kötüdür

Odaklanmış %60'lık bir oturum, kaotik %30'luk bir oturumdan genellikle daha sağlıklıdır. Boyut önemlidir, ancak alaka düzeyi daha önemlidir.

Her tur hala aynı teslimat, aynı dosyalar, aynı kısıtlamalar ve aynı karar yolu hakkındaysa, uzun bir oturum kullanışlı kalabilir. Model tutarlı bir çalışma alanı ile çalışıyor demektir.

Ancak üç projeyi, altı terk edilmiş fikri, rastgele araştırmayı, görsel istemlerini, strateji notlarını ve birbiriyle alakasız bir varoluşsal krizi aynı konuya karıştırırsanız, kuyuyu kendiniz zehirlemiş olursunuz. Tebrikler. Bir çekmece dolusu ıvır zıvır inşa ettiniz ve içinden cerrahi aletler çıkmasını beklediniz.

Burada konu değiştirme öldürücüdür. Siz zihinsel olarak ilerlemiş olsanız bile modelin eski dalları kullanılabilir tutması gerekir. Bu da eski bağlamın canlı bağlamla rekabet etmesi anlamına gelir.

Her iş akışı için bir oturum işe yarar çünkü dal borcunu azaltır. Model bir aktif sorun, bir yol, bir dizi kısıtlama görür. Keskin kalabilir çünkü ondan psişik bir kapıcı olmasını istemeyi bıraktınız.

Bu bağlam yüzdesi eşiklerini kullanın

Çoğu insanın mükemmel telemetriye ihtiyacı yoktur. Ne zaman devam edecekleri, ne zaman sıkıştıracakları ve ne zaman sıfırlayacakları için basit bir kurala ihtiyaçları vardır.

Bunu pratik eşik tablosu olarak kullanın:

| Bağlam kullanımı | Bölge | Genellikle nasıl hissettirir | Ne yapmalı | |---| | %0 ila %40 | Yeşil bölge | Hızlı, temiz, duyarlı | Devam edin | | %40 ila %60 | Sağlıklı bölge | Hala güçlü, ancak kaymaya dikkat edin | Tek bir görevde kalın | | %60 ila %75 | Uyarı bandı | Daha fazla sürüklenme, daha fazla eski yük | Özetleyin ve kırpın | | %75 ila %85 | Sürüklenme bölgesi | Daha yavaş, daha belirsiz, daha fazla tekrar | Kalite önemliyse sıfırlayın | | %85 üzeri | Kırmızı bölge | Pahalı ve güvenilmez | Şimdi sıkıştırın veya yeni başlayın |

Sayıları kutsal metin gibi görmeyin. Farklı modeller farklı şekilde bozulur. Farklı görevler de farklı şekilde bozulur. Bir yazma oturumu, hata ayıklama veya teknik planlamadan daha fazla kaymaya tolerans gösterebilir.

Prensip şudur: bağlam sürüklenmesi yeniden bilgilendirmeden daha pahalı hale geldiğinde, sıfırlayın.

Hızlı bir kural:

• Görev hala tutarlı olduğunda devam edin
• Konu hala kullanışlı ancak şişmeye başladığında sıkıştırın
• Model, bir sonraki adımı çözmekten çok geçmişi taşımak için daha fazla çaba harcadığında sıfırlayın

Daha erken yeni bir sohbet başlatın

Gerçek belleğiniz sohbetin dışında yaşıyorsa, yeni bir sohbet başlatmak sürekliliği kaybetmek değildir. Bu, yapay zeka kullanmanın yetişkin versiyonudur.

Mevcut oturumu şu durumlarda sürdürün:

• hala tek bir teslimatın içindeyken
• son turlar hala alakalıysa
• model en son kısıtlamaları temiz bir şekilde takip ediyorsa
• konu sürüklenmekten çok yardımcı oluyorsa

Şu durumlarda hemen sıfırlayın:

• proje değiştirdiğinizde
• asıl hedefi değiştirdiğinizde
• konuda birden fazla terk edilmiş dal varsa
• model verdiğiniz talimatları sürekli kaçırıyorsa
• yanıtlar işin hak ettiğinden daha yavaş ve belirsiz geliyorsa

Temiz bir sıfırlama, aynı şişmiş oturumda beşinci bir düzeltici istem yazmaktan daha hızlı kaliteyi artırır. Ölü bir konuyu iyileştirmeye çalışmayı bırakın. Yeni bir tane açın ve sadece hala önemli olanı getirin.

Bunun gibi daha fazla sistem ve iş akışı analizi istiyorsanız, Brainy Papers bölümünün geri kalanına göz atın. Tüm bunların ekibiniz için düzgün bir şekilde inşa edilmesini istiyorsanız, Brainy'yi işe alın.

Ölümsüz sohbetler değil, sistemler kurun

En iyi yapay zeka iş akışları, kalıcı bilgiyi konuşmanın dışında saklar. Oturumlar taktiksel olmalı, bellek yapısal olmalıdır.

Bu, planlar, notlar, özetler, kontrol listeleri, belgeler ve yeniden kullanılabilir istem varlıkları anlamına gelir. Önemli bağlamınızın var olduğu tek yer devasa bir konu içiyse, bir iş akışı inşa etmediniz. Bir rehine durumu yarattınız.

Harici bellek, gerçek işin akışını kaybetmeden temiz yeniden başlatmalar sağlar. Ayrıca işbirliğini kolaylaştırır, devir teslimleri daha temiz hale getirir ve önemli şeyler sohbet balonunun dışında görünür olduğu için hataları yakalamayı kolaylaştırır.

Çoğu ekibin yapay zekayı yanlış anladığı yer de burasıdır. Daha iyi sistemler yerine daha büyük pencerelerin peşinden koşarlar. Daha büyük pencereler kullanışlıdır. Daha iyi sistemler ise bileşik etki yaratır.

Alıntılanabilir bir versiyon:

Devasa bir bağlam penceresi, daha büyük bir sırt çantasıdır. Daha iyi bir dosya dolabı değildir.

Sıkça Sorulan Sorular

Yapay zekada bağlam penceresi nedir?

Bağlam penceresi, bir yapay zeka modelinin bir yanıtta aktif olarak kullanabileceği metin ve girdi miktarıdır. Buna en son isteminiz, önceki turlar, dosyalar, araç çıktısı ve gizli sistem talimatları dahildir.

Uzun yapay zeka sohbetleri neden kötüleşir?

Uzun sohbetler kötüleşir çünkü model, alakasız materyaller de dahil olmak üzere daha fazla eski materyali sürekli olarak yeniden işler. Bu, maliyeti ve gecikmeyi artırır ve sert bağlam sınırına ulaşılmadan çok önce hassasiyeti azaltabilir.

Daha büyük bir bağlam penceresi sorunu çözer mi?

Yardımcı olur, ancak sorunu ortadan kaldırmaz. Daha büyük pencereler size daha fazla alan sağlar, ancak alaka düzeyi ve dal kalitesi ham boyut kadar önemli olduğu için dağınık oturumlar yine de bozulur.

Ne sıklıkla yeni bir yapay zeka sohbeti başlatmalıyım?

Süreklilik, yeniden bilgilendirmeden daha pahalı hale geldiğinde yeni bir sohbet başlatın. Pratikte bu, genellikle bir proje değişikliğinden, büyük bir hedef değişikliğinden sonra veya konu belirgin bir sürüklenme ve kafa karışıklığı göstermeye başladığında anlamına gelir.

Yeni bir oturum başlatmak süreklilik için kötü müdür?

Sürekliliğiniz yalnızca konu içinde yaşıyorsa. Gerçek belleğiniz dosyalarda, notlarda, özetlerde ve yapılandırılmış belgelerdeyse, yeni bir oturum genellikle eski gürültüyü ortadan kaldırarak sürekliliği artırır.

Oturumları çalışma alanları gibi ele alın

Sistemi kalıcı tutun, sohbeti değil.

Oyun bu. Oturumları tek kullanımlık çalışma alanları gibi kullanın. Kalıcı gerçeği yapılandırılmış yerlerde saklayın. Bir sonraki konuya yalnızca doğru bağlamı getirin. O zaman model daha hızlı, daha temiz ve daha kullanışlı kalır.

Tek bir devasa sohbeti ölümsüz bir beyin gibi ele almaya devam ederseniz, sonunda çorbaya dönüşecektir. Lezzetli mi? Hayır. Verimli mi? O da hayır.

Sistemi kurun. Çalışma alanını sıfırlayın. Devam edin.