अवलोकन
सेटिंग्स टैब में शामिल हैं:- चंकिंग रणनीति - दस्तावेज़ों को चंक में कैसे विभाजित किया जाता है
- चंक कॉन्फ़िगरेशन - चंक के लिए आकार और ओवरलैप सेटिंग्स
- चंक एन्हांसमेंट सेटिंग्स - वैकल्पिक AI-संचालित चंक समृद्धि
सेटिंग्स तक पहुँच
- साइडबार में Knowledge Base पर नेविगेट करें
- KB Data अनुभाग पर जाएँ
- सेटिंग्स आइकन (गियर आइकन) पर क्लिक करें
- सेटिंग्स टैब चुनें
चंकिंग रणनीति
चंकिंग रणनीति निर्धारित करती है कि एम्बेडिंग और पुनः प्राप्ति के लिए दस्तावेज़ों को छोटे, प्रोसेस करने योग्य चंक में कैसे विभाजित किया जाता है।वाक्य चंकिंग
वाक्य सीमाओं के आधार पर पाठ को चंक में विभाजित करता है, यह सुनिश्चित करता है कि प्रत्येक चंक में पूर्ण वाक्य हों। सर्वोत्तम उपयोग:- प्राकृतिक भाषा दस्तावेज़
- वाक्य संदर्भ संरक्षित करना
- सामान्य-उद्देश्य सामग्री
- प्राकृतिक भाषा सीमाओं के लिए वाक्य टोकनाइज़र का उपयोग करता है
- सुनिश्चित करता है कि चंक में पूर्ण वाक्य हों
- पठनीयता और संदर्भ बनाए रखता है
सामान्यवाची चंकिंग
पाठ को अर्थपूर्ण रूप से सार्थक चंक में विभाजित करता है, जो वाक्य सीमाओं के साथ संरेखित नहीं हो सकते। सर्वोत्तम उपयोग:- जटिल दस्तावेज़
- सामान्यवाची संदर्भ संरक्षित करना
- उन्नत पुनः प्राप्ति आवश्यकताएँ
- स्वचालित रूप से चंक सीमाएँ निर्धारित करता है
- सामान्यवाची अर्थ संरक्षित करता है
- वाक्य सीमाओं के साथ संरेखित नहीं हो सकते
चंक कॉन्फ़िगरेशन
चंक कॉन्फ़िगरेशन तब दिखाई देता है जब आप वाक्य चंकिंग चुनते हैं। यह आपको विनियमित करने देता है कि दस्तावेज़ों को कैसे विभाजित किया जाता है।चंक आकार
प्रत्येक चंक का टोकन/अक्षरों में अधिकतम आकार। डिफ़ॉल्ट: 64 सिफारिश: अधिकांश उपयोग के मामलों के लिए 64-512 टोकन विचार:- बड़े चंक अधिक संदर्भ संरक्षित करते हैं लेकिन पुनः प्राप्ति के लिए कम सटीक हो सकते हैं
- छोटे चंक अधिक सटीक होते हैं लेकिन संदर्भ खो सकते हैं
- संदर्भ संरक्षण और पुनः प्राप्ति सटीकता के बीच संतुलन
- अपनी चंकिंग रणनीति के रूप में वाक्य चंकिंग चुनें
- चंक आकार फ़ील्ड में वांछित चंक आकार दर्ज करें
- मान कम से कम 1 होना चाहिए
चंक ओवरलैप
आसन्न चंक के बीच ओवरलैपिंग टोकन/अक्षरों की संख्या। यह चंक सीमाओं में संदर्भ बनाए रखने में मदद करता है। डिफ़ॉल्ट: 6 सिफारिश: सेट चंक आकार का 10-20% विचार:- ओवरलैप यह सुनिश्चित करता है कि महत्वपूर्ण जानकारी चंक सीमाओं में विभाजित न हो
- बहुत अधिक ओवरलैप स्टोरेज और प्रोसेसिंग बर्बाद करता है
- बहुत कम ओवरलैप चंक के बीच संदर्भ खो सकता है
- अपनी चंकिंग रणनीति के रूप में वाक्य चंकिंग चुनें
- चंक ओवरलैप फ़ील्ड में वांछित ओवरलैप दर्ज करें
- मान गैर-नकारात्मक और चंक आकार से कम होना चाहिए
- यदि चंक आकार 64 है, तो सिफारिश किया गया ओवरलैप 6-13 टोकन है
- यदि चंक आकार 512 है, तो सिफारिश किया गया ओवरलैप 51-102 टोकन है
चंक एन्हांसमेंट सेटिंग्स
चंक एन्हांसमेंट बेहतर पुनः प्राप्ति के लिए अतिरिक्त संदर्भ और मेटाडेटा के साथ चंक्स को बेहतर बनाने के लिए AI का उपयोग करता है।चंक समृद्धि
बेहतर पुनः प्राप्ति के लिए अतिरिक्त संदर्भ के साथ चंक्स को बेहतर बनाने के लिए चंक समृद्धि सक्षम करें। लाभ:- बेहतर खोज सटीकता
- बेहतर संदर्भ समझ
- बेहतर पुनः प्राप्ति गुणवत्ता
- चंक समृद्धि स्विच चालू करें
- समृद्धि के लिए कोई LLM मॉडल चुनें (सक्षम होने पर आवश्यक)
- सेटिंग्स सहेजें
- प्रोसेसिंग समय बढ़ाता है
- LLM मॉडल चयन आवश्यक
- गणना लागत जोड़ता है
- खोज गुणवत्ता में सुधार करता है
LLM मॉडल चयन
जब चंक समृद्धि सक्षम होती है, तो आपको चंक समृद्धि और सामग्री विश्लेषण के लिए कोई LLM मॉडल चुनना होगा। उपलब्ध मॉडल:- सभी पूर्व-परिभाषित मॉडल (GPT-4o, Claude, Gemini, आदि)
- आपके प्रोजेक्ट में कॉन्फ़िगर किए गए कस्टम मॉडल
- चंक समृद्धि सक्षम करें
- LLM मॉडल ड्रॉपडाउन पर क्लिक करें
- सूची से वांछित मॉडल चुनें
- सेटिंग्स सहेजें
- बेहतर समृद्धि के लिए मजबूत तर्क क्षमता वाले मॉडल का उपयोग करें
- प्रोसेसिंग समय बनाम गुणवत्ता व्यापार-ऑफ पर विचार करें
- अपनी सामग्री के लिए सर्वोत्तम फ़िट खोजने के लिए विभिन्न मॉडल का परीक्षण करें
सेटिंग्स सहेजें और लागू करें
सेटिंग्स सहेजें
आपका कॉन्फ़िगरेशन सहेजता है लेकिन केवल आगे सिंक या जोड़े गए नए दस्तावेज़ों पर लागू होता है। चरण:- अपनी सेटिंग्स कॉन्फ़िगर करें
- सेटिंग्स सहेजें पर क्लिक करें
- सेटिंग्स डेटाबेस में सहेजी जाती हैं
- नए दस्तावेज़ इन सेटिंग्स का उपयोग करेंगे
सभी दस्तावेज़ों पर लागू करें
वर्तमान सेटिंग्स के साथ आपके Knowledge Base में सभी मौजूदा दस्तावेज़ों को पुनः इंडेक्स करता है। चरण:- अपनी सेटिंग्स कॉन्फ़िगर और सहेजें
- सभी दस्तावेज़ों पर लागू करें पर क्लिक करें
- मॉडल में कार्य की पुष्टि करें
- जैसे ही दस्तावेज़ पुनः-सिंक हों, प्रगति की निगरानी करें
- सभी दस्तावेज़ नई सेटिंग्स के साथ पुनः-सिंक होते हैं
- चंक्स नए कॉन्फ़िगरेशन के साथ पुनः उत्पन्न होते हैं
- एम्बेडिंग अपडेट होती हैं
- प्रक्रिया बैकएंड में चलती है
- दस्तावेज़ सिंक स्थिति पर रीयल-टाइम अपडेट
- प्रत्येक दस्तावेज़ के लिए सफलता/विफलता स्थिति
- कुल प्रोसेस की गई फ़ाइलों का संकेतक
सर्वोत्तम प्रथाएँ
चंकिंग रणनीति चयन
- वाक्य चंकिंग से शुरू करें - अधिकांश उपयोग के मामलों के लिए सर्वोत्तम
- सामान्यवाची चंकिंग का उपयोग करें - जटिल या तकनीकी दस्तावेज़ों के लिए
- दोनों का परीक्षण करें - अपनी सामग्री के लिए पुनः प्राप्ति गुणवत्ता की तुलना करें
चंक आकार कॉन्फ़िगरेशन
- डिफ़ॉल्ट (64) से शुरू करें - अधिकांश सामग्री के लिए अच्छा बेसलाइन
- संदर्भ-भारी सामग्री के लिए बढ़ाएँ - अधिक संदर्भ की आवश्यकता वाले दस्तावेज़
- सटीक पुनः प्राप्ति के लिए घटाएँ - जब सटीक मिलान महत्वपूर्ण हों
- विभिन्न आकारों का परीक्षण करें - अपने उपयोग के मामले के लिए इष्टतम आकार खोजें
चंक ओवरलैप कॉन्फ़िगरेशन
- चंक आकार का 10-20% का उपयोग करें - सिफारिश की गई सीमा
- महत्वपूर्ण जानकारी के लिए बढ़ाएँ - जब संदर्ष्ट आवश्यक हो
- स्टोरेज दक्षता के लिए घटाएँ - जब स्टोरेज चिंता का विषय हो
- संदर्ष्ट बनाम दक्षता में संतुलन - स्वीट स्पॉट खोजें
चंक समृद्धि
- जटिल सामग्री के लिए सक्षम करें - जब सरल चंकिंग पर्याप्त न हो
- उपयुक्त मॉडल चुनें - मजबूत तर्क वाले मॉडल का उपयोग करें
- प्रदर्शन की निगरानी करें - प्रोसेसिंग समय वृद्धि पर नज़र रखें
- गुणवत्ता सुधार का परीक्षण करें - बेहतर पुनः प्राप्ति गुणवत्ता सत्यापित करें
समस्या निवारण
सेटिंग्स लागू नहीं हो रहीं
समस्या: सेटिंग्स सहेजी गईं लेकिन दस्तावेज़ नए कॉन्फ़िगरेशन का उपयोग नहीं कर रहे समाधान:- मौजूदा दस्तावेज़ों को पुनः इंडेक्स करने के लिए सभी दस्तावेज़ों पर लागू करें पर क्लिक करें
- सत्यापित करें कि सेटिंग्स सही ढंग से सहेजी गईं
- जाँचें कि क्या नए दस्तावेज़ सेटिंग्स का उपयोग कर रहे हैं
- बैकएंड सिंक पूरा होने तक प्रतीक्षा करें
खराब पुनः प्राप्ति गुणवत्ता
समस्या: AI एजेंट प्रासंगिक जानकारी नहीं ढूँढ पा रहा समाधान:- चंक आकार समायोजित करें (अधिक संदर्भ के लिए बड़े चंक आज़माएँ)
- चंक ओवरलैप बढ़ाएँ
- चंक समृद्धि सक्षम करें
- विभिन्न चंकिंग रणनीतियों का परीक्षण करें
प्रोसेसिंग समय समस्याएँ
समस्या: दस्तावेज़ों को प्रोसेस करने में बहुत अधिक समय लग रहा समाधान:- चंक आकार कम करें
- चंक समृद्धि अक्षम करें
- समृद्धि के लिए तेज़ LLM मॉडल का उपयोग करें
- दस्तावेज़ आकार और जटिलता जाँचें
संबंधित सुविधाएँ
- Connectors - बाहरी डेटा स्रोत एकीकृत करें
- क्रॉलर - स्वचालित रूप से वेब सामग्री प्राप्त करें
- सिंक और शेड्यूल - सिंक शेड्यूल प्रबंधित करें
- टेम्पलेट्स - प्रतिक्रिया टेम्पलेट्स बनाएँ
Connectors
बाहरी डेटा स्रोत जोड़ने के बारे में जानें
क्रॉलर
वेब क्रॉलर के बारे में जानें
सिंक और शेड्यूल
सिंक शेड्यूलिंग के बारे में जानें