टोकन क्या है?
Token
A. टोकन क्या है
टेक्स्ट को संसाधित करने के लिए AI द्वारा उपयोग की जाने वाली सबसे छोटी इकाई। मूल्य-निर्धारण और अधिकतम इनपुट लंबाई (संदर्भ), दोनों टोकन में मापे जाते हैं।
टोकन वह सबसे छोटी इकाई है जिससे LLM टेक्स्ट संभालता है। अंग्रेज़ी में टोकन अक्सर एक शब्द या शब्द का हिस्सा होता है; हिंदी में यह प्रायः किसी शब्द का अंश या टुकड़ा होता है। मोटे तौर पर, लंबे शब्द कई टोकन में बँट जाते हैं।
API मूल्य आमतौर पर इनपुट टोकन और आउटपुट टोकन की कुल मात्रा के आधार पर लिया जाता है, और इनपुट किए जा सकने वाले टेक्स्ट की अधिकतम लंबाई (संदर्भ विंडो) भी टोकन में बताई जाती है। आप जितना लंबा दस्तावेज़ संसाधित करेंगे, उतने अधिक टोकन ख़र्च होंगे।