توکن چیست؟ راهنمای محاسبه و کاهش هزینه API هوش مصنوعی
اولین صورت‌حساب API هوش مصنوعی برای خیلی‌ها غافلگیرکننده است؛ گاهی کمتر از انتظار و گاهی خیلی بیشتر. راز پیش‌بینی هزینه در یک کلمه است: توکن. در این مقاله یاد می‌گیرید توکن چیست، هزینه چطور محاسبه می‌شود و با چند ترفند ساده چطور آن را کم کنید.
توکن چیست؟
مدل‌های زبانی متن را کلمه‌به‌کلمه نمی‌خوانند؛ آن را به قطعه‌های کوچکی به نام توکن تقسیم می‌کنند. یک توکن ممکن است یک کلمه کامل، بخشی از کلمه یا یک علامت نگارشی باشد. در انگلیسی هر توکن به‌طور میانگین حدود چهار حرف است.
نکته مهم برای فارسی‌زبان‌ها: متن فارسی معمولاً توکن بیشتری از معادل انگلیسی‌اش مصرف می‌کند، چون توکنایزرها بیشتر روی متون انگلیسی آموزش دیده‌اند. پس در برآورد هزینه پروژه‌های فارسی حاشیه اطمینان بگذارید.
هزینه چطور محاسبه می‌شود؟
تقریباً همه ارائه‌دهندگان دو نرخ جدا دارند:
- توکن ورودی: هر چیزی که به مدل می‌فرستید؛ دستورالعمل سیستم، تاریخچه گفتگو و سؤال کاربر.
- توکن خروجی: پاسخی که مدل تولید می‌کند. معمولاً گران‌تر از ورودی است.
فرمول ساده: هزینه = (توکن ورودی × نرخ ورودی) + (توکن خروجی × نرخ خروجی)
چرا هزینه چت‌بات‌ها ناگهان بالا می‌رود؟
چون مدل حافظه ندارد. در هر پیام جدید، کل تاریخچه گفتگو دوباره ارسال می‌شود. گفتگوی بیست‌پیامی یعنی پیام بیستم همه نوزده پیام قبلی را هم با خودش حمل می‌کند. اینجاست که هزینه به‌جای خطی، تصاعدی رشد می‌کند.
هفت ترفند برای کاهش هزینه
- مدل مناسب کار را انتخاب کنید. برای دسته‌بندی متن یا پاسخ‌های کوتاه، مدل سبک کافی است.
- تاریخچه را کوتاه کنید. فقط چند پیام آخر را بفرستید یا گفتگوهای قدیمی را خلاصه کنید.
- سقف خروجی بگذارید. با
max_tokensجلوی پاسخ‌های بی‌دلیل طولانی را بگیرید. - دستورالعمل سیستم را فشرده بنویسید. پرامپتی که در هر درخواست تکرار می‌شود، هر کلمه‌اش هزینه دارد.
- پاسخ‌های تکراری را کش کنید. اگر سؤال‌های پرتکرار دارید، جواب را ذخیره کنید و دوباره از مدل نپرسید.
- از Prompt Caching استفاده کنید. بعضی ارائه‌دهندگان برای بخش ثابت و تکراری پرامپت تخفیف می‌دهند.
- مصرف را پایش کنید. برای هر پروژه کلید جدا بسازید تا بدانید هزینه دقیقاً از کجا می‌آید.
تخمین سریع قبل از شروع
قبل از راه‌اندازی، ده درخواست نمونه واقعی بفرستید و عدد usage را که در پاسخ API برمی‌گردد یادداشت کنید. میانگین توکن هر درخواست را در تعداد درخواست روزانه ضرب کنید؛ تخمین ماهانه شما آماده است.
print(response.usage.prompt_tokens, response.usage.completion_tokens)جمع‌بندی
هزینه API هوش مصنوعی قابل پیش‌بینی و قابل کنترل است، به شرطی که توکن را بشناسید. بسته‌های اعتباری الین‌لند با قیمت تومانی و شفاف کمک می‌کنند بودجه پروژه را از قبل بدانید.