ToolsWorld.ai
شعار vLLM

vLLM

محرك استدلال مفتوح المصدر عالي الأداء لتقديم النماذج اللغوية

مجانيلا تقييمات
أُطلقت في 1 يونيو 2023 383 مشاهدة
زيارة الموقع

نظرة عامة على vLLM

vLLM مكتبة مفتوحة المصدر بدأت في جامعة بيركلي لتقديم النماذج اللغوية بكفاءة عالية، تعتمد على تقنية PagedAttention لإدارة الذاكرة وزيادة عدد الطلبات المتزامنة.

توفر خادمًا متوافقًا مع OpenAI وتدعم معظم النماذج المفتوحة وأنواعًا متعددة من العتاد.

المزايا الرئيسية

  • ✦PagedAttention
  • ✦معالجة دفعات مستمرة
  • ✦خادم متوافق مع OpenAI
  • ✦دعم نماذج كثيرة
  • ✦تكميم وتوزيع

حالات الاستخدام

  • 🎯تقديم النماذج للإنتاج
  • 🎯خفض تكلفة الاستدلال
  • 🎯منصات الذكاء الاصطناعي

الإيجابيات

  • • أداء عالٍ
  • • مفتوح المصدر
  • • مستخدم على نطاق واسع

السلبيات

  • • يتطلب GPU قوية
  • • خبرة تقنية

التقييمات

لا توجد تقييمات بعد. كن أول من يقيّم vLLM.

بدائل vLLM

أدوات تشترك معها في المهام نفسها