llama.cpp
محرك مفتوح المصدر لتشغيل النماذج اللغوية محليًا بكفاءة على الحاسوب
محرك استدلال مفتوح المصدر عالي الأداء لتقديم النماذج اللغوية
vLLM مكتبة مفتوحة المصدر بدأت في جامعة بيركلي لتقديم النماذج اللغوية بكفاءة عالية، تعتمد على تقنية PagedAttention لإدارة الذاكرة وزيادة عدد الطلبات المتزامنة.
توفر خادمًا متوافقًا مع OpenAI وتدعم معظم النماذج المفتوحة وأنواعًا متعددة من العتاد.
لا توجد تقييمات بعد. كن أول من يقيّم vLLM.
أدوات تشترك معها في المهام نفسها
محرك مفتوح المصدر لتشغيل النماذج اللغوية محليًا بكفاءة على الحاسوب
واجهة برمجية سريعة ومنخفضة التكلفة لتوليد الصور والفيديو بنماذج متعددة
منصة واجهات وسير عمل لتوليد الصور والفيديو بنماذج متعددة دون خوادم
منصة مفتوحة المصدر لنشر النماذج وتشغيل الاستدلال على نطاق واسع