llama.cpp
محرك مفتوح المصدر لتشغيل النماذج اللغوية محليًا بكفاءة على الحاسوب
منصة مفتوحة المصدر لنشر النماذج وتشغيل الاستدلال على نطاق واسع
BentoML إطار مفتوح المصدر ومنصة سحابية لتحويل نماذج الذكاء الاصطناعي إلى خدمات قابلة للنشر، مع إدارة الموارد والتوسع التلقائي.
تدعم المنصة النماذج اللغوية المفتوحة ونماذج الصور والصوت، وتتيح النشر على سحابتها أو على بنية المؤسسة الخاصة، مع تحسينات للأداء وتكلفة وحدات المعالجة الرسومية.
تناسب فرق تعلّم الآلة التي تريد نقل النماذج إلى الإنتاج دون بناء البنية من الصفر.
لا توجد تقييمات بعد. كن أول من يقيّم BentoML.
أدوات تشترك معها في المهام نفسها
محرك مفتوح المصدر لتشغيل النماذج اللغوية محليًا بكفاءة على الحاسوب
محرك استدلال مفتوح المصدر عالي الأداء لتقديم النماذج اللغوية
واجهة برمجية سريعة ومنخفضة التكلفة لتوليد الصور والفيديو بنماذج متعددة
منصة واجهات وسير عمل لتوليد الصور والفيديو بنماذج متعددة دون خوادم