سرور

اجرای مدل هوش مصنوعی روی سرور به کسب‌وکارها و توسعه‌دهندگان اجازه می‌دهد مدل‌های زبانی را روی زیرساختی که خودشان کنترل می‌کنند میزبانی کنند. در این روش، برای هر درخواست مجبور نیستید از API سرویس‌های خارجی استفاده کنید یا هزینه‌ای متغیر بر اساس تعداد توکن‌ها بپردازید.

البته میزبانی مدل روی سرور به معنی آموزش مدل از صفر نیست. آموزش (Training) به داده، زمان و منابع پردازشی بسیار زیادی نیاز دارد؛ اما در این راهنما از مدل‌های آماده و از پیش‌آموزش‌دیده برای استنتاج (Inference) استفاده می‌کنیم؛ یعنی مدل ورودی را دریافت می‌کند و بر اساس دانشی که هنگام آموزش کسب کرده است پاسخ می‌دهد.

در این راهنما، یک مدل زبانی را روی سرور اوبونتو با ابزار Ollama اجرا می‌کنیم، عملکرد آن را در ترمینال می‌سنجیم، از طریق REST API به آن درخواست می‌فرستیم و در صورت نیاز رابط گرافیکی Open WebUI را راه‌اندازی می‌کنیم. در پایان نیز روش‌های پایه برای پایش منابع، ایمن‌سازی و عیب‌یابی سرویس را مرور می‌کنیم.

پیش‌نیاز و محدوده آموزش: دستورهای اصلی این راهنما برای Ubuntu 22.04 و Ubuntu 24.04 نوشته شده‌اند. برای اجرای آن‌ها به دسترسی sudo یا root نیاز دارید. همچنین فرض می‌کنیم سرور در مرحله نصب به اینترنت دسترسی دارد؛ پس از دانلود مدل و ابزارها، اجرای محلی مدل لزوماً به اتصال دائمی اینترنت نیاز ندارد.

مزایای اجرای مدل هوش مصنوعی روی سرور شخصی و اختصاصی

اجرای مدل زبانی روی زیرساخت اختصاصی می‌تواند برای سازمان‌هایی مناسب باشد که به کنترل بیشتر بر داده‌ها، تنظیمات و هزینه‌های پردازش نیاز دارند. با این حال، میزبانی محلی به‌خودی‌خود به معنی حذف همه هزینه‌ها یا تضمین امنیت نیست؛ هزینه سرور، برق، نگهداری، به‌روزرسانی و نیروی فنی همچنان وجود دارد.

  • کنترل بیشتر بر داده‌ها و حریم خصوصی: وقتی مدل و نرم‌افزارهای مرتبط روی زیرساخت خودتان اجرا می‌شوند، می‌توانید درخواست‌ها و اسناد را در شبکه تحت کنترل سازمان نگه دارید. برای اطمینان از محلی ماندن داده‌ها باید مسیرهای ارتباطی، گزارش‌ها و ابزارهای جانبی را نیز بررسی کنید.
  • قابلیت پیش‌بینی هزینه‌ها: در میزبانی محلی، هزینه مصرف توکن در یک API خارجی حذف می‌شود؛ اما هزینه سخت‌افزار، اجاره سرور، برق، فضای ذخیره‌سازی، پشتیبانی و ارتقا باید محاسبه شود. اگر تعداد درخواست‌ها کم باشد، استفاده از API خارجی ممکن است اقتصادی‌تر تمام شود.
  • کنترل فنی و امکان سفارشی‌سازی: می‌توانید مدل، نسخه آن، تنظیمات تولید پاسخ مانند دما (Temperature)، طول خروجی و پنجره زمینه (Context Window) را متناسب با نیاز خود تنظیم کنید. همچنین امکان اتصال مدل به پایگاه داده و سامانه‌های داخلی وجود دارد.

برای اجرای مدل هوش مصنوعی به چه مشخصات سخت‌افزاری نیاز داریم؟

برای اجرای مدل هوش مصنوعی به چه مشخصات سخت‌افزاری نیاز داریم؟

انتخاب سخت‌افزار فقط به تعداد پارامترهای مدل وابسته نیست. پیش از سفارش سرور، این موارد را مشخص کنید:

  1. اندازه و معماری مدل
  2. نوع پردازش و استفاده از CPU یا GPU
  3. طول پنجره زمینه و حجم مکالمات
  4. تعداد درخواست‌های هم‌زمان
  5. ظرفیت RAM و VRAM
  6. سرعت و ظرفیت فضای ذخیره‌سازی

انتخاب SSD به‌ویژه NVMe می‌تواند زمان بارگذاری مدل را کاهش دهد. با این حال، سرعت دیسک پس از بارگذاری کامل وزن‌ها معمولاً به‌اندازه ظرفیت RAM و VRAM عامل تعیین‌کننده سرعت تولید توکن نیست.

پردازنده در برابر کارت گرافیک؛ کدام‌یک برای استنتاج مناسب است؟

CPU می‌تواند مدل‌های زبانی را اجرا کند و برای آزمایش، پردازش‌های دسته‌ای یا سناریوهایی که سرعت پاسخ‌دهی اولویت اصلی نیست مناسب باشد. با این حال، اجرای مدل روی CPU معمولاً در مقایسه با GPU کندتر است؛ زیرا کارت گرافیک برای انجام تعداد زیادی عملیات موازی طراحی شده است.

GPU به‌خصوص زمانی اهمیت دارد که بخواهید پاسخ‌ها با تأخیر کمتر تولید شوند یا چند درخواست را هم‌زمان پردازش کنید. برای استفاده از GPU باید علاوه بر ظرفیت VRAM، سازگاری کارت با ابزار اجرایی و درایورهای موردنیاز را نیز بررسی کنید.

نمی‌توان یک عدد ثابت مانند ۱۰ یا ۶۰ کلمه در ثانیه را برای همه سرورها اعلام کرد. سرعت واقعی به مدل، نوع کوانتیزه‌سازی، سخت‌افزار، طول ورودی، تنظیمات تولید و تعداد درخواست‌های هم‌زمان وابسته است.

حافظه RAM و حافظه گرافیک؛ گلوگاه‌های اصلی استنتاج

وزن‌های مدل هنگام اجرا باید در حافظه RAM یا VRAM قرار بگیرند. اگر تمام یا بخش عمده وزن‌ها در VRAM جا شوند، GPU می‌تواند آن‌ها را با سرعت بالاتری پردازش کند. اگر ظرفیت VRAM کافی نباشد، برخی لایه‌ها ممکن است به RAM سیستم منتقل شوند یا اجرای مدل با خطای کمبود حافظه متوقف شود.

علاوه بر وزن‌های مدل، حافظه‌ای برای کش کلید و مقدار (KV Cache)، بافرهای اجرایی و خود سیستم‌عامل لازم است. KV Cache برای نگهداری اطلاعات توکن‌های قبلی مکالمه استفاده می‌شود و مصرف آن با افزایش طول زمینه و تعداد مکالمه‌های هم‌زمان بیشتر می‌شود.

فرمول تخمین اولیه حجم وزن‌ها:

حافظه وزن‌ها بر حسب بایت ≈ تعداد پارامترها × تعداد بایت به‌ازای هر پارامتر

برای نمونه، در کوانتیزه‌سازی ۴ بیتی، هر پارامتر به‌طور نظری حدود نیم بایت فضا می‌گیرد. بنابراین وزن‌های یک مدل ۸ میلیارد پارامتری در حالت ایده‌آل حدود ۴ گیگابایت فضا نیاز دارند؛ حجم فایل واقعی به سربار کوانتیزه‌سازی و ساختار مدل وابسته است و می‌تواند بیشتر باشد.

این محاسبه فقط حجم تقریبی وزن‌ها را نشان می‌دهد، نه حافظه کامل موردنیاز اجرای مدل. برای انتخاب سرور باید فضای KV Cache، سربار نرم‌افزار، سیستم‌عامل و درخواست‌های هم‌زمان را هم در نظر بگیرید.

برای نمونه، اجرای یک مدل ۸ میلیارد پارامتری Q4 روی GPU با VRAM حدود ۸ گیگابایت ممکن است در بعضی تنظیمات امکان‌پذیر باشد، اما فضای کافی برای همه طول‌های زمینه و بارهای هم‌زمان باقی نمی‌گذارد.

حداقل منابع سخت‌افزاری برای اجرای مدل‌های مختلف هوش مصنوعی

حداقل منابع سخت‌افزاری برای اجرای مدل‌های مختلف هوش مصنوعی

جدول زیر یک برآورد اولیه برای برنامه‌ریزی است، نه حداقل قطعی یا تضمین اجرای روان. اعداد به مدل دقیق، نسخه کوانتیزه‌شده، طول زمینه، نرم‌افزار اجرایی و تعداد کاربران وابسته‌اند.

رده مدلRAM پیشنهادی برای CPUVRAM پیشنهادی برای GPUنمونه مدلکاربرد احتمالی
۱ تا ۴ میلیارد پارامتر۸ تا ۱۶ گیگابایت۴ تا ۶ گیگابایتLlama 3.2 3B، Qwen 2.5 3Bآزمایش و دسته‌بندی متن
۷ تا ۹ میلیارد پارامتر۱۶ تا ۳۲ گیگابایت۸ تا ۱۲ گیگابایتLlama 3.1 8B، Mistral 7Bچت‌بات و خلاصه‌سازی
۱۳ تا ۱۴ میلیارد پارامتر۳۲ گیگابایت یا بیشتر۱۶ تا ۲۰ گیگابایتQwen 2.5 14Bتحلیل متن و کارهای تخصصی
۳۰ تا ۳۳ میلیارد پارامتر۶۴ گیگابایت یا بیشتر۲۴ تا ۳۲ گیگابایت یا چند GPUQwen 2.5 32Bترجمه و برنامه‌نویسی
حدود ۷۰ میلیارد پارامتر۱۲۸ گیگابایت یا بیشترچند GPU با مجموع VRAM متناسبLlama 3.3 70Bکاربردهای سازمانی

نکته: این مقادیر برای برنامه‌ریزی اولیه هستند. برای انتخاب نهایی باید نام دقیق مدل، نسخه کوانتیزه‌شده، طول زمینه و تعداد کاربران هم‌زمان را مشخص کنید و مدل را روی سخت‌افزار موردنظر آزمایش کنید.

آیا اجرای مدل هوش مصنوعی بدون کارت گرافیک امکان‌پذیر است؟

بله. ابزارهایی مانند Ollama و موتور llama.cpp امکان اجرای بسیاری از مدل‌های زبانی را با CPU و RAM فراهم می‌کنند. این روش برای آزمایش، استفاده شخصی و پردازش‌های دسته‌ای مناسب است؛ اما در بیشتر سناریوها سرعت تولید پاسخ از اجرای همان مدل روی GPU کمتر خواهد بود.

برای نمونه، یک مدل ۳ یا ۸ میلیارد پارامتری فشرده‌شده ممکن است روی سروری با CPU مناسب و RAM کافی اجرا شود. با این حال، صرفاً تعداد پارامترها برای تعیین سرعت کافی نیست. اگر قرار است کاربران به‌صورت آنلاین و هم‌زمان از مدل استفاده کنند، پیش از انتخاب سرور باید آزمون بار انجام دهید.

راهنمای گام‌به‌گام اجرای مدل هوش مصنوعی روی سرور لینوکس

راهنمای گام‌به‌گام اجرای مدل هوش مصنوعی روی سرور لینوکس

در این بخش یک مدل نمونه را روی Ubuntu 22.04 یا 24.04 با Ollama اجرا می‌کنیم. برای دنبال کردن مراحل، به IP و دسترسی SSH سرور و یک حساب کاربری دارای دسترسی sudo نیاز دارید.

مرحله اول: آماده‌سازی سرور و پیش‌نیازهای لینوکس

ابتدا از طریق SSH به سرور متصل شوید. در سیستم‌عامل ویندوز می‌توانید از PowerShell یا Windows Terminal استفاده کنید:

ssh USERNAME@SERVER_IP

به‌جای USERNAME نام کاربری سرور و به‌جای SERVER_IP آدرس IP سرور را قرار دهید.

پس از اتصال، بسته‌های سیستم‌عامل را به‌روزرسانی و ابزار curl را نصب کنید:

sudo apt update
sudo apt upgrade -y
sudo apt install curl -y

برای بررسی فضای ذخیره‌سازی و حافظه آزاد می‌توانید این دستورها را اجرا کنید:

free -h
df -h

در خروجی free -h مقدار حافظه آزاد و قابل‌استفاده را بررسی کنید. در خروجی df -h نیز فضای خالی پارتیشنی را ببینید که قرار است مدل‌ها در آن ذخیره شوند. برای شروع این آموزش، حداقل ۲۰ گیگابایت فضای خالی در نظر بگیرید.

اگر سرور کارت گرافیک NVIDIA دارد، وضعیت شناسایی آن را بررسی کنید:

nvidia-smi

اگر جدول مشخصات GPU، نسخه درایور و میزان حافظه نمایش داده شد، سیستم کارت را شناسایی کرده است.

اگر دستور پیدا نشد یا خطای ارتباط با درایور دریافت کردید، ابتدا مطمئن شوید سرور واقعاً GPU انویدیا دارد. سپس درایور سازگار با نسخه Ubuntu و مدل کارت را از روش پیشنهادی سازنده نصب کنید و در صورت نیاز سرور را راه‌اندازی مجدد کنید.

تا زمانی که nvidia-smi بدون خطا اجرا نمی‌شود، سراغ عیب‌یابی اجرای GPU در Ollama نروید. در سرورهای فاقد GPU می‌توانید مراحل را با CPU ادامه دهید.

مرحله دوم: نصب و پیکربندی ابزار Ollama

Ollama ابزاری برای دریافت و اجرای مدل‌های زبانی به‌صورت محلی است. برای نصب، اسکریپت رسمی آن را اجرا کنید:

curl -fsSL https://ollama.com/install.sh | sh

این دستور باید با کاربری اجرا شود که دسترسی لازم برای نصب نرم‌افزار و ایجاد سرویس سیستمی را دارد.

پس از پایان نصب، نسخه ابزار و وضعیت سرویس را بررسی کنید:

ollama --version
sudo systemctl status ollama

اگر در خروجی وضعیت سرویس عبارت active (running) دیده شد، سرویس در حال اجراست. برای خروج از صفحه وضعیت، کلید q را فشار دهید.

اگر سرویس فعال نبود، ابتدا گزارش خطا را ببینید:

sudo journalctl -u ollama -n 50 --no-pager

سپس سرویس را راه‌اندازی و دوباره بررسی کنید:

sudo systemctl enable --now ollama
sudo systemctl status ollama

اگر خطا ادامه داشت، متن گزارش را بررسی کنید؛ ممکن است مشکل از نصب ناقص، مجوزها یا منابع سرور باشد.

مرحله سوم: دانلود مدل زبانی متناسب با ظرفیت سرور

در این آموزش از مدل llama3.2:3b استفاده می‌کنیم تا دانلود و اجرای اولیه روی سرورهای متوسط ساده‌تر باشد.

برای دریافت مدل دستور زیر را وارد کنید:

ollama pull llama3.2:3b

دانلود مدل با توجه به سرعت اینترنت و حجم فایل ممکن است چند دقیقه یا بیشتر طول بکشد. پس از پایان دانلود، فهرست مدل‌های موجود را ببینید:

ollama list

اگر نام llama3.2:3b در فهرست نمایش داده شد، مدل دریافت شده است.

برای دریافت مدل‌های دیگر نیز می‌توانید از همین الگو استفاده کنید:

ollama pull qwen2.5:7b
ollama pull gemma2:9b
ollama pull mistral:7b

پیش از دانلود، ظرفیت RAM یا VRAM و فضای دیسک را با نیاز مدل تطبیق دهید. لازم نیست همه مدل‌ها را دانلود کنید؛ یک مدل متناسب با کاربرد خود انتخاب کنید.

مرحله چهارم: تست و اجرای اولیه مدل در خط فرمان

برای اجرای مدل در محیط تعاملی ترمینال، دستور زیر را وارد کنید:

ollama run llama3.2:3b

پس از نمایش محیط ورود پیام، متن زیر را به‌عنوان ورودی تایپ کنید و Enter بزنید:

خلاصه مفهوم رایانش ابری را در یک جمله توضیح بده.

اگر مدل پاسخ متنی تولید کرد، اجرای اولیه آن موفق بوده است.

برای پایان گفتگو و بازگشت به خط فرمان لینوکس، دستور زیر را وارد کنید:

/bye

برای مشاهده مدل‌هایی که در حال حاضر بارگذاری شده‌اند نیز می‌توانید از این دستور استفاده کنید:

ollama ps

اگر اجرای مدل با خطای کمبود حافظه متوقف شد، مدل کوچک‌تری انتخاب کنید یا طول زمینه و بار هم‌زمان را کاهش دهید. در صورت کندی پاسخ‌دهی، ابتدا میزان استفاده از CPU، RAM و VRAM را بررسی کنید.

مرحله پنجم: اتصال به مدل هوش مصنوعی از طریق REST API

پس از اطمینان از اجرای مدل، می‌توانید از طریق API به آن درخواست بفرستید. Ollama به‌صورت پیش‌فرض API محلی را روی پورت 11434 ارائه می‌کند.

برای آزمایش، دستور زیر را در ترمینال خود سرور اجرا کنید:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Explain the difference between a dedicated server and a cloud server in 50 words.",
  "stream": false
}'

در این درخواست:

  • model: نام مدلی است که قبلاً دانلود کرده‌اید.
  • prompt: متن ورودی به مدل است.
  • stream: شیوه دریافت پاسخ را تعیین می‌کند.

وقتی stream برابر false باشد، پاسخ کامل پس از پایان تولید در قالب JSON بازگردانده می‌شود. اگر مقدار آن true باشد، پاسخ به‌صورت بخش‌های متوالی ارسال خواهد شد.

خروجی موفق چه شکلی است؟

در پاسخ JSON باید فیلدهایی مانند response و done را ببینید. فیلد response متن تولیدشده توسط مدل را در بر دارد و مقدار done: true نشان می‌دهد تولید پاسخ به پایان رسیده است.

اگر خطای اتصال دریافت کردید، ابتدا وضعیت سرویس را بررسی کنید:

sudo systemctl status ollama

سپس از روی همان سرور آدرس محلی را آزمایش کنید:

curl http://127.0.0.1:11434

این API در حالت پیش‌فرض برای دسترسی محلی در نظر گرفته شده است. آن را بدون احراز هویت و کنترل دسترسی مستقیماً در اینترنت عمومی قرار ندهید.

مرحله ششم: راه‌اندازی رابط کاربری گرافیکی با Open WebUI

اگر می‌خواهید به‌جای ترمینال از یک محیط شبیه چت‌بات استفاده کنید، می‌توانید Open WebUI را با Docker اجرا کنید.

ابتدا نصب بودن Docker را بررسی کنید:

docker --version

اگر Docker نصب نیست، در Ubuntu می‌توانید بسته موجود در مخزن توزیع را نصب و سرویس آن را فعال کنید:

sudo apt update
sudo apt install docker.io -y
sudo systemctl enable --now docker
docker --version

اکنون کانتینر Open WebUI را اجرا کنید:

sudo docker run -d \
  -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

در این دستور:

  • پورت ۸۰۸۰ داخل کانتینر به پورت ۳۰۰۰ روی خود سرور متصل شده است.
  • اتصال به 127.0.0.1 باعث می‌شود پنل مستقیماً از اینترنت عمومی قابل‌دسترسی نباشد.
  • متغیر OLLAMA_BASE_URL آدرس سرویس Ollama را به Open WebUI معرفی می‌کند.
  • Volume با نام open-webui اطلاعات پنل را در برابر حذف و ایجاد مجدد کانتینر حفظ می‌کند.

برای بررسی وضعیت کانتینر اجرا کنید:

sudo docker ps

اگر کانتینر open-webui در فهرست و در وضعیت Up دیده شد، سرویس در حال اجراست.

برای مشاهده گزارش خطاها نیز از این دستور استفاده کنید:

sudo docker logs --tail 50 open-webui

برای دسترسی به پنل، از روی همان سرور یا از طریق تونل SSH به آدرس زیر مراجعه کنید:

http://127.0.0.1:3000

اگر می‌خواهید پنل را روی رایانه خود باز کنید، ابتدا در یک ترمینال محلی تونل SSH بسازید:

ssh -L 3000:127.0.0.1:3000 USERNAME@SERVER_IP

تا زمانی که این اتصال SSH برقرار باشد، آدرس http://127.0.0.1:3000 را در مرورگر رایانه خود باز کنید.

در اولین ورود، مراحل ساخت حساب مدیر را در رابط Open WebUI دنبال کنید. برای استفاده عمومی یا سازمانی، پنل را با HTTPS و احراز هویت مناسب پشت Nginx قرار دهید و پورت آن را بدون محافظت در اینترنت باز نکنید.

مقایسه بهترین فریم‌ورک‌های اجرای هوش مصنوعی روی سرور

مقایسه بهترین فریم‌ورک‌های اجرای هوش مصنوعی روی سرور

انتخاب ابزار به نوع مدل، سخت‌افزار، تعداد درخواست‌ها و سطح کنترل موردنیاز بستگی دارد.

Ollama؛ راه‌اندازی ساده برای آزمایش و استفاده‌های سبک

Ollama دریافت مدل، مدیریت نسخه‌ها و اجرای مدل را ساده می‌کند و برای شروع کار، آزمایش و سرویس‌های کوچک گزینه مناسبی است. رابط خط فرمان و API آماده آن باعث می‌شود بتوانید بدون پیاده‌سازی زیرساخت پیچیده، مدل را آزمایش کنید. برای بارهای کاری سنگین یا سرویس‌دهی پرترافیک، باید عملکرد و ظرفیت آن را در سناریوی واقعی خود بسنجید.

vLLM؛ گزینه‌ای برای سرویس‌دهی پرترافیک و درخواست‌های هم‌زمان

vLLM با قابلیت‌هایی مانند PagedAttention برای سرویس‌دهی کارآمد مدل‌های زبانی و مدیریت درخواست‌های هم‌زمان طراحی شده است. این ابزار در بسیاری از سناریوها برای استقرار GPUمحور و بارهای کاری سنگین مناسب‌تر است، اما راه‌اندازی آن به دانش فنی بیشتری نیاز دارد و باید سازگاری مدل، کارت گرافیک، درایور و نسخه‌های نرم‌افزاری بررسی شود.

llama.cpp؛ اجرای مدل روی سخت‌افزارهای متنوع و منابع محدود

llama.cpp یک موتور سبک برای اجرای مدل‌های زبانی است که از قالب‌هایی مانند GGUF پشتیبانی می‌کند و امکان استفاده از CPU و در سخت‌افزارهای سازگار، GPU را فراهم می‌سازد. این گزینه برای سیستم‌هایی که کارت گرافیک قدرتمند ندارند یا به کنترل دقیق‌تری روی نحوه اجرا نیاز دارند قابل‌بررسی است.

روش‌های کاربردی برای افزایش سرعت اجرای مدل و کاهش مصرف منابع

برای بهبود عملکرد، ابتدا مصرف واقعی منابع را اندازه‌گیری کنید و سپس تنظیمات را تغییر دهید.

  • مدیریت طول پنجره زمینه: طول زمینه را متناسب با کاربرد تعیین کنید. مقادیر ۲۰۴۸ یا ۴۰۹۶ توکن می‌توانند برای بسیاری از آزمایش‌های اولیه نقطه شروع باشند. افزایش طول زمینه معمولاً مصرف KV Cache را بالا می‌برد.
  • پایش منابع سرور: برای مشاهده مصرف CPU و RAM می‌توانید htop را نصب و اجرا کنید:
sudo apt install htop -y
htop

برای مشاهده مصرف GPUهای NVIDIA نیز دستور زیر را اجرا کنید:

watch -n 1 nvidia-smi

در خروجی htop میزان استفاده از هسته‌های CPU و RAM را بررسی کنید. در خروجی nvidia-smi نیز حافظه مصرف‌شده GPU و میزان استفاده از پردازنده گرافیکی را ببینید. اگر VRAM تقریباً پر است یا RAM به‌طور مداوم به سقف ظرفیت نزدیک می‌شود، اجرای مدل یا درخواست‌های هم‌زمان بیشتر ممکن است با کندی یا خطای حافظه روبه‌رو شود.

  • انتخاب مدل متناسب با بار کاری: مدل بزرگ‌تر همیشه انتخاب بهتر نیست. اگر مدل کوچک‌تر کیفیت کافی برای وظیفه شما دارد، استفاده از آن می‌تواند زمان پاسخ و مصرف حافظه را کاهش دهد.
  • کاهش درخواست‌های هم‌زمان: اگر سرور با افزایش کاربران کند می‌شود، تعداد درخواست‌های هم‌زمان را محدود کنید یا از زیرساخت و موتور سرویس‌دهی متناسب با بار استفاده کنید.

استفاده از کوانتیزه‌سازی؛ موازنه میان دقت و حافظه

کوانتیزه‌سازی (Quantization) روشی برای کاهش حجم وزن‌های مدل است. در این فرایند، نمایش عددی وزن‌ها از دقت بالاتر، مثلاً ۱۶ بیت، به قالب‌های کم‌حجم‌تری مانند ۸ یا ۴ بیت تبدیل می‌شود.

در نتیجه، حافظه موردنیاز کاهش می‌یابد و اجرای بعضی مدل‌ها روی سخت‌افزار محدودتر ممکن می‌شود.

کاهش دقت می‌تواند بر کیفیت پاسخ اثر بگذارد و میزان این اثر برای همه مدل‌ها و وظایف یکسان نیست. بنابراین، چند نسخه از مدل را با پرسش‌های واقعی پروژه آزمایش کنید و کیفیت، سرعت و مصرف حافظه را با هم بسنجید.

اصول امنیتی و محافظت از مدل هوش مصنوعی در سرور

مدل محلی نیز مانند هر سرویس شبکه‌ای دیگر می‌تواند در معرض دسترسی غیرمجاز قرار بگیرد. اگر API یا پنل مدیریتی بدون محدودیت در اینترنت منتشر شود، دیگران ممکن است از منابع پردازشی سرور شما استفاده کنند یا به داده‌های برنامه دسترسی پیدا کنند.

۱. دسترسی به API را محلی نگه دارید

در حالت پیش‌فرض، Ollama API را روی آدرس محلی ارائه می‌کند. برای بررسی پورت در حال استفاده می‌توانید اجرا کنید:

sudo ss -lntp | grep 11434

اگر سرویس روی 127.0.0.1:11434 در حال گوش‌دادن باشد، از بیرون سرور مستقیماً در دسترس نیست. از تغییر آن به 0.0.0.0 خودداری کنید، مگر اینکه معماری شبکه، فایروال و احراز هویت را آگاهانه پیکربندی کرده باشید.

۲. فایروال را فعال و دسترسی SSH را حفظ کنید

در Ubuntu می‌توانید از UFW استفاده کنید. پیش از فعال‌سازی فایروال، ابتدا پورت SSH را مجاز کنید تا دسترسی مدیریتی خود را از دست ندهید. اگر SSH روی پورت پیش‌فرض ۲۲ است:

sudo ufw allow 22/tcp
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw enable
sudo ufw status verbose

اگر SSH شما روی پورت دیگری تنظیم شده است، به‌جای ۲۲ همان پورت را مجاز کنید.

در این آموزش، پورت‌های Ollama و Open WebUI به اینترنت عمومی باز نمی‌شوند و دسترسی به پنل از طریق تونل SSH انجام می‌شود. اگر قرار است کاربران از بیرون به پنل دسترسی داشته باشند، ابتدا Nginx، HTTPS و احراز هویت را راه‌اندازی کنید و فقط پورت موردنیاز وب‌سرور را باز کنید.

۳. استفاده از Nginx به‌عنوان پروکسی معکوس

برای انتشار کنترل‌شده پنل یا API می‌توان Nginx را به‌عنوان Reverse Proxy در برابر سرویس قرار داد. در این معماری، درخواست کاربر ابتدا به Nginx می‌رسد و سپس به سرویس داخلی هدایت می‌شود.

برای پیاده‌سازی امن باید گواهی TLS معتبر، احراز هویت، محدودیت دسترسی، محدودیت نرخ درخواست و ثبت گزارش‌ها را تنظیم کنید.

صرفاً قرار دادن Nginx در برابر Ollama امنیت ایجاد نمی‌کند. اگر API را پشت پروکسی منتشر می‌کنید، حتماً احراز هویت و محدودیت دسترسی را در همان لایه یا لایه‌ای قابل‌اعتماد دیگر پیاده‌سازی کنید.

برای اجرای مدل هوش مصنوعی سرور اختصاصی بهتر است یا سرور ابری؟

برای اجرای مدل هوش مصنوعی سرور اختصاصی بهتر است یا سرور ابری؟

انتخاب بین سرور ابری، مجازی و اختصاصی به میزان استفاده، نوع سخت‌افزار، تعداد درخواست‌ها و بودجه بستگی دارد. هر سرور ابری یا مجازی الزاماً GPU ندارد؛ هنگام سفارش باید وجود GPU و مدل دقیق آن را جداگانه بررسی کنید.

چه زمانی سرور ابری یا مجازی انتخاب بهتری است؟

برای آزمایش اولیه، اجرای مدل‌های کوچک و پروژه‌هایی با بار کاری محدود، سرور مجازی یا ابری می‌تواند نقطه شروع مناسبی باشد؛ به شرط آنکه RAM، CPU و فضای ذخیره‌سازی کافی داشته باشد.

اگر به GPU نیاز دارید، باید پلنی انتخاب کنید که GPU را صراحتاً ارائه می‌دهد. امکان ارتقای منابع و پرداخت متناسب با دوره استفاده نیز می‌تواند برای پروژه‌هایی با بار متغیر مزیت باشد.

چه زمانی سرور اختصاصی انتخاب پایدارتری است؟

اگر مدل به حافظه زیاد، GPU قدرتمند یا پردازش مداوم نیاز دارد، سرور اختصاصی می‌تواند کنترل بیشتری بر منابع سخت‌افزاری فراهم کند.

در سرورهای اشتراکی ممکن است محدودیت منابع یا سیاست‌های ارائه‌دهنده بر عملکرد پردازش‌های سنگین اثر بگذارد. با این حال، اختصاصی بودن سرور به‌تنهایی تضمین‌کننده سرعت مشخصی نیست؛ مشخصات CPU، RAM، GPU، پهنای باند حافظه و سیاست‌های مرکز داده باید بررسی شوند.

چه زمانی به سرور با منابع پردازشی قدرتمند نیاز داریم؟

اگر قصد اجرای مدل‌های بزرگ، پردازش تعداد زیادی درخواست هم‌زمان یا ارائه سرویس با زمان پاسخ کوتاه را دارید، باید سروری با منابع پردازشی متناسب انتخاب کنید.

پیش از سفارش، این مشخصات را مشخص کنید:

  • GPU و VRAM: مدل و تعداد کارت گرافیک و ظرفیت حافظه هر کارت؛
  • RAM: ظرفیت حافظه سیستم برای مدل، سرویس‌ها و پردازش‌های جانبی؛
  • CPU: تعداد هسته و توان پردازشی موردنیاز؛
  • ذخیره‌سازی: ظرفیت SSD یا NVMe برای فایل مدل‌ها و داده‌ها؛
  • شبکه: پهنای باند و کیفیت ارتباط؛
  • مقیاس‌پذیری: امکان افزایش RAM، GPU یا تعداد سرورها در آینده.

صرفاً دانستن اینکه مدل ۱۴ میلیارد پارامتر دارد برای سفارش سرور کافی نیست. باید نسخه کوانتیزه‌شده، طول زمینه، تعداد کاربران هم‌زمان و سرعت پاسخ موردانتظار را نیز مشخص کنید. سپس بر اساس آزمون عملی، منابع موردنیاز را تعیین کنید.

برای بررسی گزینه‌های زیرساختی می‌توانید مشخصات سرور اختصاصی و سرورهای ابری را با نیاز پروژه تطبیق دهید.

عیب‌یابی و خطاهای متداول در اجرای مدل‌های زبانی روی سرور

در زمان نصب یا اجرای مدل ممکن است با خطاهای زیر روبه‌رو شوید. بهتر است ابتدا گزارش سرویس و مصرف منابع را بررسی کنید و بعد راهکار متناسب را اجرا کنید.

خطای کمبود حافظه RAM یا VRAM

  • نشانه: مدل بارگذاری نمی‌شود، فرایند اجرا متوقف می‌شود یا خطای مربوط به حافظه دریافت می‌کنید.
  • علت احتمالی: وزن مدل، KV Cache و سربار اجرایی از حافظه در دسترس بیشتر شده‌اند.
  • راهکار: مدل کوچک‌تر یا نسخه کوانتیزه‌شده کم‌حجم‌تر را انتخاب کنید، طول زمینه را کاهش دهید، تعداد درخواست‌های هم‌زمان را محدود کنید یا ظرفیت RAM و VRAM را افزایش دهید. با free -h و nvidia-smi وضعیت حافظه را بررسی کنید.

کندی شدید در سرعت پاسخ‌دهی

  • نشانه: مدل پاسخ را با تأخیر زیاد تولید می‌کند یا با افزایش کاربران سرعت آن افت می‌کند.
  • علت احتمالی: اجرای مدل روی CPU، انتقال بخشی از وزن‌ها از VRAM به RAM، کمبود حافظه یا تعداد زیاد درخواست‌های هم‌زمان.
  • راهکار: با htop و nvidia-smi مشخص کنید کدام منبع به سقف مصرف نزدیک شده است. در صورت محدودیت GPU، مدل کوچک‌تر یا نسخه کوانتیزه‌شده مناسب‌تری انتخاب کنید. اگر مشکل از بار هم‌زمان است، تعداد درخواست‌ها را محدود یا موتور سرویس‌دهی را متناسب با بار انتخاب کنید.

شناسایی نشدن کارت گرافیک در سیستم‌عامل

  • نشانه: دستور nvidia-smi اجرا نمی‌شود یا کارت گرافیک را نمایش نمی‌دهد.
  • علت احتمالی: درایور نصب نیست، با هسته لینوکس سازگار نیست یا کارت به‌درستی به سرور متصل نشده است.
  • راهکار: ابتدا وجود GPU در مشخصات سرور را بررسی کنید. سپس درایور سازگار با مدل کارت و نسخه Ubuntu را نصب کنید، در صورت نیاز سیستم را راه‌اندازی مجدد کنید و دوباره nvidia-smi را اجرا کنید. تا زمان رفع خطا، اجرای CPU را به‌عنوان مسیر جایگزین در نظر بگیرید.

خطای رد اتصال هنگام فراخوانی API

  • نشانه: هنگام اجرای درخواست curl پیام Connection refused یا خطای اتصال دریافت می‌کنید.
  • علت احتمالی: سرویس Ollama فعال نیست، آدرس یا پورت اشتباه است یا سرویس روی رابط شبکه موردنظر گوش نمی‌دهد.
  • راهکار: ابتدا وضعیت سرویس را بررسی کنید:
sudo systemctl status ollama

سپس بررسی کنید پورت ۱۱۴۳۴ در حال گوش‌دادن است:

sudo ss -lntp | grep 11434

در نهایت از خود سرور درخواست محلی بفرستید:

curl http://127.0.0.1:11434

اگر درخواست محلی موفق است اما برنامه‌ای روی سرور دیگر نمی‌تواند متصل شود، باید مسیر شبکه، آدرس مقصد و قواعد فایروال را بررسی کنید. پورت را بدون احراز هویت در اینترنت عمومی باز نکنید.

اجرا نشدن Open WebUI یا باز نشدن پنل

  • نشانه: آدرس پنل در مرورگر باز نمی‌شود یا کانتینر بلافاصله متوقف می‌شود.
  • علت احتمالی: Docker اجرا نیست، کانتینر ساخته نشده، پورت اشغال است یا ارتباط کانتینر با Ollama برقرار نیست.
  • راهکار: ابتدا وضعیت Docker و کانتینر را بررسی کنید:
sudo systemctl status docker
sudo docker ps -a
sudo docker logs --tail 50 open-webui

اگر کانتینر فعال است، آدرس و پورت را بررسی کنید. در صورتی که از تونل SSH استفاده می‌کنید، اتصال SSH باید برقرار بماند. اگر پنل باز می‌شود اما مدل در دسترس نیست، مقدار OLLAMA_BASE_URL و وضعیت سرویس Ollama را بررسی کنید.

سخن پایانی؛ چک‌لیست انتخاب زیرساخت و اجرای هوش مصنوعی

سخن پایانی؛ چک‌لیست انتخاب زیرساخت و اجرای هوش مصنوعی

برای اجرای موفق مدل هوش مصنوعی روی سرور، تنها دانلود یک مدل کافی نیست. باید مدل و نسخه کوانتیزه‌شده را متناسب با کاربرد انتخاب کنید، RAM و VRAM کافی در نظر بگیرید، سرویس را به‌درستی راه‌اندازی کنید و دسترسی شبکه را ایمن نگه دارید.

پیش از سفارش سرور، این موارد را بررسی کنید:

  • مدل و اندازه دقیق آن مشخص شده باشد.
  • نسخه کوانتیزه‌شده و حجم فایل مدل بررسی شده باشد.
  • RAM و VRAM متناسب با مدل، طول زمینه و کاربران هم‌زمان انتخاب شده باشد.
  • وجود GPU و سازگاری درایور آن تأیید شده باشد؛ اگر GPU لازم نیست، توان CPU بررسی شود.
  • فضای SSD یا NVMe کافی برای مدل‌ها و داده‌ها در نظر گرفته شده باشد.
  • امکان نصب ابزارهای موردنیاز و دسترسی مدیریتی به سیستم‌عامل وجود داشته باشد.
  • روش امن دسترسی به API و پنل کاربری مشخص شده باشد.
  • عملکرد مدل با درخواست‌های واقعی و تعداد کاربران موردانتظار آزمایش شده باشد.

برای پروژه‌های آزمایشی و مدل‌های کوچک، یک سرور مجازی با منابع کافی می‌تواند نقطه شروع باشد. برای پردازش سنگین، مدل‌های بزرگ یا کاربران هم‌زمان، باید منابع GPU و حافظه را دقیق‌تر برآورد کنید.

پس از مشخص شدن نیاز فنی، می‌توانید گزینه‌های سرور ابری و سرور اختصاصی ایران‌هاست را از نظر منابع و قابلیت ارتقا مقایسه کنید.

پرسش‌های متداول اجرای مدل هوش مصنوعی

مقدار حافظه به نسخه مدل و روش اجرا بستگی دارد. برای اجرای یک مدل ۸ میلیارد پارامتری با کوانتیزه‌سازی ۴ بیتی، وزن‌ها به‌تنهایی تقریباً چند گیگابایت حافظه نیاز دارند؛ اما KV Cache، سربار نرم‌افزار و سیستم‌عامل نیز باید محاسبه شوند. برای اجرای CPUمحور، ۱۶ گیگابایت RAM می‌تواند نقطه شروع بعضی سناریوها باشد، ولی برای زمینه طولانی یا کاربران هم‌زمان ممکن است به حافظه بیشتری نیاز داشته باشید. در اجرای GPUمحور نیز ظرفیت VRAM باید با حجم وزن‌ها و حافظه جانبی موردنیاز تطبیق داده شود.
بله. برای نصب ابزارها و دانلود اولیه مدل معمولاً به اینترنت نیاز دارید؛ اما پس از دریافت فایل‌های موردنیاز، اجرای محلی مدل و ارسال درخواست به API محلی می‌تواند بدون اتصال اینترنت انجام شود. البته اگر برنامه شما به سرویس‌ها، داده‌ها یا ابزارهای خارجی متصل باشد، آن بخش‌ها همچنان به شبکه نیاز خواهند داشت.
خیر. مدل‌های زبانی کوچک و نسخه‌های فشرده‌شده را می‌توان با CPU و RAM اجرا کرد. با این حال، GPU در بسیاری از سناریوها سرعت پاسخ‌دهی و ظرفیت پردازش هم‌زمان را افزایش می‌دهد. انتخاب بین CPU و GPU باید بر اساس سرعت موردانتظار، تعداد کاربران و بودجه انجام شود.
Ollama برای دریافت و اجرای ساده مدل‌ها و شروع سریع پروژه مناسب است. vLLM بیشتر برای سرویس‌دهی کارآمد به مدل‌های زبانی و مدیریت درخواست‌های هم‌زمان در محیط‌های GPUمحور استفاده می‌شود. اگر هدف آزمایش یا ساخت نمونه اولیه است، Ollama معمولاً شروع ساده‌تری دارد؛ برای بارهای کاری سنگین باید vLLM و گزینه‌های مشابه را نیز ارزیابی کنید.
پس از اجرای Ollama، برنامه وب می‌تواند از طریق REST API به آدرس سرویس درخواست ارسال کند. برای نمونه، API محلی Ollama به‌صورت پیش‌فرض روی پورت ۱۱۴۳۴ در دسترس است و برنامه‌هایی با زبان‌هایی مانند Python، PHP و JavaScript می‌توانند درخواست HTTP ارسال کنند. اگر وب‌سایت روی سرور دیگری قرار دارد، باید ارتباط شبکه‌ای امن، محدودیت دسترسی و احراز هویت را پیکربندی کنید؛ باز کردن مستقیم API بدون محافظت توصیه نمی‌شود.
خیر. در این روش ممکن است هزینه پرداخت به‌ازای توکن به سرویس‌دهنده API حذف شود، اما هزینه اجاره یا خرید سرور، GPU، برق، نگهداری، ذخیره‌سازی و پشتیبانی باقی می‌ماند. اقتصادی بودن اجرای محلی به تعداد درخواست‌ها، اندازه مدل و هزینه زیرساخت بستگی دارد.
نمایش بیشتر
دکمه بازگشت به بالا