এজ এআই হার্ডওয়্যার
এম্বেডেড এবং এজ এআই স্থাপনার জন্য কম্পিউটিং মডিউল
| ছবি | পণ্য | দাম | ধারণক্ষমতা |
|---|
মডেল ধারণক্ষমতা বোঝা
মডেল ধারণক্ষমতা একটি এআই মডেলে থাকা প্যারামিটারের সংখ্যাকে বোঝায় (উদাহরণস্বরূপ, 70B = 70 বিলিয়ন প্যারামিটার)। বৃহত্তর মডেলগুলির সাধারণত আরও মেমরি এবং কম্পিউটিং শক্তির প্রয়োজন হয়, তবে তারা উন্নত যুক্তি এবং আউটপুটের গুণমান দিতে পারে।
নির্ভুলতা (FP16 / FP8 / FP4) একটি প্রদত্ত মডেল ধারণক্ষমতার জন্য কতটা মেমরি প্রয়োজন তা প্রভাবিত করে: কম নির্ভুলতার ফরম্যাটগুলি প্রতি ধাপে মেমরির প্রয়োজনীয়তা প্রায় অর্ধেক করে (FP16 → FP8 → FP4), আউটপুটের নির্ভুলতার কিছুটা খরচে।
| মডেলের আকার | সাধারণ মেমরি (FP16) | সাধারণ মেমরি (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |