В видеоролике демонстрируется процесс сборки и апгрейда домашней ИИ-лаборатории с использованием доступных комплектующих, изначально предназначенных для майнинга.
Первая сборка на базе майнерской платы ETH B75
•Приобретен корпус, материнская плата ETH B75V1.12 и блок питания True Miner на 1800 Вт.•Плата ETH B75 имеет 7 PCI-слотов с одной линией каждый, поддерживает процессоры LGA 1155 и DDR3.•Tesla P40 не заработала на одной PCI-линии; GPT OSS 20B демонстрировала 80 секунд загрузки и 100 токенов/сек инференса.Апгрейд до платы H510 Pro BTC Plus и последующие улучшения
•Заменена на H510 Pro BTC Plus с сокетом LGA 1200, поддержкой DDR4 и гигабитной сетью.•Включает полноценный PCI-слот на 16 линий для Tesla P40 и встроенные синхронизаторы блоков питания.•Оптимизация загрузки модели с NVME диска через PCI-переходник сократила время с 3.5 до 2 минут.Ключевые выводы
•Майнерские материнские платы предоставляют большое количество PCI-слотов, подходящих для ИИ-сборок.•Для полноценной работы некоторых видеокарт, таких как Tesla P40, требуется PCI-слот с 16 линиями.•Оптимизация загрузки данных на NVME диск через PCI-переходник может значительно ускорить старт моделей.•Облачный инференс может быть более выгодным, но локальные сборки обеспечивают полную приватность.Заключение
Локальные ИИ-лаборатории имеют смысл для задач, где приватность данных важнее финансовых затрат.
