Дмитрий Демидов, руководитель Лаборатории инноваций НОРБИТ, рассказывает, как отечественный бизнес справляется с растущим спросом на вычислительные мощности, связанным с активной популяризацией ИИ.
Эксперт отметил, что сейчас, при обсуждении проектов с использование LLM, вопросы возникают именно по серверному железу. Эксперименты с запуском на мощных станциях, локальных ПК или даже маломощном встраиваемом оборудовании показывают, что гораздо эффективнее задействовать серверные мощности и обеспечить качественную связь.
Пока не складываются такие сценарии, при которых экономически выгоднее было бы запускать LLM на локальных станциях. А как только уменьшаешь мощность оборудования, задержка становится такая, что решение становится неудобным для пользователей. Так что на текущий момент локальные LLM – скорее, вопрос будущего.
Говоря о применимости ИИ-ПК, Дмитрий Демидов дал консервативную оценку. По его мнению, эффективность AI PC ниже, чем эффективность PC, подключенного к сети со множеством доступных серверных моделей. Однако он подчеркнул, что области, в которых AI PC-функции дают понятные преимущества есть, в частности, для съёмки фото и видео (в случае со смартфонами). Или использование специализированных процессоров для анализа данных и работы DS-специалистов (Data Science). Но для обычного пользователя AI PC не приносят большой ценности.
Подробнее по ссылке.
