9 плюсов и минусов использования местного LLM

С момента появления ChatGPT в ноябре 2022 года термин «модель большого языка» (LLM) быстро превратился из термина, предназначенного для энтузиастов искусственного интеллекта, в модное словечко у всех на устах. Самая большая привлекательность локального LLM — это возможность воспроизводить возможности чат-бота, такого как ChatGPT, на вашем компьютере без необходимости использования облачной версии.

Существуют аргументы за и против установки LLM локально на вашем компьютере. Так стоит ли нам все-таки использовать местный LLM?

Преимущества использования LLM локально

Почему люди так рады возможности создавать на компьютере свои собственные большие языковые модели? Помимо цели «удивить других», есть и некоторые практические преимущества.

1. Меньше цензуры

Когда ChatGPT и Bing AI впервые появились в сети, то, что оба чат-бота были готовы говорить и делать, было одновременно захватывающим и тревожным. В то время оба чат-бота могли даже помочь вам сделать бомбы, если вы использовали правильные подсказки. Это может показаться извращенным, но возможность делать что угодно символизирует неограниченные возможности языковых моделей, которые их поддерживают.

Сегодня оба чат-бота подвергаются такой жесткой цензуре, что даже не помогут вам написать вымышленный криминальный роман со сценами насилия. Некоторые чат-боты с искусственным интеллектом даже не говорят о религии или политике. Хотя LLM, которые вы можете настроить локально, не полностью лишены цензуры, многие из них будут готовы делать заставляющие задуматься вещи, чего не делают общедоступные чат-боты. Итак, если вы не хотите, чтобы робот читал вам лекции по этике обсуждения тем, представляющих личный интерес, возможно, вам подойдет местный LLM.

2. Лучшая безопасность данных

Одна из основных причин, по которой люди выбирают местный LLM, заключается в том, что все, что происходит на их компьютере, остается на устройстве. Когда вы используете LLM локально, это похоже на частный разговор в вашей гостиной — никто посторонний не может его подслушать. Независимо от того, проверяете ли вы данные своей кредитной карты или ведете конфиденциальные личные разговоры с LLM, все полученные данные хранятся исключительно на вашем компьютере. Альтернативой является использование общедоступного LLM, такого как GPT-4, который предоставляет ответственным компаниям доступ к информации вашего чата.

3. Используйте оффлайн

Поскольку Интернет доступен по цене и широко доступен, выход в автономный режим может показаться тривиальной причиной для получения местного LLM. Автономный доступ может стать особенно важным в удаленных или изолированных местах, где интернет-услуги ненадежны или недоступны. В таких ситуациях важным инструментом становится локальный LLM, работающий независимо от подключения к Интернету. Это позволяет вам продолжать делать все, что вы хотите, без перерыва.

4. Экономия затрат

Средняя цена за доступ к LLM с такими возможностями, как GPT-4 или Claude 2, составляет 20 долларов в месяц. Хотя это может показаться не такой уж пугающей ценой, вы все равно сталкиваетесь с некоторыми досадными ограничениями на эту сумму. Например, при использовании GPT-4, доступ к которому осуществляется через ChatGPT, вы ограничены 50 сообщениями каждые 3 часа. Обойти эти ограничения можно, только перейдя на план ChatGPT Enterprise, который может стоить тысячи долларов. Благодаря Local LLM после установки программного обеспечения вам не придется платить ежемесячную абонентскую плату или периодические расходы в размере 20 долларов США. Это все равно, что покупать машину вместо того, чтобы полагаться на услуги каршеринга. Поначалу это дорого, но со временем вы неплохо сэкономите.

5. Лучшая настройка

Общедоступные чат-боты с искусственным интеллектом имеют ограниченную настройку из-за проблем безопасности и цензуры. С помощью локально размещенного ИИ-помощника вы можете полностью настроить модель под свои конкретные нужды. Вы можете обучить своего помощника работе с собственными данными, подходящими для вашего случая использования, что повысит релевантность и точность. Например, юрист может оптимизировать свой локальный искусственный интеллект для получения более точной юридической информации. Основным преимуществом является контроль над настройкой в ​​соответствии с вашими уникальными требованиями.

Недостатки локального использования LLM

Прежде чем совершить переход, вам следует учитывать некоторые недостатки использования местного LLM.

1. Использует много ресурсов

Для эффективного запуска LLM локально вам понадобится высокопроизводительное оборудование. Подумайте о мощном процессоре, большом количестве оперативной памяти и, возможно, выделенном графическом процессоре. Не ждите, что ноутбук за 400 долларов принесет хорошие впечатления. Реакция будет очень медленной, особенно с более крупными моделями ИИ. Это похоже на запуск новейших видеоигр: для оптимальной производительности нужны мощные характеристики. Возможно, вам даже потребуются специализированные решения для охлаждения. Суть в том, что местный LLM требует инвестиций в первоклассное оборудование, чтобы получить скорость и оперативность, которые вам нравятся в веб-LLM (или даже улучшить ее). Ваши вычислительные потребности будут огромными по сравнению с использованием веб-сервисов.

2. Медленный отклик и худшая производительность.

Распространенным ограничением местного LLM является более медленное время ответа. Точные скорости зависят от конкретной модели искусственного интеллекта и используемого оборудования, но большинство настроек отстают от настроек онлайн-сервисов. После получения мгновенных ответов от ChatGPT, Bard и других инструментов локальный LLM может работать крайне медленно. Среднестатистический пользователь сталкивается с серьезными недостатками гибкого веб-интерфейса. Так что будьте готовы к «культурному шоку» от быстрых онлайн-систем к их более медленным местным аналогам.

Короче говоря, если вы не используете самую современную систему (например, AMD Ryzen 5800X3D с Nvidia RTX 4090 и «огромной» оперативной памятью), общая производительность локального LLM не сравнится с онлайн-чат-ботами с генеративным искусственным интеллектом . с которым вы знакомы.

3. Сложная настройка

Локальное развертывание LLM сложнее, чем простая подписка на веб-службу искусственного интеллекта. При наличии подключения к Интернету ваша учетная запись ChatGPT, Bard или Bing AI может быть готова к запуску запросов за считанные минуты. Для настройки полного локального стека LLM требуется загрузка платформ, настройка инфраструктуры и интеграция различных компонентов. Для более крупных моделей этот сложный процесс может занять несколько часов, даже при использовании инструментов, предназначенных для упрощения установки. Некоторые из самых передовых систем искусственного интеллекта по-прежнему требуют тщательного проектирования для локального запуска. Таким образом, в отличие от веб-моделей искусственного интеллекта «подключи и работай», управление собственным искусственным интеллектом требует значительных технических и временных затрат.

4. Ограниченные знания

Многие местные LLM застряли в прошлом. Они имеют ограниченные знания о текущих событиях. Помните, когда ChatGPT не мог получить доступ к Интернету? Затем он может дать ответы только на вопросы о событиях, которые произошли до сентября 2021 года. Подобно исходным моделям ChatGPT, локально размещенные языковые модели обычно обучаются только на данных до определенной конечной даты. В результате они не осведомлены об обновленных событиях после этого времени.

Кроме того, местный LLM не может напрямую получить доступ к данным Интернета. Это ограничивает полезность запросов в реальном времени, таких как цены на акции или погода. Чтобы получать данные в режиме реального времени, местным LLM часто требуется дополнительный уровень интеграции с интернет-сервисами. Доступ в Интернет — одна из причин, по которой вам стоит рассмотреть возможность перехода на ChatGPT Plus!

Следует ли использовать LLM локально?

Крупные модели на местном языке предлагают убедительные преимущества, но есть и реальные недостатки, которые следует учитывать, прежде чем приступить к работе. Меньше цензуры, лучшая конфиденциальность, офлайн-доступ, экономия средств и индивидуализация — привлекательные причины для создания местного LLM. Однако эти преимущества сопряжены с компромиссами. При таком большом количестве программ LLM, доступных бесплатно в Интернете, переход в местный LLM может быть похож на отбивание мух кувалдой – эффективно, но излишне. Поэтому однозначного правильного или неправильного ответа не существует. Оценка ваших приоритетов определит, настало ли сейчас подходящее время для перехода.