로컬 LLM 사용의 9가지 장점과 단점

2022년 11월 ChatGPT가 등장한 이후 LLM(대형 언어 모델)이라는 용어는 AI 매니아를 위한 용어에서 모든 사람의 입에 오르는 전문 용어로 빠르게 옮겨갔습니다. 로컬 LLM의 가장 큰 매력은 클라우드 호스팅 버전 없이도 ChatGPT와 같은 챗봇의 기능을 컴퓨터에 복제할 수 있다는 것입니다.

컴퓨터에 로컬로 LLM을 설정하는 것에 대한 찬반 논쟁이 있습니다. 그렇다면 결국 로컬 LLM을 사용해야 할까요?

LLM을 로컬에서 사용하는 이점

왜 사람들은 컴퓨터에 자신만의 대규모 언어 모델을 설정하는 것에 열광하는 걸까요? "다른 사람들을 놀라게 한다"는 목표 외에도 몇 가지 실질적인 이점이 있습니다.

1. 검열 감소

ChatGPT와 Bing AI가 처음 온라인에 등장했을 때 두 챗봇이 기꺼이 말하고 행하는 것은 흥미롭기도 하고 놀랍기도 했습니다. 당시에는 올바른 프롬프트를 사용하면 두 챗봇 모두 폭탄을 만드는 데 도움이 될 수도 있었습니다. 이것은 이상하게 들릴 수도 있지만 무엇이든 할 수 있다는 것은 이를 지원하는 언어 모델의 무한한 가능성을 상징합니다.

요즘에는 두 챗봇 모두 검열이 너무 심해서 폭력적인 장면이 포함된 범죄 소설을 쓰는 데도 도움이 되지 않습니다. 일부 AI 챗봇은 종교나 정치에 관해 이야기조차 하지 않습니다. 로컬로 설정할 수 있는 LLM이 완전히 검열되지는 않지만, 이들 중 다수는 공개 챗봇이 하지 않는 생각을 자극하는 일을 기꺼이 수행할 것입니다. 따라서 개인적 관심 주제를 논의하는 윤리에 관해 로봇이 강의하는 것을 원하지 않는다면 현지 LLM을 운영하는 것이 좋은 방법일 수 있습니다.

2. 더 나은 데이터 보안

사람들이 로컬 LLM을 선택하는 주된 이유 중 하나는 컴퓨터에서 일어나는 모든 일이 장치에 유지되도록 하기 위해서입니다. 로컬에서 LLM을 사용하는 것은 거실에서 사적인 대화를 나누는 것과 같습니다. 외부에서는 누구도 들을 수 없습니다. 신용 카드 정보를 테스트하든, LLM과 민감한 개인 대화를 하든, 얻은 모든 데이터는 귀하의 컴퓨터에만 저장됩니다. 대안은 담당 회사가 귀하의 채팅 정보에 액세스할 수 있도록 하는 GPT-4와 같은 공개 LLM을 사용하는 것입니다.

3. 오프라인 사용

인터넷이 저렴하고 널리 이용 가능하기 때문에 오프라인으로 전환하는 것이 지역 LLM을 수강하는 사소한 이유처럼 보일 수 있습니다. 오프라인 액세스는 인터넷 서비스가 불안정하거나 사용할 수 없는 원격 또는 고립된 위치에서 특히 중요할 수 있습니다. 이러한 상황에서는 인터넷 연결과 독립적으로 작동하는 로컬 LLM이 중요한 도구가 됩니다. 중단 없이 원하는 작업을 계속할 수 있습니다.

4. 비용 절감

GPT-4 또는 Claude 2와 같은 기능을 갖춘 LLM에 액세스하는 평균 가격은 월 $20입니다. 놀라운 가격처럼 보이지 않을 수도 있지만 해당 금액에 대해서는 여전히 몇 가지 성가신 제한 사항이 있습니다. 예를 들어 ChatGPT를 통해 액세스하는 GPT-4의 경우 3시간마다 메시지가 50개로 제한됩니다. 수천 달러의 비용이 드는 ChatGPT Enterprise 요금제로 전환해야만 이러한 제한을 피할 수 있습니다. Local LLM을 사용하면 일단 소프트웨어를 설정하면 월간 구독료나 $20의 반복 비용을 지불할 필요가 없습니다. 이는 차량 공유 서비스에 의존하지 않고 자동차를 구입하는 것과 같습니다. 처음에는 비용이 많이 들지만 시간이 지남에 따라 많은 비용을 절감할 수 있습니다.

5. 더 나은 맞춤화

공개적으로 사용 가능한 AI 챗봇은 보안 및 검열 문제로 인해 사용자 정의가 제한되어 있습니다. 로컬로 호스팅되는 AI 도우미를 사용하면 특정 요구 사항에 맞게 모델을 완전히 사용자 지정할 수 있습니다. 사용 사례와 관련된 독점 데이터에 대해 어시스턴트를 교육하여 관련성과 정확성을 높일 수 있습니다. 예를 들어 변호사는 로컬 AI를 최적화하여 보다 정확한 법적 통찰력을 얻을 수 있습니다. 주요 이점은 고유한 요구 사항에 대한 사용자 정의를 제어할 수 있다는 것입니다.

로컬에서 LLM을 사용할 때의 단점

전환하기 전에 로컬 LLM 사용의 몇 가지 단점을 고려해야 합니다.

1. 자원을 많이 사용한다

LLM을 로컬에서 효과적으로 실행하려면 고급 하드웨어가 필요합니다. 강력한 CPU, 많은 RAM, 전용 GPU를 생각해 보세요. 400달러짜리 노트북이 좋은 경험을 제공할 것이라고 기대하지 마십시오. 특히 더 큰 AI 모델의 경우 응답이 매우 느립니다. 이는 최첨단 비디오 게임을 실행하는 것과 같습니다. 최적의 성능을 위해서는 강력한 사양이 필요합니다. 특수한 냉각 솔루션이 필요할 수도 있습니다. 결론은 로컬 LLM이 웹 기반 LLM에서 원하는 속도와 응답성을 얻으려면(또는 이를 향상시키려면) 최고 수준의 하드웨어에 대한 투자가 필요하다는 것입니다. 웹 기반 서비스를 사용하는 것에 비해 컴퓨팅 요구 사항이 엄청납니다.

2. 응답 속도가 느려지고 성능이 저하됩니다.

로컬 LLM의 일반적인 제한 사항은 응답 시간이 느리다는 것입니다. 정확한 속도는 사용되는 특정 AI 모델 및 하드웨어에 따라 다르지만 대부분의 설정은 온라인 서비스보다 느립니다. ChatGPT, Bard 및 기타 도구로부터 즉각적인 응답을 받은 후 로컬 LLM은 고통스러울 정도로 느려질 수 있습니다. 일반 사용자는 유동적인 웹 경험으로 인해 심각한 단점에 직면합니다. 따라서 빠른 온라인 시스템에서 느린 로컬 시스템에 이르기까지 "문화 충격"에 대비하십시오.

간단히 말해서, 절대적인 최고급 설정(예: Nvidia RTX 4090 및 "대량" RAM을 갖춘 AMD Ryzen 5800X3D)을 사용하지 않는 한 로컬 LLM의 전체 성능은 온라인 Generative AI 챗봇과 비교할 수 없습니다 . 당신에게 익숙한 것입니다.

3. 복잡한 설정

LLM을 로컬로 배포하는 것은 단순히 웹 기반 AI 서비스에 가입하는 것보다 더 복잡합니다. 인터넷에 연결되어 있으면 ChatGPT, Bard 또는 Bing AI 계정에서 몇 분 안에 메시지를 표시할 수 있습니다. 전체 로컬 LLM 스택을 설정하려면 프레임워크 다운로드, 인프라 구성 및 다양한 구성 요소 통합이 필요합니다. 대형 모델의 경우 설치를 단순화하기 위한 도구를 사용하더라도 이 복잡한 프로세스에 몇 시간이 걸릴 수 있습니다. 가장 발전된 AI 시스템 중 일부는 여전히 로컬에서 실행하기 위해 광범위한 엔지니어링이 필요합니다. 따라서 플러그 앤 플레이 웹 기반 AI 모델과 달리 자체 AI를 관리하려면 상당한 기술 및 시간 투자가 필요합니다.

4. 제한된 지식

많은 지역 LLM이 과거에 갇혀 있습니다. 그들은 현재 사건에 대한 지식이 제한되어 있습니다. ChatGPT가 인터넷에 접속할 수 없었던 때를 기억하시나요? 그런 다음 2021년 9월 이전에 발생한 이벤트에 대한 질문에 대한 답변만 제공할 수 있습니다. 원래 ChatGPT 모델과 유사하게 로컬에서 호스팅되는 언어 모델은 일반적으로 특정 마감일 이전의 데이터에 대해서만 교육합니다. 결과적으로 그들은 그 이후의 업데이트된 개발에 대한 인식이 부족합니다.

또한 로컬 LLM은 인터넷 데이터에 직접 액세스할 수 없습니다. 이는 주가나 날씨와 같은 실시간 쿼리의 유용성을 제한합니다. 실시간 데이터 형태를 즐기려면 로컬 LLM에 인터넷 연결 서비스와의 추가 통합 계층이 필요한 경우가 많습니다. 인터넷 접속은 ChatGPT Plus로의 업그레이드를 고려하는 이유 중 하나입니다!

LLM을 로컬에서 사용해야 합니까?

대규모 현지 언어 모델은 강력한 이점을 제공하지만 시작하기 전에 고려해야 할 실질적인 단점도 있습니다. 검열 감소, 개인 정보 보호 강화, 오프라인 액세스, 비용 절감 및 맞춤화는 지역 LLM을 설정하는 매력적인 이유입니다. 그러나 이러한 이점에는 장단점이 있습니다. 온라인에서 무료로 제공되는 LLM이 너무 많기 때문에 지역 LLM에 참여하는 것은 큰 망치로 파리를 때리는 것과 같을 수 있습니다. 능력은 있지만 과잉입니다. 따라서 확실한 정답이나 오답은 없습니다. 우선순위를 평가하면 지금이 전환하기에 적절한 시기인지 판단할 수 있습니다.