先日の記事でローカルで完結するローカルLLMとリモートアクセスは企業にとって相性が良いという話を書きました
今回の記事ではLLMをローカルPCで動作させることができる、LM StudioをMacにインストールしてみます。
ちなみにLM StudioをインストールするMacはM1、メモリ8GB、空き容量150GBほどのいたって普通なMac Book Air です。このスペックでは、大きなモデルは利用できませんが、ちょっと試してみる、という用途では動作しました。
インストーラの準備とインストール
インストーラは次のリンクからダウンロードします。私の場合は、利用しているOSにあわせて、ダウンロードするファイルもMac用(M1のもの)のダウンロードボタンが表示されていました。
ダウンロードし、アプリケーションフォルダにアプリをコピーします。これでインストール完了です。
アプリケーションの実行と言語モデルのダウンロード
アプリケーションを最初に実行すると言語モデルをダウンロードするように促されます。ダウンロードするモデルはお勧めなのか、表示されます。
スキップして他のモデルも選択できるようですが、とりあえず画面に表示されたモデルをインストールしていましたが、これが環境的には大きかったようで、動作がものすごく遅くて、使いものになりませんでした。
異なるモデルのダウンロード
そこで、最初にダウンロードしたモデルを一旦削除し、アプリから最適と思われるものを探します。
上の画面でモデルの大きさや、作成時期などがわかるのですが、アプリを実行している環境から、モデルによって、恐らく動作する、動作しない、ということを画面に知らせてくれます。ここで、恐らく動作しない大きなモデルをダウンロードして試してみましたが、ガッチリとPCが固まって、手動で電源をオフにせざるを得ませんでした。やはり提案はちゃんと聞くものですね。
今度は、日付と、大きさのバランスから、あるモデルを選択して、試してみると、今度はスイスイ動くようになりました。
動作としてはウェブのサービスと比べると若干遅く感じましたが、特に問題ないようで、こちらからの様々な質問にスラスラと答えてくれます。
個人のPCにLLMを入れて使うというのはアリという感覚は持てました。ですが、やはりと言いますか、当たり前と言いますか、チューニングをしながら利用していく企業での活用では、やはりもっともっと強力な環境を用意しないと難しいですね。
■ローカルLLMとリモートアクセス
こういったローカルLLMの運用が企業によっては普通なことになってきた時、ローカルLLMを動作させる環境と、各地に散らばる拠点、支店、現場をどう結ぶかがキーとなってきます。
リモートアクセスを活用すれば、各地から、ネットワークの縛りを超えて、本社で運用するLLMにアクセスし、活用し、業務の効率化を狙えるわけです。
エリアビイジャパンではSWANStor(スワンストア)というリモートアクセス製品を開発、販売をしております。SWANStorを利用することにより、上記のようにローカルLLMをより有効的に活用することが可能になります。詳しくは、以下ページを御覧ください。
SWANStor
https://www.areabe.com/product/
ご連絡を頂けましたら、経験豊富なスタッフがご紹介をさせて頂きます。