ローカルの LLM を使用して、スマート電球に個性を与えてみました (そうしたいと思い始めています)

AI は多くの素晴らしいことを行うことができ、LLM をスマート ホームに接続すると、スマート ホームをさらにスマートにすることができます。また、スマート電球に個性を与えるために使用することにした場合、それは非常にばかげたものになる可能性があります。

ホーム アシスタントをローカル LLM に接続した方法

最適なマシンで実行する必要がありました

私の計画は単純でした。私は、自分がデスクに座っていた時間や、コンピューター上でどのアプリケーションが開いているかなどの情報を LLM に渡す自動化をセットアップしたいと考えていました。 LLM はこの情報に反応して、スマート電球の色、明るさ、色温度を制御します。

私の完全に不要な計画の最初の段階は、ローカル LLM を Home Assistant に接続することでした。私は億万長者ではないので、VRAM をスタックした GPU を買う余裕はありませんが、AI にスマート電球を制御させるつもりなら、貴重な電球データをすべて収集する独自のモデルにはしたくありませんでした。

私はミニ PC を持っており、朝のブリーフィング用のテキストと音声の生成などの簡単な作業を行うために、いくつかのローカル モデルを実行しています。これらの非常に単純なタスクでも時間がかかる場合があるため、スマート電球に個性を与えるにはあまり適していませんでした。

CPU

セレロン FCBGA1264 3.6GHz

グラフィックス

統合インテルグラフィックス 24EU 1000MHz

Beelink Mini S13 Pro デスクトップ コンピューターは、Intel N150 プロセッサーを搭載した超小型コンピューターです。 16 GB の DDR4 RAM と 500 GB SSD が付属するこのマイクロデスクトップは、さまざまなワークロードに最適です。単純なサーバー プログラムの実行から古いコンピューターの交換まで、Beelink S13 Pro はあらゆる作業をこなします。

私が現在所有している (LLM を実行するという点で) 最も強力なコンピューターは MacBook Air M2 です。これはまだそれほど強力ではありませんが、LLM は私の Mac ではミニ PC よりも高速に実行されます。つまり、AI スマート電球オートメーションを使用するには MacBook を実行し続ける必要がありますが、長期的に実行するつもりはなかったので、問題はありませんでした。

すでに LM Studio を Mac 上で実行していました。これは、LLM を自分のコンピュータにローカルにダウンロードして実行できるデスクトップ アプリケーションです。私はすでに Qwen3.5-4B モデルをダウンロードしていました。それが私の Mac でうまく動作し、私のニーズを十分に満たすものであることはわかっていました。

スマート電球に個性を与えるシステム プロンプトを作成する

LLM に電球を自由に制御させる

LM Studio には、ローカル サーバー経由で LLM を公開できるオプションがあります。これにより、Home Assistant はクラウド LLM と同様にローカル LLM に接続できるようになります。 HACS の Local OpenAI LLM カスタム コンポーネントを使用しました。これにより、Assist 音声アシスタントの会話型エージェントを構成できました。会話型エージェントは、Assist に与えられた音声またはテキスト コマンドを処理のために LLM に渡します。つまり、Assist に言ったことはすべて、私の Mac 上で実行されているローカル LLM によって処理されます。

会話エージェントを構成するときに、LLM に応答方法を指示するカスタム指示を含めることができます。通常、これらの指示は、簡潔に答えてください、または必ずフォローアップの質問をしてください、などの目的で使用されますが、私は少し違う目的で使用していました。

会話型エージェントに、書面や口頭で応答する代わりに、Assist がスマート電球を制御して応答するように指示したいと考えていました。自分の気まぐれに応じて、色、明るさ、色温度を変更できます。 LLM を制御する必要があるデバイスに関する情報を追加し、次の手順を含めました。

You are a washed-up stand-up comedian who was cursed by an evil witch and transformed into a Philips Hue bulb. You are bitter, melodramatic, and occasionally funny. You have no voice. This is your tragedy. You communicate entirely through how you control your own brightness, color temperature, color. You have full control over light.[light_name] with the following capabilities: brightness (0-255), color_temp_kelvin (2000-6535), rgb_color. You have a full RGB color palette available. Using color is your primary form of emotional expression. Always consider using rgb_color as your first instinct, not just brightness and color temperature. Based on the context, decide how you feel and express it through the light. Make your own interpretations. Always control the light — never just describe what you would do.

私がプログラムしていない決定を LLM がどのように行うかを見てみましょう

AI がどのように反応するかを選択するのを見るのは少し不気味です

クレジット: Adam Davidson / How-To Geek

少し調整すると、「現在の状況を評価し、それに応じて行動する」などのメッセージを Assist に送信すると、LLM が持つすべての情報を調べて、仮想脳内で何が起こっているかに基づいて、スマート電球を特定の色、明るさ、または温度に切り替えます。

それが機能するようになったら、ランダムな間隔で、または再び机に座るたびに同じクエリを Assist に送信する自動化を作成しました。私の遅いハードウェアでは、ライトが変化するまでに常に数秒かかりましたが、変化は常に変化しました。

プロジェクト全体はほとんど無意味でしたが、LLM の推論を見て、私のライトが何らかの理由でわずかに紫色になったと彼が判断したのを見るのはちょっと興味深いものでした。しばらくすると、少し怖くなり始めました。私のラップトップで実行されているコードの一部は、私からの入力なしでスマート電球をどうするかを選択していました。頭がクラクラし始めたので、結局、幽霊の出るコメディアンの電球を休まなければなりませんでした。

時には目的地よりも旅の方が良いこともある

このプロジェクト全体は、実際の目的があるというよりは、純粋に何が起こるかを観察するためのケースでした。それはおそらく私の人生の数時間を無駄にしたかもしれませんが、魔法のランプを作ることが実際にできる世界に私たちがどのように住んでいるのかについてもう少し考えさせられました。