ブラウザとアプリの操作

デスクトップアプリで、エージェントがWebページを訪問し、ほかのアプリを操作する機能です。

エージェントのブラウザ

デスクトップアプリでエージェントがWebを調べると、右側のパネルのブラウザでサイトを直接訪問します。エージェントが見ているページがパネルに表示され、拡大・縮小もできます。

ログインが必要なサイトは、macOSでImport cookiesを実行すると、Chromeプロファイルのcookieを取り込んで使えます。

エージェントは、このMacのほかのアプリを表示して操作します。例: 「会議メモをメモアプリに書いて」。操作中は、入力欄の上にKeuralが○○を操作中のカードが表示され、停止を押すと止まります。macOSのメニューバーにも共有中の表示が出ます。

規則	詳細
アプリを初めて使うとき	エージェントがそのアプリの画面を表示する前に承認が必要です。承認は、そのアプリが起動している間のみ有効です。
元に戻せない操作	送信、削除、支払い、購入、サインインのボタンは、クリックする前に改めて承認が必要です。
ブロックされるアプリ	エージェントは、ターミナル、システム設定、キーチェーンとパスワード管理アプリ、Keural自体を表示も操作もしません。
パスワード欄	エージェントは何も入力しません。

アプリの操作にはmacOSのアクセシビリティの権限、画面を見るには画面収録の権限が必要です。画面の画像は、画像を読み取れるモデルを使う場合にのみ利用します。