FRIDAは絵筆が取り付けられたロボットアームで、人工知能を使って人間と共同で芸術作品を制作する。FRIDAに絵を描くように頼むと、キャンバスに筆を走らせながら作業を始めるという。
FRIDAと共同でAIと創造性を研究しているコンピューターサイエンス学部博士課程の学生、ピーター・シャルデンブランド氏は次のようにコメントしている。
シャルデンブランド氏：カエルのバレリーナの絵があるのですが、とても素敵な作品に仕上がりました。本当にバカバカしくて楽しいです。私の入力をもとにFRIDAが生成したものに対する驚きは、本当に楽しいものでした。
FRIDAとは、Framework and Robotics Initiative for Developing Artsの略で、フリーダ・カーロにちなんで命名された。このプロジェクトは、シャルデンブランド氏がRI教員のジーン・オー氏とジム・マッカン氏と共に主導し、CMU全体の学生や研究者を惹きつけている。
ユーザーは、テキストで説明を入力したり、インスピレーションとなる他の作品を投稿したり、写真をアップロードしてその写真を描いてもらったりして、FRIDAに指示を出せる。また、音声を入力する実験も行っている。ABBAの「ダンシング・クイーン」を再生し、FRIDAに絵を描いてもらったという。
シャルデンブランド氏：FRIDAはロボット絵画システムですが、FRIDAはアーティストではありません。FRIDAはコミュニケーションのためのアイデアを生み出しているわけでもありません。FRIDAは、アーティストがコラボレーションできるシステムなのです。アーティストはFRIDAにハイレベルな目標を指定することができ、FRIDAはそれを実行することができます。
このロボットは、OpenAIのChatGPTやDALL-E 2のようなAIモデルを使っており、プロンプトに反応してテキストや画像をそれぞれ生成することができるのだという。FRIDAは、筆で画像を描く様子をシミュレートし、機械学習によって作業の進捗を評価しながら、作業を進める。
FRIDAが完成させる大胆な筆致の作品は、印象派的で気まぐれなもので、ロボットにありがちな精密さはないという。もしFRIDAがミスをしたら、そのミスをリフティングして、最終的な作品に取り込んでいくとしている。
マッカン氏は次のようにコメントしている。
マッカン氏：FRIDAは、人間とロボットの創造性の交わりを探るプロジェクトです。FRIDAは、画像のキャプションやシーンの内容を理解するために開発されたAIモデルを、この芸術的な生成の問題に適用しています。
FRIDAは、その芸術的プロセスの間に何度もAIと機械学習を利用する。まず、絵筆の使い方を1時間以上かけて学習。次に、OpenAIのCLIP（Contrastive Language-Image Pre-training）など、インターネットから収集したテキストと画像を組み合わせた大規模なデータセットで訓練した視覚言語モデルを用いて、入力内容を理解する。AIシステムはこれらのモデルを用いて、プロンプトに基づき新しいテキストや画像を生成するのだという。
OpenAIのDALL-E 2のような他の画像生成ツールは、大規模な視覚言語モデルを使ってデジタル画像を生成する。FRIDAでは、さらに一歩進んで、体現されたロボットシステムを使って物理的な絵画を制作する。物理的な画像を生成する際の最大の技術的課題は、シミュレーションで作成した画像とFRIDAがキャンバスに描く画像との差である「シミュレーション・トゥ・リアルギャップ」を減らすことだとしている。
FRIDAでは、real2sim2realと呼ばれる考え方を採用。ロボットと画材の物理的な能力を反映し模倣するために、ロボットの実際の筆の動きを使ってシミュレータを訓練するのだという。
FRIDAのチームは、使用する視覚言語モデルを継続的に改良することで、現在の大規模な視覚言語モデルの限界のいくつかを解決することも目指しているという。チームは、世界で何が起こっているかを感じさせるためにニュース記事の見出しをモデルに与え、さらにアメリカや西洋のバイアスを避けるために、多様な文化をより代表する画像やテキストでモデルを訓練している。
この多文化コラボレーションは、RI修士課程1年のZhixuan Liu氏とBeverley-Claire Okogwu氏、韓国のDongguk大学から客員修士課程のYoeun Shin氏とYoungsik Yun氏が中心となって行っている。また、中国、日本、韓国、メキシコ、ナイジェリア、ノルウェー、ベトナムなどからも学習データを提供してもらっているという。
FRIDAは、ユーザーが作成したい絵画の上位概念を指定すると、機械学習によってシミュレーションを行い、ユーザーの目標を達成するための絵画制作計画を立案する。FRIDAでは、コンピュータの画面上にカラーパレットを表示し、人間が調合してロボットに提供する。現在、建築学部修士課程のJiaying Wei氏と機械学習学部のEunsu Kang氏が中心となって、絵の具の自動調合を開発中だという。
筆と絵の具を手にしたFRIDAが、最初の一筆を書く。時々、頭上のカメラで絵のイメージを撮影する。この画像はFRIDAが進捗を評価し、必要に応じて計画を修正するのに役立てるのだという。そして、このプロセスには数時間を要するとという。
オー氏は次のようにコメントしている。
オー氏：FRIDAがアーティストの仕事を奪うのではと思われがちですが、FRIDAプロジェクトの最大の目的はその逆です。FRIDAを通じて、人間の創造性を高めたいんです。例えば、私自身はアーティストになりたかったんです。今、私は実際にFRIDAとコラボレーションして、自分の考えを絵で表現することができるのです。
