以前、以下の記事にてAI(Stable Diffusion)を活用した鳥の画像生成に取り組んでみました。

Stable Diffusionを利用してAIに鳥の画像を作ってもらおう！

「StableDiffusion」というキーワードをご存知でしょうか？昨今話題の画像を生成するAIで、画像を表現するワードを渡すことで、そのテキストにマッチする表現を含んだ画像を生成することができます！鳥好きのみなさんは日常的に可愛い鳥の写...

presler-bird.com

2022.08.30

こちらでは現実に存在する鳥の写真の生成を試みてみました。写真も良いですが、もっと自由な絵やイラストなども作ってみたいですよね！そこで、本記事では写真ではなく絵を描いてもらうことに取り組んでみましたので、その結果を共有します！

AIに絵を描いてもらうには？

以前の記事で試した「flying cockatiel」だったり、「Robin bathing in a puddle under a blue sky」のように、描いてほしいものを率直に表現したテキストを渡すと基本的には現実に即した写真としての画像が出力されます。Stable Diffusionに絵を描いてもらうには、ここで渡すテキストに工夫を施す必要があります！

どのような工夫が必要なのか、それは描いてほしい絵のスタイルに近い画家の名前も渡す、というものです！

例えば、ゴッホのようなスタイルの絵がほしければ「Van Gogh」と、葛飾北斎のようなスタイルの絵がほしければ「katsushika hokusai」と、それぞれ画家の名前を渡すことでその画家のスタイルに近い画像が出力されるようになります。

やってみる

それでは実際にやってみましょう！「bird illust, Van Gogh」というテキストを渡して作成された画像がこちらです。

確かにゴッホっぽいスタイルの絵が出力されました！絵として破綻しているような箇所は見られず、きちんと成立していますね！あまり美術方面に詳しいわけではないですが、一つの作品として成り立つレベルのものができていると思います。もっと高画質にすることができれば、印刷して額縁に入れて、部屋に飾りたいくらいです！

次に、「bird illust, katsushika hokusai」というテキストを渡してみます。

どうでしょうか？北斎！という感じの鳥の絵が出力されましたね！あまり日本では見られ無さそうなビジュアルの鳥さんなので、そういった背景の部分ではどうしても矛盾が生じてしまうところではありますが、好きなスタイルで描かれた鳥さんの絵が欲しい！という望みはこれで叶えられそうです！今回、単に「bird illust」と非常に抽象的なテキストを渡したため、より具体的な表現を行うことで鳥の種類を指定することもできそうですね。

但し、これらの写真はただテキストを渡してできたわけではありません。Stable Diffusionの出力する画像の品質はかなりランダムで、これらの画像はそれぞれ20枚ほど出力した中で一番良さげなものを選んでいます。例えば、以下のような望んでいない画像が生成された場合もありました。

このテキスト以外にも色々なパターンを試してみましたが、出力の当たり外れが激しい傾向にあるのはどういったテキストであっても共通してそうです。

わかったこと

Stable Diffusionに画家の名前を含むテキストを渡すことで、生成される画像のスタイルをその画家のスタイルに似せる事ができました！これで好きな画家さんに寄せたスタイルで同じく好きな鳥さんの絵を作ることができそうです！

また本筋とは外れますが、ここまでStable Diffusionを触ってみて、品質の高い画像を得るための扱い方もある程度見えてきました。「品質」という数値で表しにくい人それぞれの基準で画像を評価するのは難しいところもあります。そのため、1枚2枚出力してそのテキストが出力できる画像の品質を決めてしまうのではなく、出力画像の方向性だけ確認し、問題無さそうであれば数十枚単位で同じテキストで生成し、目視で良さげなものを選んでいくのがStable Diffusionとの良い付き合い方かと思います！

鳥好きのみなさんは日常的に可愛い鳥の写真やイラストを見ることで癒やしを得ているかと思いますが、自分が見たいと思った鳥さんの画像を自由に作ることができたら嬉しいですよね！
今回、そんな理想を実現するために、「Stable Diffusion」を利用したWebサービスである「Dream Studio」を試してみたのでその結果を共有してみます！

DreamStudio AI

dreamstudio.com

DreamStudioについて

冒頭でも軽く触れましたが、DreamStudioというのはStable DiffusionというAIを簡単に扱えるようにしたWebサービスです。Stable Diffusion単体で使うのはそれなりに知識を要求されたり、高い性能を持ったPCが必要になるので敷居が高いのですが、DreamStudioを利用することでそういった難しさを取り払い、誰でも手軽にStable Diffusionを使った画像生成を行うことができます！

DreamStudioの詳細な使い方はKAI-YOU様の以下の記事がとても参考になります。
https://kai-you.net/article/84547

実際に試してみる

早速適当なワードを渡して試してみましょう！出力画像のみ4枚に設定、その他の設定は特に変更せず、「飛んでいるオカメインコ」の写真が出力されることを期待して、「flying cockatiel」というテキストを渡してみました。その結果が以下になります。

ちょっと目が真っ黒で怖いですが、たしかにインコやオウムっぽい特徴をした鳥が翼を広げて飛行中の画像が出力されました！ただ、可愛いかどうかでいうともう少し…!という感じですね。

他のテキストも試してみましょう！「青空のもと、水たまりで水浴びをするヨーロッパコマドリ」の画像が出力されることを期待して、「Robin bathing in a puddle under a blue sky」というテキストを入力してみます。先程よりも詳細に情報を盛り込んでみましたがどうでしょうか？その結果がこちらです。

今度はかなり綺麗でかわいい画像が出力されました！バッチリ水たまりに佇むヨーロッパコマドリの画像が生成されています！水浴び中かどうかでいうと微妙な感じはしますが、かわいい写真なので個人的には許容範囲かと思いました！

更に試してみましょう。「森の池を埋め尽くすオシドリの群れ」が出力されることを期待して、「A flock of mandarin ducks fills a forest pond」というテキストを入力してみます。

オシドリに似ているようで、全く異なる鳥のような生物がたくさん存在する画像が出力されました。オシドリの画像はうまく生成できないのかな？と思い「mandarin duck」とだけ入力して一枚だけ画像を生成してみました。

やはりオシドリと似ているようでかなり異なる鳥の画像が生成されてしまいました。どうやらオシドリはうまく生成することができないようでした。ここでもしやと思い日本固有種であるアオゲラを表現する「Green woodpecker」も試してみると

という感じで、それっぽいけどやはり違うなーという画像が生成されてしまいました。どうやらうまく生成できる鳥の種類には偏りがあるようです。

試してみてわかったこと

ここまで、DreamStudioを利用した鳥の画像生成を試してみて、わかったことをまとめてみます！

• DreamStudioを利用した鳥の画像生成は可能
• ワードを工夫するとかわいい(私の主観ですが)鳥の画像生成も可能。シチュエーションなども画像に反映されるため、見たい鳥の画像をある程度自由に生成することができそう
• 鳥の種類によってはうまく生成することができない場合もある
  • DreamStudioが利用しているStable Diffusionを開発した企業・Stadibility AIに所在しており、そういった地域に馴染みの薄い種類の鳥の画像はうまく生成できないのだろう¹と思われます。ヨーロッパコマドリのようなイギリスに馴染み深い鳥の画像が上手に生成できている点から開発者の地域によるバイアスがありそうなことが推測できます。

ワードを解釈してそれに合った画像を生成できる点については凄いとは言え、やはり万能とはいかず、うまく生成できる鳥の種類に限りはありそうでした。特に、日本でよく見かける鳥の画像生成には難がありそうな点が残念ではありますが、このあたりの特徴を抑えた上で利用するのであれば十分に鳥さんの姿を楽しむという目的で利用することができそうな手応えを感じることが出来ました！目的の画像を得るためにいろいろ試行錯誤しながらワードを考える作業もなかなか楽しいところがありましたし、今後もより深掘って触ってみて、その結果を共有していければと思います！

1. 専門的な話になりますが、こういったAIを作成するためにはそのAIが学習するための教師となるデータが必要になります。精度の高いAIの開発にはこういったデータを大量に収集する必要があるのですが、その中に含まれていなかったり、数が少ない種類のデータはAIもうまく学習することができません。今回の場合だと、企業の所在地であるイギリス周辺において写真を集めやすい鳥の場合はうまくデータを集めることができ、画像の生成もうまくいくようです。反対に日本固有種のようなイギリスと関連の薄い鳥の場合だとデータを多く収集することができておらず、それによってAIによる画像生成の精度も低くなってしまうのでしょう。