【動画生成AI】映画のようなショートフィルムを作成してみたい。制作過程のプロンプトも無料公開!!

動画生成AI

久しぶりの記事ですwww

SoundOnに楽曲を提出したり、ミュージックビデオを作ったりしていて、中々ブログに書けませんでした m(_ _)m

さて、そんな中、YouTubeやTikTokで話題?ではないだろうが、せっかく、Ranwayで無制限プランに契約したから「映画のようなショートフィルムを作成してみたい。」ってことで、試行錯誤して、簡単な汎用性のあるテンプレートをClaude3にて作成したので、大々的にテンプレート(プロンプト)を無料公開!!

まぁ、ChartGPTでも使用できると思う。やってみて。

これにより、テンプレートが進化していろんなアイディアが生まれると嬉しい!

参考にした動画とプロンプト

参考したYouTube動画が、こちら。

プロンプトは、下記の枠内。概要欄にあったプロンプトです。
[Your Story]:Your Storyに作りたいストーリーの概要を入力。
[Your Style]:Your Styleに動画の画像?スタイルを入力。

I want to create an AI animated story about, [Your Story]. Please give me a script with narrations and prompt to generate images of related scenes. The prompt should be well detailed and simple. Also add ‘style: [Your Style]’ at the end of each prompt.

このプロンプトを使用すると・・・

参考プロンプトを下記のように赤枠のYour Storyに闇に蠢く、Your Styleにノワール調と指定して、プロンプトを実行。

その結果が以下になります。ナレーションとそのシーンのプロンプトを出力されました。なお、英文と日本語が混じっていたためか、ナレーションが日本語と英語で出力されました。

この辺りは、AIなので実行の度に変わってくると思うので、必ずしもこの通りの結果になると限りませんので、注意が必要です。

指示者の意図したとおりに回答がほしい場合は、プロンプト(指示)を事細かくプロンプトで指示してあげないとダメなので・・・。まぁ、そこはAIも人間も同じです。

こういう形で回答がほしいとちゃんと言わないと分からないですから・・・・。

闇に蠢く (Lurking in Darkness)

Scene 1: The Empty Street

Narration:
雨に濡れた路地裏。街灯が闇を切り裂くように明滅している。
(A rain-soaked back alley. The streetlight flickers, cutting through the darkness.)

Image Prompt:
Cinematic night scene of a narrow Japanese alley, wet cobblestones reflecting dim light, single flickering street lamp, deep shadows between buildings, puddles of water, steam rising from drain covers, style: ノワール調

Scene 2: The Shadow

Narration:
そこには、人の形をした影が蠢いている。けれど、それは人ではない。
(There, a humanoid shadow writhes. But it’s not human.)

Image Prompt:
Dark alleyway with a distorted humanoid shadow on the wall, shadow appears to move and twist unnaturally, barely visible figure casting the shadow, murky atmosphere, style: ノワール調

Scene 3: The Encounter

Narration:
刑事の足音が響く。彼は見てしまった。見てはいけないものを。
(Detective’s footsteps echo. He has seen it. Something he shouldn’t have seen.)

Image Prompt:
Man in trench coat and hat viewed from behind, hand reaching for gun, mysterious dark mass visible at the end of the alley, rain drops falling, neon signs casting colored reflections, style: ノワール調

Scene 4: The Transformation

Narration:
影は形を変える。壁から床へ、床から空へ。すべてを飲み込むように。
(The shadow changes shape. From wall to floor, from floor to sky. As if to engulf everything.)

Image Prompt:
Surreal scene of shadows flowing like liquid across surfaces, tendrils of darkness reaching upward, city lights being consumed by darkness, single street lamp creating dramatic lighting, style: ノワール調

Scene 5: The Revelation

Narration:
街が闇に溶けていく。これは始まりに過ぎない。
(The city melts into darkness. This is only the beginning.)

Image Prompt:
Aerial view of city streets being consumed by spreading darkness, few remaining lights creating islands in the void, buildings partially visible through the dark mass, rain creating a misty atmosphere, style: ノワール調

Technical Notes:

  • Maintain consistent dark color palette across all scenes
  • Emphasis on dramatic lighting and shadow play
  • Rain effects should be present throughout
  • Sound design should include:
  • Rainfall ambient noise
  • Echo effects on footsteps
  • Low, unsettling ambient drone
  • Minimal music with noir jazz influences

これを踏まえ、プロンプトを汎用性のあるテンプレートに改造しました。
ざっと作成したので、まだまだ改造の余地はあります。

また、参考動画では、ChartGPTを使用していますが、俺は、Claude3にて作りたいと思います。

なお、無料(free)版でもOKかと思います。但し、文字数制限があるので、実際ドコまで生成してくれるか不明ですと言っておきます。

いろいろと、試すには課金しておいた方が後々、良い結果につながることもあるかと。

使用したAI

今回使用するAIを紹介。

・台本作成:Claude3(https://claude.ai/) ※課金済
・動画生成:Ranway Gen-3 Alpha(https://app.runwayml.com/) ※課金済
・動画生成:hailuoai(https://hailuoai.video/
・ナレーション生成:ダウンロード版のvoicevox(https://voicevox.hiroshiba.jp/
・動画編集:Wondershare Filmora 14(https://filmora.wondershare.co.jp/) ※課金済

制作基本スタイル

今回は、英文にてテキストからビデオを選択し創作。

改造した基本テンプレート

※以下、プロンプトをテンプレートとします

下記の枠内のテンプレートをコピペしてください。
なお、赤太文字の部分を変更してお使いください。

このテンプレートを使用すると、尺1~2分くらいの簡単なナレーションと、各シーンのカット用指示文を生成してくれます。

今回のテストではストーリー名を入力:闇に蠢く、スタイル指定:ダークで神秘的なノワール調としました。

下記のテンプレートに従い、制作してください。
##AIアニメーション・ストーリー制作テンプレート v1.0 ※1-2分版
【指定項目】
-タイトル:[ストーリー名を入力]
-アートスタイル:[スタイル指定]

【基本情報】
-回答は日本語
-想定尺:1-2分程度
-プロンプト形式:各ナレーション文の区切り(。)ごとに対応するプロンプトを生成
-プロンプトの最初には必ず ‘style: [スタイル名]’ を付与

【シーン構成】
シーン1: オープニング
[状況設定・世界観の提示]
ナレーション1:「[導入部分の説明]」
プロンプト1:style: [スタイル名]」。「[視覚的な詳細と雰囲気/環境設定]。

ナレーション2:「[状況の展開]」
プロンプト2:style: [スタイル名]」。「[視覚的な詳細と雰囲気/環境設定の変化]。

シーン2: 展開
[転換点・アクション]
ナレーション3:「[変化の状況]」
プロンプト3:style: [スタイル名]」。「[変化の瞬間の視覚的表現]。

ナレーション4:「[展開の描写]」
プロンプト4:style: [スタイル名]」。「[展開の視覚的詳細]。

シーン3: エンディング
[結末・余韻]
ナレーション5:「[結末の提示]」
プロンプト5:style: [スタイル名]」。「[結末の視覚的表現]。

ナレーション6:「[余韻・示唆]」
プロンプト6:style: [スタイル名]」。「[最終的な視覚的表現]。

【視覚表現の基本要素】

  1. 色彩設計
  • メインカラーとアクセントカラーの対比
  • 光と影の効果的な使用
  1. 空間表現
  • 効果的な深度表現
  • 環境設定の一貫性
  1. 演出効果
  • 各シーンの感情に合わせた視覚効果
  • 象徴的なモチーフの使用
  1. プロンプト記述の原則
  • 具体的な視覚情報(色、形、質感)
  • 空間の基本的な詳細
  • 重要な要素の描写

【注意点】

  • 短尺に適した簡潔な展開
  • インパクトのある視覚表現の選択
  • 必要最小限の情報伝達
  • 印象に残るエンディング

【追加指示】
回答後、「これで問題なければ、プロンプト1~6を英訳してコピーしやすいように表記します。いかがでしょうか?」と
ユーザーに確認を取ってください。

テスト結果

では、テストした結果を載せます。

タイトル:闇に蠢く
アートスタイル:ダークで神秘的なノワール調

シーン1: オープニング
ナレーション1:「真夜中の街角、古びた街灯が不規則に明滅している」
プロンプト1:style: dark noir mystical。「濡れた路面に映る古びた街灯の光、コバルトブルーの闇と琥珀色の光が交錯する都市の路地、建物のシルエットが不気味に浮かび上がる」

ナレーション2:「路地の奥から、何かが這うような音が近づいてくる」
プロンプト2:style: dark noir mystical。「深い影から漏れる微かな動きの気配、壁に這う影が歪な形で伸縮し、街灯の光が不規則に瞬き、モノクロームの世界に不穏な空気が漂う」

シーン2: 展開
ナレーション3:「突如、影が人型に変化し、壁から剥がれ落ちるように実体化する」
プロンプト3:style: dark noir mystical。「漆黒の液体のような質感で壁から滴り落ちる影、徐々に人型へと変貌する様子、周囲の光が歪み、紫がかった闇が渦を巻く」

ナレーション4:「実体化した影は、街灯の下で不気味な笑みを浮かべる」
プロンプト4:style: dark noir mystical。「街灯の琥珀色の光に照らされる漆黒の人影、銀色に光る鋭い歯、深紅の目が闇の中で妖しく輝く、周囲の空気が凍りつくような緊張感」

シーン3: エンディング
ナレーション5:「影は次第に街の明かりを飲み込んでいき、街全体が闇に包まれていく」
プロンプト5:style: dark noir mystical。「次々と消えていく街灯の光、渦巻く漆黒の霧、建物のシルエットが闇に溶けていく様子、最後の一灯が揺らめく瞬間」

ナレーション6:「暗闇の中、無数の赤い眼光だけが浮かび上がり、新たな夜が始まる」
プロンプト6:style: dark noir mystical。「漆黒の闇の中に浮かぶ無数の深紅の眼、螺旋状に広がる影の渦、かすかに残る月明かりが不気味な情景を浮かび上がらせる」

これで問題なければ、プロンプト1~6を英訳してコピーしやすいように表記させていただきますが、いかがでしょうか?

と、最後に、一旦止まって、聞いてくるので、OKとか続けてとかタイプして、続きを生成してもらいましょう。

では、プロンプト1~6の英訳を以下に表記いたします:

Prompt 1: style: dark noir mystical. A decaying streetlight reflects on the wet pavement, cobalt blue darkness intertwines with amber light in urban alleyways, creating eerie silhouettes of buildings against the night sky.

Prompt 2: style: dark noir mystical. Subtle movements leak from deep shadows, distorted shadows crawl along walls with irregular stretching and contracting, streetlights flicker irregularly, casting an ominous atmosphere in a monochrome world.

Prompt 3: style: dark noir mystical. Shadows drip from the wall like black liquid, gradually materializing into a human form, surrounding light distorts as purple-tinged darkness swirls around the scene.

Prompt 4: style: dark noir mystical. A jet-black figure illuminated by amber streetlight, silver sharp teeth gleaming, crimson eyes glowing mysteriously in the darkness, creating a freezing tension in the surrounding air.

Prompt 5: style: dark noir mystical. Streetlights being consumed one by one, swirling black mist enveloping the scene, building silhouettes dissolving into darkness, the last light flickering its final moment.

Prompt 6: style: dark noir mystical. Countless deep red eyes floating in pitch-black darkness, spiral vortex of shadows expanding, faint moonlight revealing an eerie scenery in its weak glow.

動画を生成

テストで得た、動画生成用の指示文(プロンプト)1~6の英文をコピーしてRanway及びhailuoaiにて動画を生成してもらいます。

なお、動画生成用の指示文(プロンプト)は、画像生成AIに投入してもOKかと。画像生成AIで自分好みの画像を生成して貰い、そのあとで、動画生成AIに投入すれば良いかと。

生成にあたり、テキストからビデオを生成しますので、Gen-3 Alphaを使用。Ranwayの仕様上、2024.10月現在、テキストからビデオはこれしか使用できない為です。

はやく、Tuboでも使えると良いのになぁと思っています。

また、プロンプトは6個しか生成していませんが、動画の尺は10sで生成します。
hailuoaiは6sですね。

動画生成設定:Ranway Gen-3 Alpha

・TXT to Video
・動画比率: 16:9
・尺: 10s
・テストなので、1発勝負!  ((´∀`))ケラケラ

動画生成設定:hailuoai

・TXT to Video(現在、beta版なのでコレ一択!)
・動画比率: 16:9 (現在、beta版なのでコレ一択!)
・尺: 6s (現在、beta版なのでコレ一択!)
・テストなので、1発勝負!  ((´∀`))ケラケラ

動画生成結果

左:Ranway Gen-3 Alpha
右:hailuoai

です。テストということで、一発生成なのですが、どうにもプロンプトの理解力が新規新鋭のhailuoaiが高い気がします。

各動画をアップするとサーバに負担がかかるので、スクショだけ載せます。
あとで、1本にまとめます。

シーン1: オープニング

ナレーション1:「真夜中の街角、古びた街灯が不規則に明滅している」

ナレーション2:「路地の奥から、何かが這うような音が近づいてくる」

シーン2: 展開

ナレーション3:「突如、影が人型に変化し、壁から剥がれ落ちるように実体化する」

ナレーション4:「実体化した影は、街灯の下で不気味な笑みを浮かべる」

シーン3: エンディング

ナレーション5:「影は次第に街の明かりを飲み込んでいき、街全体が闇に包まれていく」

ナレーション6:「暗闇の中、無数の赤い眼光だけが浮かび上がり、新たな夜が始まる」

各動画を繋げて、1本の動画に・・・・

さて、それぞれ、生成した動画を1本の動画につなげて、ナレーション、BGMと追加して映画フィルムを創作。

出来た、動画はテスト用YouTube動画の倉庫に投稿しました。リンクを貼ります。

まぁ、尺が1分くらなので、ブログのサーバーに上げても良いかなぁと思ったけど、サーバーに負担がかかるので、YouTubeへ投稿します。

Ranway Gen-3 Alpha

無制限に契約しているので、一気に作成!

hailuoai

hailuoaiの無料版では1日に3つしか生成できないので、2日掛かりましたwww

感想

いかがでしたでしょうか? 参考になれば幸いです。

台本の作成には、いろいろと有るみたいで、実はこのプロンプトを作成する以前に、俺が考えた大きな台本作成用のテンプレートがあります。

そのテンプレートより、簡単でシンプルな構成だったので、公開しました。作成した感想では、まずまずの出来ではないかと思う。

これをいろいろと発展させていけば良いと思った。

また、各ツールでの感想を書きたい。

・台本作成のプロンプト(テンプレート)について

元のプロンプトから、いろいろと発展させて出来上がったプロンプト(テンプレート)にしては、良く出来上がったと思う。

これで、バズる動画を作れると言わないが、アイディア次第でどうにでもなると思う。
また、この基本プロンプト(テンプレート)を基にして、アレンジしてみてほしい。

出来たら、アレンジしたものを教えてほしいな!

また、注意として、AIが都度台本を生成しているので、今回使用した題名、スタイルを与えても、テスト通りにならない事を明記します。内容は都度、考えられているので、テスト結果と同じにはなりません。

ただ、シーン構成は変わらないと思います。たまに、区切り”。”で区切ってって指示しても、”、”で区切られたり、されなかったりとします。

まぁその辺りは臨機応変に編集してくださいな! 俺もそうなるしぃ~・・・

・動画生成AI

Ranway Gen-3 Alphahailuoaiについて。
後発の、hailuoaiのほうが与えるテキストの内容に沿った感じの動画を生成する能力が高い気がします。

一発で臨んだ、動画を生成するのはすごいと思う。

Ranwayは、結構前から動画生成に関してスゴイ機能がありましたが、テキストから動画を生成する能力が弱い?もしくは、与えるテキスト内容に問題があるのかも?知れません・・。

今のところ、ストーリー系の動画を生成するには、後発のhailuoaiが良いかもしれません。

今のところは・・・・ですが。

生成AIも日々、進化しているので、Ranwayでも生成出来るようになると思う。
(で、できるよな! な!!

・ナレーション生成

無料版のダウンロード版voicevoxを使って1文づつ生成。
ほんとーーーーーーーーーに、地味で、根気がいる作業でした。

ちょっと凝り過ぎると1日があっという間に終わる・・・

これ、残念ながら、日本語しか対応していないんだよねぇ。英文を読ませると、1語づつ読むんだわ! 面白いからやってみてwww(LOVEと読ませると、エル、オー、ブイ、イーと読む。)

まぁ、いくつか作ってパターン化してしまえば短時間でできるでしょうが、初めて作るには時間が掛かる、掛かる。

サクサクと作れたら、面白いんだろぉなぁ~。

コメント

タイトルとURLをコピーしました