🎥 The Boundaries Between AI and Human Spatial Perception

— How Video Generation AI Is Transforming Music Video Production —

By Phantom Tone | Kotetsu Co.,

AIと向き合う時間が長くなるほど、「言葉で説明できないもの」に出会う瞬間が増えていく。たとえば、あの静かな夜気、紙を擦るような光、息づくような沈黙。人間なら誰でも直感で“分かる”はずの感覚が、AIにはなかなか伝わらない。そして私たちは、それをどうにか言葉にしようとする。――プロンプトとは、まさにその「翻訳作業」だ。

けれども、すべてを説明することはできない。AIに映像を作らせるときも、音楽を生成するときも、私たちの脳内にあるイメージは、英語でも日本語でも表現しきれない“曖昧な音”や“空気の厚み”をまとっている。それを最も的確に伝えようとしたとき、日本語のオノマトペは強力なツールになる――が、同時に、AIが最も苦手とする領域でもある。

英語圏のAIが迷う「音の言語」

現行のAIモデルの多くは、英語を基軸に学習されている。映像生成AIや音楽AI、画像モデルの多くは英語圏のテキストデータを中心に意味空間を形成しており、「rain」「shine」「whisper」などの単語を“概念”として扱う設計になっている。

一方、日本語の「しとしと」「きらきら」「ざわざわ」は、音の響きそのものが感情や質感を含んでいる。“静かに雨が降っている”という情報に留まらず、「寂しさ」「湿度」「時間の流れ」まで含んでいる。AIから見れば、これはただの音列――意味のないノイズにも見えてしまう。

つまり、AIにとってオノマトペは「トークン化できない情緒」だ。学習過程で「しとしと」と「ざあざあ」の違いを統計的に掴んでいても、その湿度や心理の機微までは理解していない。結果、プロンプトにオノマトペを入れても、英語的な抽象概念に変換され、「soft rain」「heavy rain」程度の差しか出ない。

それでも使う価値がある理由

では、オノマトペはAIにとって無意味なのか？ 答えは「いいえ」だ。むしろ、“曖昧さの力”を取り戻すための装置として、いま注目されつつある。

AIがどれほど高精度になっても、出力の傾向は常に“平均化”される。同じ「夜の神社」を描かせても、明暗のコントラストや被写体の距離感はほぼ定型化する。そこに一滴のノイズ――「しんしん」「ぱちぱち」「ふわり」――を加えるだけで、生成結果の表情が変わる。AIは完全には理解していないが、“異質な言語刺激”として反応し、意外な構図や色調を生むことがある。

つまりオノマトペは、AIに対して「理解不能な揺らぎ」を与える。その揺らぎが、AIが作る映像や音楽に“人間味”を取り戻す。プロンプトの中に混ぜるノイズこそ、創造の余白なのだ。

オノマトペをAIに伝える3つの方法

1. オノマトペ＋意訳
   
   しとしと雨 → “light drizzling rain, quiet and melancholic”
   
   ざわざわ森 → “forest trembling with restless wind”
   
   音のリズムを残したまま、英語の説明をつけるとAIが正しく反応する。
   


2. 音をそのまま使う
   
   “pachi-pachi fire sound”, “zawa-zawa forest”
   
   音楽系AIでは、オノマトペを音響タグ的に処理する場合がある。
   


3. 比喩を組み合わせる
   
   「風がふわりと通り抜ける」 → “wind moves softly, like a breath through silk”
   
   日本語の比喩を英語的に分解し、動作＋質感＋素材の3点で描くと効果的だ。
   

プロンプトは翻訳ではなく、対話である

AIに映像を作らせるとき、多くの人は「完璧に伝えよう」としてしまう。けれど、それは人間にすら不可能なことだ。私たち自身も、脳内の映像を100％言葉にできるわけではない。

重要なのは、AIと対話しながら探っていく姿勢。たとえば最初の生成が少し違っても、その“ズレ”を観察して「もう少し静けさを」「光が硬い」「湿度が足りない」と、感覚の差を少しずつ埋めていく。オノマトペはその“ズレ”を柔らかく伝えるための橋渡しにもなる。

AIにとってはノイズでも、人間にとっては詩だ。「ふわり」「じんわり」「ざわめく」――これらの曖昧な言葉は、AIには完全に理解できないかもしれない。だが、その“理解できなさ”こそが、AIと人間が共に創る余白を生む。

終わりに ― 言葉を超える言葉へ

AIの進化は、言葉の限界を突きつける。同時に、言葉が持つ“音”や“感触”の美しさを再発見させてもくれる。プロンプトは命令文ではなく、詩でもあり、祈りでもある。そしてオノマトペは、その詩の中で最も人間的な言葉だ。

AIが「ざわざわ」や「しんしん」の本当の意味を理解する日が来るかどうかは分からない。けれど、もしその日が来たとき、AIはただの生成装置ではなく――人間の感情を共有する新しい“感性の器”になるだろう。

タグ: AI創作, プロンプト設計, オノマトペ, 生成AI, Sora, SunoAI, 日本語とAI, クリエイティブ論, 詩的テクノロジー