こかげ KOKAGE← 製品紹介へAIなしで使うところから →

音と映像の、道具の中身。

気になった道具だけ、詳しく。全部使わなくても、引き出しは開けておいて損はない。

SOUND / VIDEO WORKSHOP

見るだけで帰るには、
道具が増えすぎた。

声を集める。録音を整える。何台もの視点を並べる。
音と映像の専用窓を、できることから選んでみてください。

本体コードと撮影した操作画面をもとにした案内です。追加のエンジンやモデルが必要な工程は各項目に記載しています。

D015 / AUDIO CONTAINER

いいところだけ集めて、ひとつの音へ。

区間選択・配置などはAIなし。声の分離・変換には専用モデルを追加。

動画のセリフ、録音した声、手元の音声。まず素材として集め、使いたい区間を並べる作業場です。声の分離や変換は、必要になったところで追加できます。

  1. 素材を入れる音声・動画をドロップ、または「+ 素材」。動画から音声だけをまとめて保存する入口も。
  2. 区間を選ぶI / Oキーで始点・終点。0.1秒・5秒送り、短い音の試聴、波形の拡大で境目を調整。
  3. 並べる・重ねる複数トラックへ配置。分割・トリム・隙間詰め・スナップ、クリップごとの音量とフェード。
  4. 次の道具へ渡すWAV / MP3へ書き出し、波形エディタで仕上げ、TTSスタジオの参照音声へ。
録音も素材に
マイクまたはPCで鳴る音を録音。セリフを1行ずつ表示して録る使い方もあります。キャプチャ対象・権限・デバイスによって利用条件が変わります。
書き出し設定
モノラル / ステレオ、16 / 22.05 / 24 / 44.1 / 48 kHz、MP3は128 / 192 / 256 / 320 kbps。FFmpegが必要です。
長さの上限
初期値は30秒。10 / 30 / 60 / 120秒、または上限なしを選べます。上限を超えた部分は書き出し時に切られるので、保存前に確認を。TTS側の受け入れ条件とは別です。
声と伴奏を分ける
Demucsで声を分離し、ノイズ低減と組み合わせる入口。分離した音を再生・区間選択・書き出しへ使えます。元の混ざり方によって残響や伴奏が残ります。
歌声を入れ替える
Seed-VCで歌の声質を参照音声へ寄せる工程。伴奏付きならDemucsで分けて重ね直します。歌詞から新しい曲を作曲する機能ではありません。追加環境・モデルの導入と利用条件の確認が必要です。
保存・文字起こし
コンテナの配置や文字起こしを保存して再開。Whisperによる文字起こしの入口もあります。コンテナ保存を元素材の完全なバックアップとは扱わず、素材も保管してください。

声の参照素材は、自分の声か本人の許可を得たものを。利用・公開の範囲まで確認してから使います。公開するときの注意へ →

音と映像の目次へ ↑

いいところだけ集めて、ひとつの音へ。実画面を拡大して見る ↗
サンプル素材を使った実際の操作画面。全機能の検証結果ではありません。
D017 / WAVEFORM EDITOR

音楽好きなら、つまみの名前で伝わることもある。

基本の波形編集はAIなし。一部の処理にはFFmpegなどが必要です。

録音の頭を切るだけで帰るつもりが、気づけばEQを触っている。波形編集に加えて、音量・音質・空間・音程・修復の道具をまとめています。

切り貼りとつなぎ目
切り取り・コピー・貼り付け・削除・トリム・無音化・無音挿入・逆再生。ミックス貼り付け、クロスフェード貼り付け、フェードイン / アウト、音量エンベロープ。
Dynamics / Level
コンプレッサー(threshold / ratio / knee / attack / release / makeup)、リミッター、オートマキシマイズ、ノイズゲート、ピークノーマライズ、LUFS目標のラウドネスノーマライズ、DCオフセット除去。
EQ / Filter
1ポイントEQ、3バンドEQ、10 / 31バンド・グラフィックEQ、ダイナミックEQ、フィルター、低音・高音ブースター、アイソレーター、エンハンサー。
Stereo / Space
パン、ステレオ幅、チャンネル操作、ボーカルカット、リバーブ、ディレイ、コーラス、サラウンド処理。中央成分を減らすボーカルカットと、AIで声を分ける処理は別です。
Modulation / Pitch
フランジャー、フェイザー、トレモロ、ビブラート、ディストーション、ローファイ、オートワウ、オクターバー。ピッチ変更は±24半音、テンポは25〜400%。高さを保つテンポ変更と、高さも変わる速度変更を選べます。
Repair
ノイズプロファイルを使うノイズ除去、ハム除去、クリックノイズ除去、音割れ修復、ディエッサー、会話強調、無音詰め。失われた音を完全に戻す保証ではありません。
見て、聴いて判断
スペクトログラム、周波数分布・ラウドネス・左右関係・音程の解析。効果の試聴は最大15秒、効果ON / OFFで比較できます。解析値は業務用測定器として保証するものではありません。
長い録音と繰り返し作業
マーカー、無音での自動区切り、分割書き出し、録音、文字起こしレーン、CSV入出力。エフェクトチェーンを保存し、複数ファイルへ同じ処理を適用できます。
出力と作業保存
WAV 16 / 24 bit・32 bit float、MP3、FLAC 16 / 24 bitの出力入口。音・マーカー・文字起こしレーンをWAVへ作業保存できますが、取り消し履歴は残りません。動画へ音声を書き戻すのは、音声の長さを変えていない場合です。

FFmpegを使う効果は、導入したFFmpegに該当フィルターが必要です。波形エディタは音声の細かな編集が中心。音声コンテナの複数トラック編集や、DAWの楽器制作とは役割が違います。合成音を使った実画面を見る →

音と映像の目次へ ↑

音楽好きなら、つまみの名前で伝わることもある。実画面を拡大して見る ↗
サンプル素材を使った実際の操作画面。全機能の検証結果ではありません。
D044 / MULTI VIDEO PLAYER

10台の視点も、ひとつの窓へ。

AIは不要。同時に再生する本数・解像度・形式で負荷が増えます。

監視カメラや複数視点の録画を、窓を行ったり来たりせず眺めたい。選んだ動画を格子状に並べる専用プレイヤーです。

30本

ビューアの「動画一斉再生」から送れる上限。
30本の快適な再生を保証する数字ではありません。

開き方
一括選択で動画を選ぶ → 「動画一斉再生」。31本以上なら確認のうえ、選択リストの先頭30本を送ります。これは入口の制限で、プレイヤー全経路に共通する本数上限とは断定していません。
まとめて操作
再生・一時停止・先頭同期・速度・ループ。選択モードなら、チェックした動画だけへ一括操作。列数やタイルの高さを調整できます。
個々の映像も追える
個別シーク・音量・速度、ブックマーク、スクリーンショット。全体や選択した動画の画像をまとめ、合成画像や録画を作る入口もあります。
同期の意味
「先頭同期」は対象を0秒へ戻して順に再生要求を出す方式。全体シークは各動画の長さに対する同じ割合へ移動します。長さが違えば、同じ秒数にはなりません。
監視カメラ用途の境目
対象は読み込んだ録画ファイル。撮影日時による自動整列、フレーム精度の同期、継続的なずれ補正や、ライブ監視システムとしての運用は保証していません。まず3〜4本で負荷とずれを確認してから増やしてください。

音と映像の目次へ ↑

D046 / VIDEO EDITOR

あの長い録画の、ここだけ残したい。

AIは不要。長い動画や高解像度の書き出しには時間がかかります。

切り出しと補正のための専用窓。昔のホームビデオも、撮りっぱなしの動画も、必要なところへ手を入れられます。

境目を探す
1 / 10フレーム送り、シーン境界の追加・移動、タイムライン、拡大表示。フレーム送りは指定FPSを基準にした時刻移動なので、可変フレームレート素材の厳密なフレーム編集を保証しません。
3種類の書き出し
IN / OUTで除外区間を作り、①その区間を除いた本編 ②除外区間だけを結合 ③除外区間を個別ファイル、から選択。カット除外と「ここだけ残す」を取り違えないよう、出力モードを確認します。
シーンごとの調整
明るさ・コントラスト・彩度・色相・ぼかし・不透明度。区間ごとに見え方を調整できます。
文字を重ねる
文字、サイズ・色・背景・位置・表示開始 / 終了を指定。テキストは書き出し時に適用する作りで、通常の再生プレビューと完成動画は一致しない場合があります。
古い映像の補正
hqdn3d(時空間ノイズ低減)、normalize(自動レベル)、histeq(ヒストグラム均等化)、unsharp、curves、yadif(インターレース解除)。VHS・8mm・退色・逆光・夜間などのプリセットから調整できます。
比べてから本番へ
補正前後の10フレームを生成して比較。Vidstabの手ブレ補正は8秒のプレビューと本番処理の入口があります。パン・低ビットレート・大きな被写体移動では不自然になることがあります。
出力条件
MP4 / H.264。CPUのlibx264と、環境が対応するNVIDIA / AMD / Intelのエンコーダを選ぶ経路があります。FFmpegと必要フィルターが必要。画面に載る入力拡張子でも、デコーダが対応しなければ開けません。

元動画と別の名前で出力する作りですが、出力先に同名の編集済みファイルがある場合の保護は、今回の調査では確認していません。保存先と出力名を確認してください。白飛びや失われた細部を完全に復元する機能ではありません。

音と映像の目次へ ↑

あの長い録画の、ここだけ残したい。実画面を拡大して見る ↗
サンプル素材を使った実際の操作画面。全機能の検証結果ではありません。
D051 / CONVERSION QUEUE

読めない動画を、待ち行列へ。

AIは不要。FFmpegを使用し、変換の設定と素材で処理時間が変わります。

変換するたびに別のソフトへ移る手間を減らすための窓です。再生できない素材や選択した動画を、同じキューで扱います。

追加と順番
カード・一括選択・再生エラー画面などから追加。同じパスの重複登録を避け、ファイル単位では順に処理します。待機・変換中・成功・エラー、進捗・経過・残り時間を表示。項目の中断もあります。
映像の形式
出力はMP4。H.264 / H.265(HEVC)/ AV1を選ぶ仕組みがあり、CPU(x264 / x265 / SVT-AV1)や対応GPUの選択肢を持ちます。利用できるものはFFmpeg・GPU・ドライバーに依存します。
画質か、容量か
圧縮率を調整する画質モードと、目標MBを指定するサイズモード。VMAFの目標値から圧縮率を探す入口もあります。目標サイズや画質点数は、完成品質の保証ではありません。VMAFを測れない場合は圧縮率の設定へ戻る作りです。
音声と字幕
ffprobeでトラックを調べ、音声・字幕を個別指定、または全トラック保持を選択。変換キューの字幕保持は、AIで新しく文字起こし・翻訳する工程とは別です。MP4で保持できない字幕形式などは素材別に確認が必要です。
並列処理の範囲
ファイルの待ち行列は順番に実行。一方、長い動画1本を分割し、CPUで複数区間を並列変換して結合する設定があります。短い動画・GPU処理・全トラック保持などでは使いません。設定や条件によって動作が変わります。
保存と見分け方
元動画と同じフォルダに、エンコーダと画質 / サイズの設定を名前へ付けたMP4を作ります。変換結果はキャッシュ・バッジ・カードへ反映。未変換の絞り込みと組み合わせて次の対象を探せます。
気をつけるところ
再圧縮で元にない画質は増えません。元動画は、映像・音声・字幕を通して確認してから整理を。出力先の空き容量、字幕互換性、長時間処理の発熱も確認します。

音と映像の目次へ ↑

読めない動画を、待ち行列へ。実画面を拡大して見る ↗
サンプル素材を使った実際の操作画面。全機能の検証結果ではありません。
D074 / KARAOKE & MIDI

家で歌ってみる。点数は、ほどほどに信じる。

LM Studioは必須ではありません。マイクや音源などの準備は機能に応じて。

手持ちの音楽に声を重ね、ガイドを見ながら練習する遊び場。音声からMIDIへの処理も、ここで音程の手がかりを用意する道具です。

歌うときの道具
マイク入力、歌詞・LRCの表示、推定 / MIDI / なしのガイド切り替え、ピアノロール表示、難易度、録音・画面録画、スコア履歴とCSV出力の入口があります。
点数の意味
マイクの音量がしきい値を超えた区間で、MIDIの音程、または音源から推定した音程と比較して数えます。ガイドなし・参照音程がない場合は音量だけで加点する経路もあります。全モードで正確な音程採点をするわけではありません。
音声 → MIDI
YINによる基本周波数推定から音符列を作り、MIDI Format 0で出力する実装。音符への変換範囲はMIDIノート36〜84(C2〜C6)。単旋律の声などを目安に、ガイドの材料として使います。
得意ではないこと
和音・伴奏から全楽器を分離して完全採譜する処理ではありません。重なった音・ノイズ・ビブラートなどで音程を取り違えます。MIDIの固定テンポ情報は元曲のBPMを自動解析した結果ではありません。
YouTubeとの連携
別窓で再生するYouTubeに合わせて使う入口もあります。通信とサービスの条件に依存し、録音・取得の許可まで与える機能ではありません。ローカル音源と同じ採点条件ではなく、常に同期が合う保証もありません。
最初の試し方
自作や利用許可のある短い音源とマイクから。スピーカーの伴奏をマイクが拾うと判定に影響するため、ヘッドホンで試します。録音前に対象と保存先を確認し、公開する場合は下の権利案内も確認してください。

音と映像の目次へ ↑

D016 / TRANSCRIPTION & TRANSLATION

まず言葉にする。そのあと、翻訳する。

字幕の表示はAIなし。自動の文字起こしはWhisper、翻訳は対応する言語モデルを使用。

動画を聞き取って字幕にし、必要なら別の言語へ。原文と訳を並べて、気になった一行を直すところまで。

  1. 字幕を読み込む動画と同名のSRT・VTTを見つけて表示。大きな字幕と、上に小さく出す字幕を選び、原文と訳を見比べられます。
  2. Whisperで聞き取る音声から時刻付きの字幕を作成。聞き取りの言語・モデルと、訳す先の言語は別の設定です。
  3. LM Studioで訳す翻訳に使うモデルを選択。進捗を見ながら実行し、中断した翻訳は続きから再開できます。
  4. 見比べて、直す別モデルの訳や原文を時刻で合わせて比較。行から該当場面を再生し、SRTを手で修正・保存できます。VTTは表示のみです。

リアルタイム翻訳ではありません。処理時間は素材の長さ・音質・モデル・PCで大きく変わります。訳せなかった行が原文のまま残る場合もあるので、保存後に音声と照合してください。聞き取りにはWhisper、翻訳には対応するLM Studio環境が必要です。

音と映像の目次へ ↑

BEFORE SHARING / 日本での利用を想定

録れた。では、公開していい?

機能として作れることと、素材を使ってよい範囲は別です。曲・音源・歌詞・声・映像には、それぞれ確認する相手や条件があります。

自作・許諾済みで試す
自分の歌や録音でも、使っている曲・伴奏・映像が他人のものなら、その権利を別に確認します。本人が許可した声でも、参照録音自体の権利やモデルの利用条件が別にあります。
投稿サイトの契約だけでは足りない例
JASRACと契約している投稿サービスでも、市販CD・配信音源を使うなら音源製作者等の許諾が別途必要。通信カラオケの伴奏や映像も、歌った本人が自由に配信できる素材ではありません。 公式案内 ↗
分離・MIDI化で権利が消えるわけではない
声を分離した伴奏、MIDIに置き換えた旋律、訳詞や替え歌も、元作品と無関係になるわけではありません。編曲・訳詞・公開など、使い方に応じた許諾を確認します。 公式案内 ↗
YouTubeの録音・取得
閲覧できることと、録音・保存・再利用の許可は別です。サービスが認める方法か、必要な許可があるかを利用規約と権利者の条件で確認します。このアプリを通せば許可されるわけではありません。 公式案内 ↗
声のなりすまし・無断利用
本人が歌った・話したと誤認させる使い方や、無断の声の利用は避けてください。著作権だけでなく、声の無断利用による人格的・経済的利益の侵害も問題になります。自分の声か、利用方法まで許可を得た声を使う運用にします。 公式案内 ↗

これは個別の利用を一律に適法・違法と判定する案内ではありません。素材・公開先・目的で条件が変わります。公開前に提供元と権利者の条件を確認してください。

本体コードと撮影した操作画面をもとにした案内です。追加のエンジンやモデルが必要な工程は各項目に記載しています。

音と映像の目次へ ↑

製品紹介へ戻る →