【兎田ぺこらを救いたい。in SUPER MARIO WORLD】

兎田ぺこら氏のスーパーマリオワールド実況における
全死亡シーン327回を一画面に収めた検証動画です。

━━━━━━━━━━━━━━━━━━
▼ この動画について
━━━━━━━━━━━━━━━━━━

現在開発中の配信アーカイブ解析ツールを用いて、
兎田ぺこら氏のマリオワールド配信から死亡シーンを
自動検出・グリッド同期再生したものです。

本来は別のVTuber向けに開発していたツールの
汎用性検証(ベンチマーク)として制作しました。

━━━━━━━━━━━━━━━━━━
▼ タイトルの「救いたい」について
━━━━━━━━━━━━━━━━━━

最後の死亡シーン1件だけが、既存の検出アルゴリズムでは拾えず、
文字通り「サルベージ(救出)」する必要がありました。

・死亡SE波形の前半部分が検出テンプレートから
欠落していたため、そこを判定基準に追加
・他の死亡シーンとのタイミング同期を
アルゴリズムで逆算しようとしたが失敗
・最終的に人力で0.001秒単位で同期位置を特定
(許容誤差は約0.01フレーム)
・確定した正解タイミングを教師データとして
アルゴリズムを再構築、自動到達を実現

この1件を救えたことで、検出器の汎用性が
一段階上がりました。

━━━━━━━━━━━━━━━━━━
▼ グリッド動画という形式について
━━━━━━━━━━━━━━━━━━

時間は有限です。
その中で、取捨選択を我々は常に迫られています。
それにあたって、この2×2の計4画面グリッド動画は、
人間の認知機能的に、無理なく合理的に視聴できる最適解であると、
私個人は判断しました。

しかし同時に、そこには大きな壁があります。

複数の死亡シーンを同時再生するこの形式は、
検出精度がそのまま視聴体験に直結します。

具体的には、各クリップのタイミングがミリ秒単位でズレると
死亡SEが二重三重に滲んで濁ってしまうため、
単に「検出漏れゼロ」であるだけでは不十分で、
同期精度まで保証する必要があります。

この動画およびアルゴリズムでは、その解消を目標に掲げています。

※死亡シーン35については、元動画自体に欠損があるため、
アルゴリズム的には正常な動作として機能しています。
また、もし仮に死亡シーンの抜け等ございましたら、
コメント欄等でお知らせいただけると幸いです。
その際には、さらなるアルゴリズムの洗練を図っていく所存です。

━━━━━━━━━━━━━━━━━━
▼ 元動画
━━━━━━━━━━━━━━━━━━

【耐久】スーパーマリオワールドクリアするまで遊ぶ！！！ぺこ！【ホロライブ/兎田ぺこら】
https://www.youtube.com/watch?v=k-m1YvIX9Ds

━━━━━━━━━━━━━━━━━━
▼ クレジット
━━━━━━━━━━━━━━━━━━

配信者: 兎田ぺこらさま（ホロライブ3期生）
チャンネル: / https://www.youtube.com/@UC1DCedRgGHBdm81E1llLhOQ

#兎田ぺこら #ホロライブ #マリオワールド
#HoloJP #Pekora #SuperMarioWorld