リアルなランナーには追いつけない遅延問題

放送ではないライブ配信の仕組み上、遅延をなくす事は不可能。。
ポイントはいかに遅延を縮めるか。

トレードオフ


一秒間に30もの720p HD画像を送る、そのサイズ圧縮のための最適化処理がなされ、配信サービスに合わせたエンコード、デコードのための変換がなされ、高い人工密度となる駅伝イベントギャラリーにインターネットと言う公道を通り、実況、解説音声をミックスして、描画能力、通信速度が様々なスマホへスポーツ中継を届ける。
それもタイムリーに。。

これは今後何年も試行錯誤されるストリーミング技術分野だと思われる。
通信インフラが高速かつ安定化しても、それに向けたコンテンツは大容量化される。
高速化と平行してそれを不要とする低コストサービスも普及する。
解像度を上げれば駒落ちし、滑らかさを求めるとぼやける。
解像度とフレーム数をどちらも求めるとさらに遅れる。
これら全ての要素がある中で適度なバランス状態を四時間保つのは奇跡ではないかと思ってしまう。

低遅延にフォーカスすれば、今の配信サービスでも速いモノがある。
Mixer(旧Beam)やニコ生など。
しかし視聴者の端末にはユーチューブはあれどこれらのアプリは入っていない。
どの端末にもあるブラウザだけで視聴するにはまだ最適化はなされていない。

進む技術革新


ただここへきて各社から動きがあった。
昨日9月5日の記事ではFresh!でも低遅延を謳い始めた。

映像配信プラットフォーム「FRESH!」が映像配信のタイムラグを大幅に短縮 業界最速水準で高画質映像の配信が可能に
https://www.cyberagent.co.jp/newsinfo/info/detail/id=14062

それにトレードオフ関係となるコンテンツキャッシュと遅延についても、アカマイ・テクノロジーズ社が低遅延の新技術を発表している。

ライブストリーミングの遅延を放送並みに抑える。アカマイの低遅延配信技術
http://av.watch.impress.co.jp/docs/news/1077555.html

2015年ユーストリーム配信では30秒遅延、2016年YouTubeライブ配信では40秒遅延。
これは駅伝一区間5分だと、既にゴールしたのに、配信映像では100mも前で「トップ狙いデッドヒート!」と実況放送してる事になる。
先の新サービス、新技術が普及してくれば、
この100mの差が10m、1mと縮められるので、
今後の展開を期待したい。

選手の声は届かない、双方向中継の壁

「第二中継所の鈴木さん、走り終えた選手にインタビューできますか?」

「こちら第二中継所、呼吸が整ってきた選手に感想聞いてみますね。高橋選手、区間賞おめでとうございます。最高学年の今年は最後の大会になりましたが心残りはありませんか?」

「はい、、後は仲間がメダルをとるだけです、、みなさん、応援お願いします。」

「高橋選手へのインタビューでした。放送席に返します。」

「鈴木さんありがとうございました。高橋選手から自信のあるメッセージ頂きました!」

 

こんな中継をライブでしてみたい!
それにはもう一段階超えなきゃならないバーがある。
双方向中継だ。

ウォーターフォールモデル、、


ライブ配信サービスは基本的にはウォーターフォール。
カメラで見えた画、マイクで聞こえた音、複数あるそれらを一箇所に集めてミックスして、ネットワーク通じて配信する。
ここに逆流はない。
もちろんウェブ会議サービスには双方向通信は備わっている。
しかし配信サービス利用の上に、実況者、解説者、スイッチャーいる放送本部が加わるとなるとモニタリング問題にぶち当たる。

エンコーダーでは?


先ず、配信レイヤーで双方向通信を考えてみる。
ネット配信後の音声を実況が聞いてリポーターと会話するのは、30秒程の配信バッファ遅延を考えると有り得ない。
しかし、ウェブ会議サービス音声を実況者がモニタリングすればタイムリーに聞くことだけはできるが実況音声はリポーターには届かない。
双方向通信にはならない訳だ。

スイッチャーでは?


次に、ウェブ会議レイヤーで考えてみる。
実況とリポーターを会議の様に会話出来る構成を考えた場合、当然ながら四時間全ての実況音声を上流のウェブ会議サービスに取り込まないとならず、数分のインタビューのために、視聴者は四時間ずっと低品質音声を聞き続けなければならなくなる。

ミキサーでは?


なので、折衷案と言うか妥協案と言うのか、IP無線機でインタビュー指示出して、後はミキサー側でインタビュー音声上げて実況解説音声を下げる荒技でインタビュー放送を行った。
このウェブ会議サービスを専用の中継サービスに切り替えられればこのインタビュー、双方向コミュニケーション配信が完成出来るが、我々ボランティアチームは当面試行錯誤に悩まされるだろう。。

地域のイベントにネットメディアは合うのか

駅伝大会には参加ランナー、その友人、その保護者だけじゃなく地域のみんなに来てもらいたい。対象範囲は品川区全域。
品川宿の6校が参加し、山手通りを封鎖して旧東海道を走る、品川ケーブルテレビに加えてインターネット生放送も行われる。
学校関連では比較的大きなこのイベントには区内の他校も関心を寄せる。

ポスター、フライヤー


初回から取り組んでる広報ツールとしてはポスターとフライヤー、要するにチラシがある。現在でも最も宣伝効果が高い。
2016年からは参加校生徒に駅伝イラストを募集して選考された作品がフライヤーとして家庭に配布される。

Twitter & Homepage


2009年からウェブサイト、ツイッターを開始する。
ウェブサイトはレンタルサーバーに静的コンテンツを置き、開催日時、大会結果を掲載。ツイッターは結果速報を発信する。

Facebook & Wiki


2015年からはフェイスブックページを開設。そしてウェブサイトをGoogleサイトに移行して、GoogleSearchConsol、GoogleAnalytics活用して訪問者の行動に合わせたコンテンツに変えていく。

Instagram


2016年からは20台を中心とした若年層に向けてインスタグラムを開設。同時期に始まったライブサービスを有効利用してインスタグラムストーリーをふんだんに使い、生放送との親和性の高い24時間ムービー公開の開始。

Contents Management System & Ad


そして、2017年。ウェブサイトを再びレンタルサーバーに戻し、ネット広告掲載を含む宣伝広報と、その活動費捻出のための広告収入を開始する。

今後は、日本市場、品川市場に合わせてLINE@、スナチャ、Mastodon、snowなんてのも動線に加えてオンライン上での集客を考えていこう。

ライブエンコーダがCPU100%で配信停止

配信サービスはYouTubeLiveとしたが配信設備は別途必要。
いわゆるライブエンコーダー。
ライブ映像を指定した定義通りにエンコードして、遅延なく配信サービスにアップロードし続けるため、スイッチャーと同等かそれ以上の処理能力が必要となる。

ソフトウェアエンコーダ


YouTubeライブ認定エンコーダーはこちら
https://support.google.com/youtube/answer/2907883

先ず見るべきところは無料かどうか!
次に動作環境が用意出来る機器かどうか。
バックアップ構成を考えるとWindowsだけじゃなくMac対応が望ましい。
この認定リストの中で両OS対応でゲーム配信ではないのはWirecastのみ。
これを選びシュミレーションをしたのがこの結果。

■構成
・パソコン、スマホ端末
SurfaceBook 3台(CPU Intel Core i5 2.4GHz*2コア / Memory 8GB)
MacBookAir 1台(CPU Intel Core i5 1.3GHz*2コア / Memory 4GB)
ZenFone2 1台(CPU Intel Atom Quad Core 1.8GHz / Memory 2GB)
Liquid Z200 1台(CPU Dual Core 1.0GHz / Memory 512MB)

・Wirecast
解像度 240p(Recommended)
ビットレート 528k
4時間40分連続稼働によるYouTubeLive配信

■スイッチャー端末(Surfacebook上Wirecast)負荷
画面入力+録画 = cpu60%, memory4.5GB
画面入力+録画 + hangouts = cpu90%, memory4.5GB
画面入力+YoutubeLive + hangouts = cpu90-100%, memory4.5GB

■中継地点端末(Hangoutsのみ)
Surfacebook : cpu55%(1台は20%), memory2.7GB
MacbookAir : cpu55%, memory3.3GB
ZenFone2 : memory1.4GB
→Hangoutsは接続数増加によりCPU、メモリ負荷が増える事はない
ここで全端末をSkypeに切り替えて接続数を増やしてみる。
2地点 surfacebook : cpu20%
3地点 surfacebook : cpu30%
4地点 surfacebook : cpu40%, zenfone2 : cpu10%
→Skypeでは接続数増加によりCPU利用率が上昇する

■課題、対応策
・スイッチャー端末高負荷
配信中は平均CPU利用率90%(Wirecast50%+ハングアウト40%)
画面を操作すると100%
→スイッチャーとエンコーダはPCを分離する。

・ソフトウェアエンコーダとするなら
ユースト標準エンコーダUstreamProducerの元になったWirecastフリー版は、
操作性は高いがCPU負荷も高い上、フリー版のため機能制約が多い。
→認定外とはなるが無料でメジャーなエンコーダーとなるOSSのOBSとしたらどうか。

・ハングアウト自動切断
廉価スマホZ200によるハングアウト参加が途中で切断あり。メモリ不足によるものと思われる。
→スマホは極力ハイスペックとする。

・解像度はどうするか
解像度とビットレート、遅延は背反関係あり。解像度を高めるとコマ落ち、もしくは遅延が大きくなると思われる。
https://support.google.com/youtube/answer/2853702?hl=ja
→スポーツとして最低限必要な解像度を本番で評価する。

・配信遅延、配信停止
この構成でバッファリング遅延20秒程度。
度々ストリーミングが停止。(Wirecast端末CPU100%時)
→視聴者側で解像度を明示的に落とせば遅延は減少する事は分かったが、配信側で調整する事は難しい。配信サービスを利用する上で遅延は許容せざるを得ない。

・即時アーカイブ閲覧できない
ストリーミング配信後自動でYouTubeへアーカイブ。即時で2時間程度再生可能。10時間後に確認した結果全時間アーカイブが完了。
(仕様上ストリーミング中は追いかけ再生は可能)
エンコーダのローカル録画機能により端末に記録は可能だったがCPU、IO負荷は高くなると想定(実際は30秒で手動停止させた)
→即時アーカイブ閲覧は諦める。大会当日中のアーカイブ公開は難しいか。。

・アドレスバー表示問題
配信映像にハングアウトのセッション情報含むURLが表示されてしまう。
WEB版、Chromeアプリではアドオン機能でも利用しないとハングアウトのURLの非表示ができない。
→ハングアウトのChrome拡張機能ならどうか。他の代替策として全画面時によりChromeアドレスバーを非表示にする(Wクリック)、Chrome拡張機能「Fullscreen address bar」を利用する。
https://chrome.google.com/webstore/detail/ppmkmdianhgppfjciekeiodmgdppglno

配信専用機


致命的な問題が。。
CPU100%で張り付き配信映像が駒落ちするどころかピタリと止まってしまう。。
これが生放送で起こったら放送事故極まりない。スイッチャーとエンコーダーは分離するとは言え、これ以上のハイスペックパソコンを用意したとしても、四時間絶え間なく配信し続けられるか、録画機能なんてまともに動くのだろうか、
ゾッとするも機器の安定と心の安心にはやはり専用機。
スタッフ所持品のこちら。
LiveShellPro

手の平サイズのコンパクトな割に凄いヤツ。
パソコンフリーズしたり通信止まったりして一部の中継地点映像が映らなくても、大事なスタート映像をスイッチャーが選択し損なっても、ひたむきにネット配信し続けて、検証含め大会終了まで一度もダウンする事がなかった絶対の信頼感。

このLiveShellProの上位版がこれ。
LiveShell X

何とYouTubeLiveとニコ生とtwitchの三大配信サービスに同時配信できるスグレモノ。テレビと違いネットは動線増やす為にもアクセス集中を緩和する為にもマルチチャネルはやりたいところ。さらに録画機能も付いてるときた。
購入コストは7万円。
レンタルしても3日で6千円。

機能は非常に魅力的だがそれを上回るメリットは、
スタッフが所有してるが故の知見が得られる事、
そして無料で借りられる事。

またいつの日か、と目を細め、今回はLiveShellProとした。

生放送始まりますが中継カメラのケーブルありません。。

知恵とコネを駆使してどうにか無償で賄うものと、そうはならないものがある。ならないものの代表的なのがケーブル。
たかがケーブル、されどケーブル。。
パソコン、トランシーバ、カメラ等端末と言われるものは企業や個人が所有してるものだけど、このカメラに挿せるコネクタ形状で、特定のパソコンで認識するケーブル、ましてやビデオキャプチャなんて家族映像をきちんと編集してるお父さんかユーチューバーくらいしかいないのではないかと思うくらい誰も持ってない。。

そこでスタッフの自腹を切っての新規購入となるが、悩ましいのがデジタルとするかアナログとするか。

デジタルVSアナログ


最近のビデオカメラには標準搭載してるHDMIからパソコンまで出力する事でフルデジタルHD高画質で配信できる
SKNET製MonsterX

もしくは従来通りRCAピンからパソコンまでアナログSD画質で配信する
I-O DATA製GV-USB2

うーん、、デジタルは全4台で10万円弱。
レンタルにするにも企業借用するにもレア過ぎて探すにもハードル高い。。
そもそもフルデジタルHD高画質を視聴者までの処理工程で品質を維持できるのか。

総合的に考えて今の設備ではアナログで十分と判断しここでの自己負担は最小限にする事とした。

アナログVSニンゲン


まあ、関係者が持ち寄る非統一なビデオカメラ相手に、
デジタルは規格、定義を調整しないと一切映らないか観るに耐えないモノになるのに対して、アナログなら多少ノイズが入るくらいだとタカをくくっていたらそんな甘くはない。

カメラにRCA出力ないから別に変換ケーブルいるよね。。
なんで音声出力に接続しないと映像がでないんだ?
Macで使えない!(良く仕様見りゃそりゃそう)
パソコンに入力出来たけど左右反転してるんだけど。。

手順合ってる、動作環境も合ってる、でも映像観られない。。

ケーブル一本に翻弄される何人もの大人達、、
そんなバタバタ感の中、大会開始時間も迫りパソコン本体の内蔵カメラを使うなんて代替手段をとる
(最初からこれでいいんじゃね?)
中継地点も一部ある状態で生中継が開始された。

箱根駅伝、東京マラソンに追い付くか!?生中継のための撮影設備

ライブ中継カメラ。
今回の中継地点は実況解説カメラ含め7ポイント。ここでもチームみんなのコネと私物をふんだんに使って支出を抑えたいところ。

オールインワンライブカメラ


先ず考えられるのはスマートフォン。
豊富なアプリに長時間バッテリー、通信環境備わるオールインワン中継カメラとなるスマホは機動性抜群!
欠点は描画処理。
全ての仕事を一種類のCPUにやらせてしまっている事でアップロードできる秒間コマ数が度々激減されてしまう。
ただ、ギャラリーとスタッフが密集され機動性が必要となるスタート・ゴール・たすきリレーゾーンはオールインパッケージとなるスマホの一択。
せめて通信環境は混線、電波干渉の少ないワイマックスモバイルルータを使う。
ポイントはモバイルバッテリーと4Gデータ通信を切る事。

中継本部は光回線による安定通信品質。実況解説映像は当然有線。
中継地点の6点セット。
1. IP無線機
2. ビデオカメラ
3. キャプチャケーブル
4. パソコン
5. そして通信。中継本部は有線、他の中継地点はWiMAXとなる。
6. 最後はパイプ椅子。カメラマン用ではなくパソコン殿をお守りするためw

奇跡のフルメタル配線


ここで知恵とコネと汗による奇跡が。
中継本部から100mは離れる品川橋にそびえ立つローリングタワー。ここには実行委員会本部メンバーの会社、プラネットピクチャーズ社のカメラマンと設備が収録映像用に配置されている。
この映像を横から頂き、パソコン、WiMAX通じて中継本部に伝送するのが当初の計画。
ここでだめ元で沿道に並ぶ各店舗の方と交渉の末、4軒も建物を越える配線経路が確保出来てしまった。。
プラネットピクチャーズ社設備のロングケーブルがぎりぎり届き、まさしくライブに相応しいハイクオリティ映像を手に入れる事ができた。
プラネットピクチャーズ社と理解ある地域店舗の方々に感謝!

これで全7台のカメラ映像を我々が選んだ「ハングアウト・スイッチャー」に一気に送る。

ネット世界のライブスイッチャー?

ネットサービスを駆使したオールフリーなスイッチングシステム


スイッチャー。
この駅伝中継システムで一番アイデアが広がりすぎて意志決定が難しいところ。

配信システムは、どう頑張っても電波法を越えることは出来ないのでネット配信一択。
それに配信サーバーから視聴端末まで一つのサービスで確立されてる。
不具合あるけどw

対してスイッチングシステムはそれとはかなり違ってくる。

・中継地点で撮った映像、音声を無線で中継本部に送る ×カメラ数

・複数のカメラを切り替える

・解説、実況音声は常時取り込む

・ミックスして映像、音声を配信機器に送る

さらに、
・通信機能がないカメラはパソコンに取り込む。
・インタビュー映像、音声をモニターして要所で取り込む。
・各中継メンバーとコミュニケーションがとれるようにする。これは中継に取り込まない。

こららをポンと一つで出来るパッケージなんて存在していないか、びっくりするほどのコストが掛かるだろう。

我々は予算ゼロボランティアチーム。
ハードワーク世代、子供も小さいお父さん達、加えて毎週のようにイベントがあるこの品川宿界隈、
限られた時間でイベントを成功するには、
チームみんなの知恵とコネを使って可能な限りフリーサービスを組み合わせるしかない。

コマ落ちせずに映像と通信を処理できるハイスペックパソコン


先ずは中継地点のパソコン。
マイクロソフト社勤務のメンバーが新型SurfaceBook


これを8台も貸してくれるとの吉報。しかもその1台はGPU付き。
これは大きい!

瞬間を逃さないためのスタッフ間コミュニケーション


次に駅伝コースにオフィスがある地元企業ジャパンエニックス社。
IP無線機を15台貸してくれるとの吉報。
前回のアナログ無線機はコースの折り返し地点まで届かなかったけど、
VoLTE使うこのIP無線機ならどこに行っても繋がる。

[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

IP-500Hレンタル 6日(7泊8日)
価格:7290円(税込、送料別) (2017/7/17時点)

 

 

電波干渉に耐えられる中継地点ネットワーク


続いて、
中継地点からの映像転送するための無線通信。
我々が持ってるスマホなんて最も使えない劣悪環境、沢山のギャラリーが来てくれる反面ストリーミング伝送なんて出来たもんじゃない。
ここは放送用のすんごい無線設備あれば最高、ここでいつも取材に来てくれる品川ケーブルテレビさんに、オフィスに足を運んでお伺いをたててみる。
「えーと、子供達のために(ここ常套句)通信設備を貸して頂けないだろうか」
「通常個別に提供したりはしないんですよ。それやったらみんなに公平にしなきゃですから」
「こちらで撮った映像も提供できる準備はありますよ」
「上を通して貰えると動きやすいんですが」
ここでアウト。。
権利、免許を得て公共事業してる企業のトップにいちボランティアが話するには交渉材料が無さ過ぎる。。

アンテナ設置案
高いところに無線アンテナ立てて、中継地点と中継本部とを無線中継させてしまおうと。
遅延はあるだろうけど妥協するとして、マンションの屋上に付けるとしても誰に言えばいいのか。マンション理事長?管理会社?
そもそもその設備を用意せなあかん。。

光回線工事案
中継地点付近の電柱にNTT回線敷設工事してしまえば、無線じゃなくても良い訳だ。ワンマイル問題も遠い彼方。
これには事前立ち会い、事後撤去立ち会い、そもそも工事申請するのに法人じゃないボランティアは申請出来ない?!

モバイルルータ+α案
色々考えたが個人向けサービスで最良の無線品質と思われるWiMAX端末4台を3日間レンタルする事に決定。

 

全ての采配はスイッチャー


最後はキモのスイッチング。
映像ディレクターがやってるあれ。
ライブ中継のキーマン。
どんなに凄腕のカメラマンが素敵な映像を撮っていてもスイッチングしなければ使われない。
どんなにベテランの実況がいても画がなければしゃべれない。
ここは金とこだわりのせめぎ合い。

ManyCam
ビデオチャットライブ配信アプリ。
月5$程の有償サービス。

JUNS LiveStudio
ネコもスイッチャーもクラウド時代。
30万円なり。。

スカイプ、ハングアウト
どちらもビデオ機能が付いたフリーチャットアプリ。
とは言えスカイプは4時間で自動ビデオオフ仕様、かつ今回のキャプチャケーブルとSurfaceではビデオがどうやっても取り込めず。。

結論、予算のない我々はフリーWebRTCサービスであるハングアウトで行こうと。

これで知恵とコネの集大成でつなぎ合わせた奇跡のスイッチングシステムが完成。

この映像をネット配信機器に流し込む。
障壁があると乗り越えた時の感動は格別。

YouTubeで駅伝ライブ配信したらとんでもない結果に

ライブ!


スポーツやコンサートは特に生放送、リアルタイム中継が面白い。
リアリティを感じられるだけじゃなくコミュニケーションできる。

ギャラリー「佐藤さん、緊張してますよ。リラックス~」
プレーヤー「😀」

シンガー「会場にいないみなさん、わたしの歌届きましたか~」
オーディエンス「👍」「👍」「👍」「👍」「👍」「❤️」…

でも、録画配信、ユーチューブ、編集した動画を個人が配信するサービスはあれど、子供達のために保護者が始めた地域の駅伝ライブ中継なんてどうやるんだ?!

配信サービス激戦時代に何を選ぶか


先ず思い浮かぶのはユーストリーミングでネット配信。
2012年大会からスマホ配信を始め、
2015年大会からスマホ&PC配信に切り替えて実況中継を加え、
結果はこんな感じ。
http://www.ustream.tv/channel/Fc75kehHrna

お!既に無料配信期間は終わってるから再生は出来ないけどまだページはあった。
間もなくなくなる(もうない?)と思うけど、
ご存知の通り、みんなのユーストはもうない、、
2015年12月日本撤退、2017年4月サービス終了。
2007年のサービス開始から個人がネットでライブ配信できる草分け的存在だったUストがまさか終わってしまうとは。
まあ、変化はするもの、させるもの。
じゃ、ニコニコ生放送かYouTubeライブ、ツイキャスあたりに引っ越しかなと思ってた矢先、
それを見据えたシェア争いが始まったのか、
Facebookライブ、
Instagramライブ、
LINEライブ、
スマホ版YouTubeライブ、
ラブライブ!w
サイボウズライブ ←あ、これも違うw

現代人の可処分時間上位ランクインしてるアプリに次々にライブがついてきた。

そこで次の生中継要件でスクリーニングしてみる。
・4時間連続生放送
・SD画質以上
・秒間30コマ以上
・配信遅延最大30秒
・標準的なライブ配信機器対応サービス
・自動アーカイブ

(それにしても地域イベントにしては要件が高過ぎるな。。)
結局残るのはニコ生とYouTubeLive。
ハングアウトオンエアは2016年9月終了だし。。

さらに、ライブ配信後のアーカイブ視聴や、
収益を考えるとこれだろうと言うことでYouTubeに確定。

チームメンバーが所有していたライブ配信機器LiveShell PRO

これがYouTubeライブ対応してる事を確認し、
リハーサルも結果良好、
ライブ、アーカイブも問題なく出来る事を確認していよいよ2016年大会本番!

ライブ中継は成功したが、、


出来たものはこれ。

え?映像映りませんか。
お使いのスマホ、パソコンでもネットのせいでもありません。
それは正しいのです。
画像ではこれ。

なんだこの日曜深夜テレビで見るカラーバーみたいなのは!?
4時間、動くカラーバー見ながら実況中継ラジオを聴く新しいスタイル、、

えーと、映像アーカイブ失敗しました。。

そりゃないよグーグルさん!
YouTubeパートナー特権使って直接問い合わせ、調査頂きましたが直らず、、ちん。。

どうやらまれに起こる事象のようで。。

もちろん、当日のライブ中継、生映像配信は大成功でした。
それを今お見せ出来ないのが心苦しい。。
(と、期待値上げてみたりしてw)

リベンジなるか


今年の2017年11月26日日曜開催の東海道駅伝、
これにはネットに頼らず従来方式でレコーダーに録画するか、
動線確保と耐障害性を兼ねた複数サービス同時配信となる多チャンネル化するか、
リベンジに向けて考えていこう。