昨年12月9日、ボンのドイツ連邦共和国歴史博物館（Haus der Geschichte）にて、新しい常設展「You Are Part of History」がオープンした。同展示のテーマは「参加すること」だ。来館者は情報を受け取るだけでなく、歴史の語りに自ら入り込み、コンテンツに影響を与え、自身の痕跡を残すことが求められている。この新しい参加型展示は、SCHNELLE BUNTE BILDER、Haus der Geschichte財団、リアルタイムプラットフォームvvvv、そしてIDS Imaging Development Systemsの産業用カメラとの緊密な協業によって技術的に実現されている。

メディアアーティストのSebastian Huberと、彼が率いるSCHNELLE BUNTE BILDERのチームは、長年にわたり、アート・テクノロジー・コミュニケーションを融合させたインタラクティブな展示を手がけてきた。その中心にあるのが、リアルタイムアプリケーション向けのビジュアルプログラミング環境であるvvvvだ。vvvvは特にジェネレーティブ・ビジュアライゼーションに適しており、博物館内の3D環境やインスタレーション用途に理想的である。

「産業用製品とクリエイティブソフトウェアの相互作用には、非常に大きな魅力がある。IDS は堅牢かつ高精度なハードウェアを提供してくれ、vvvv はそれをリアルタイムで創造的に活用する柔軟性を与えてくれる」と Sebastian Huber氏 は強調する。

IDS cameras は、Haus der Geschichte 館内の複数の重要なポイントで使用されている。最初のインタラクティブなメディア形式は、2022年に実験展示「#Proberaum」で試験的に導入され、現在は新しい常設展示に統合されている。

最初の展示ポイント：プロローグ 「You are part of history」

展示のプロローグでは、大型LEDスクリーンに歴史的なシーンが投影され、来館者はリアルタイムでその中に組み込まれる。これにより「あなたは歴史の一部である」というテーマが体感的に提示される。最大40名を同時に検出・撮影するために、uEye CPシリーズの GigE Vision 対応産業用カメラが使用されている。

このカメラには、Sony製のコンパクトな CMOS センサー IMX264 が搭載されており、高い感度と広いダイナミックレンジにより、照明条件が変化する環境や強い光の下でも正確に動きを捉える。取得された画像データは IDS peak SDK を介して直接 vvvv に入力され、リアルタイムで処理された結果が壁面のビジュアライゼーションとして表示される。

この展示における課題について、Sebastian Huber氏 は、「照明の変動、視界を遮る手すり、非常に広い画角といった厳しい条件下でも、カメラは来館者を確実に捉えなければない」と話す。この点において、ハードウェアの安定性とソフトウェアの柔軟性の両立が極めて重要だ。「IDSのカメラは、幅広いセンサーラインアップを備え、USB 3.0 や GigE Vision といった柔軟なインターフェースを提供している。そして何よりもIDS peak SDKによる簡単な統合が可能だ。これにより、vvvv 開発者がすべてのパラメータへ直接アクセスできるようになる」と述べている。

次の展示ポイント：「When were you born?」― 自分の手で体験する歴史

別の展示では、来館者がプロジェクションスクリーンの上に手を置く。その手形をきっかけに、生まれた年や青春時代に関連する映像が表示される。ここでは、uEye XCP シリーズのカメラ 2 台（モデル名：U3-3680XCP-NIR）が動きを捉えている。この展示の難しさについて、Sebastian Huber氏 は次のように説明する。「カメラは投影映像に惑わされることなく、人を認識しなければならない。それによって初めて、映像が周囲の人々に反応しながらも、フィードバックループを生じさせずに機能する」。

この用途に対して、選定された IDS cameras は理想的な仕様を備えている。SuperSpeed USB（5 Gbps）経由でデータを伝送し、NIR（近赤外線）バンドパスフィルターを搭載している。これにより不要な反射が除去され、明るい環境下でも安定した検出が可能とななる。BSI ピクセル技術を採用した内蔵型500万画素センサー「AR0522」 は、高感度・低ノイズに加え、近赤外領域で優れた性能を発揮しつつ、低消費電力を実現している。取得された動きのデータはリアルタイムで処理され、来館者の多様性を表現する集合的なポートレートとして可視化される。「これらのカメラは映像表現の一部になることなく、動きのデータを提供してくれる。これは没入感のあ
るストーリーテリングにおいて極めて重要だ。テクノロジーは、見えずに認識できる存在でなければならない」— Sebastian Huber, SCHNELLE BUNTE BILDER —

トラッキングには、画像データ内の物体を認識する機械学習アルゴリズムである YOLO ソフトウェアが使用されている。YOLO は非常に高速に動作し、グラフィックスカード上でリアルタイム処理が可能だ。「手の検出には、最もシンプルな『オブジェクト検出』の形式を使用している」と Sebastian Huber氏 は説明する。これにより、検出されたオブジェクトの位置とサイズが取得できる。スクリーンショットには、YOLO によって手の周囲に生成された青いバウンディングボックスが表示されている。この目的のために、Huberとそのチームはファインチューニングによって独自の YOLO モデルを開発した。「現在では『赤外線ハンド』を確実に検出し、たとえば握り拳には反応しないようになっている」

リアルタイム・インタラクションを支えるテクノロジー

Sebastian Huber氏 は、IDSカメラの性能と汎用性を次のように評価する。「uEyeカメラは非常に高性能で、ゲイン調整などの画像補正をカメラ自身で行うことができ、リアルタイムのインタラクティブ展示に必要な機能をすべて備えている。特に実用的なのは、レンズやセンサーの選択から USB 版・GigE 版といったインターフェースまで、要望に応じてカスタム構成が可能な点だ。こうしたオーダーメイドのソリューションにより、あらゆる設置環境の要件に正確に適合させることができる。また同時に、堅牢性、耐久性、信頼性も兼ね備えている」vvvv の共同開発者である Joreg氏 は、次のように補足する。「Haus der Geschichte のようなインタラクティブ展示プロジェクトでは、用途に応じて迅速な開発が可能な点で、vvvv は特に適している」

IDS カメラ技術と vvvv の組み合わせにより、高精度かつ低遅延のリアルタイム・インタラクションが実現する。カメラが動きを即座に検出し、それが瞬時にメディア表現へと反映される。コンパクトで堅牢な設計と柔軟なレンズ選択により、博物館の建築空間へ容易に組み込むことができる。高い赤外感度によって複雑な照明条件下でも安定した検出が可能であり、同時に IDS peak SDK がクリエイティブなリアルタイムシステムとの安定した接続を保証する。

未来の博物館

従来のセンサー技術の限界を超えるところから、インタラクションが始まる。来館者自身が作品の一部となるのだ。新たな展示を通じて、Haus der Geschichte Bonn は、現代の画像処理技術が単なる技術機能にとどまらず、文字どおり歴史を生き生きと蘇らせる物語のツールになり得ることを示している。来館者は能動的な参加者となり、鑑賞者と展示物の境界は次第に曖昧になっていく。IDSカメラが高精度な映像基盤を提供し、vvvv が動的な制御センターとして機能する。そして SCHNELLE BUNTE BILDER が両者を結び付けることで、過去と現在が動き出し交錯する物語空間を創り出す。IDSカメラ、vvvvプログラミング、そしてSCHNELLE BUNTE BILDERの芸術的ビジョンが織りなす相互作用を通じて、テクノロジー、アート、記憶が融合する未来の博物館の模範となるモデルが浮かび上がる。

IDS peakとvvvv：クリエイティブなリアルタイムプロジェクトのためのダイレクトな連携

カメラの強みをクリエイティブな実践の中で最大限発揮するため、vvvv は IDS peak との緊密な技術統合を採用している。これにより、開発者の作業は大幅に簡素化される。複雑な SDK 統合を行うことなく、すべてのカメラ機能を vvvv 上ですぐに利用できる。API を細かく制御できるだけでなく、レンズやセンサー、コンパクト設計といった IDS の幅広いハードウェアを余すところなく活用できる。

vvvvの共同開発者であるJoreg氏は、このアプローチについて「できる限り幅広いハードウェアを、直接サポートしたいと考えている。多くのユーザーからの要望を受けて、IDS peak を統合した。これにより、ユーザーは SDK 統合を意識することなく、数クリックで IDS cameras のすべての機能にアクセスできる。多くのユーザーが、レンズの選択肢、コンパクトな設計、そして API 制御の柔軟
性が、コンシューマー製品よりもはるかに高いという理由で、あえて IDS を選んでいる」と述べている。vvvvは.NET Frameworkをベースとしているため、NuGetを介して拡張機能を簡単に組み込むことができる。VL.Devices.IDS パッケージを使用すれば、IDS peak の各機能に直接アクセスでき、カメラを vvvv に簡単に統合できる。

▲上：シーンに統合されたシルエット、下：検出された来館者のシルエット

▲手認識モデルの学習プロセスを示すスクリーンショット

▲uEye CP