Das Projekt versucht die Anforderungen der immersiven Kommunikation durch eine Integration der folgenden Ansätze zu erfüllen:
Vorhersagealgorithmen für Sichtfenster in 360°-Videos berücksichtigen sensorbasierte Lokalisierung und Verfolgung sowie Rotations-/Bewegungsvorhersagen unter Verwendung des maschinellen Lernens um die Kommunikationsqualität der Benutzer(innen) zu verbessern.
Neuartige Methoden zur Identifikation von Qualiätsparametern der immersiven Kommunikation kombinieren Systemmessungen und das kognitive Verhalten der Benutzer(inn)en.
Fortgeschrittene Implementierungsplattformen basierend auf Hardware-Beschleunigern und effizientem Scheduling in virtualisierten Softwareumgebungen sollen die Latenz minimieren.
Zwischenspeicherung von Daten (Caching) und die Verarbeitung bestimmter Funktionen innerhalb des Netzes sollen ebenfalls Latenzen minimieren. Hierzu kommen für das zukünftige Internet in Entwicklung befindliche Kommunikationsprotokolle sowie Netzwerk-Kodierung zum Einsatz.
Mobile Benutzer werden in immersiven Kommunikationsszenarien durch die Migration von Diensten unterstützt. Hierzu wird das Konzept der Floating Services weiterentwickelt.
Wissenschaftlicher und gesellschaftlicher Kontext des Forschungsprojekts
Immersive Kommunikation basierend auf virtueller und erweiterter Realität hat sich bereits in diversen Anwendungsszenarien stark entwickelt, vor allem im Bereich der Spiele. In den nächsten Jahren wird eine Ausbreitung der immersiven Kommunikation im beruflichen Bereich und in der Ausbildung auf allen Stufen erwartet. Die Akzeptanz dieser neuen Technologie wird sehr stark von der Kommunikationsqualität der Benutzer abhängen.
Communication systems tried to improve the quality of communication to become close to real in-person communication. The vision of immersive communication is to enable interactions with remote people and environments such that users get the impression to be really inside a remote or virtual environment. Immersive communications may add additional services and functions and even improve real in-person communication. Augmented reality, virtual reality, and haptics are key technologies to enable immersive communications, with extreme requirements in terms of bandwidth, reliability, and latency. The targets are few milliseconds, combined with high-bandwidth (e.g., for 360 ° video), and/or high reliability (e.g., 99.9999 %, for interactive sensor/actor based applications such as haptics). NICO addresses these extreme challenges and requirements by a set of various approaches on protocol, network architecture, and implementation architecture level. In NICO we intend to come closer to these targets by addressing the following interrelated research challenges, which have to be considered in an integrated way.- viewport prediction algorithms in 360 °, video based on sensor-based localization, tracking and rotation/movement predictions using advanced machine learning (ML) concepts in order to improve users' Quality-of-Experience (QoE),- disruptive methods to identify QoE parameters in immersive communications combining system measurements and psychological behaviors,- implementation of an advanced integrated hardware and software platform including operating system scheduling for user-level virtualization and the support of hardware accelerators for immersive communication processing in order to support low latencies and high throughput, - novel mechanisms to minimize latencies by (extended) caching mechanisms exploiting in-network processing for immersive communications,- novel network protocols based on information-centric networking and network coding to support low-latency communication, - original algorithms and mechanisms for service migration to minimize latency between mobile users and service entities, including the novel concept of Floating Services.
Last updated:18.01.2023
