17 W (pat) 57/13

BUNDESPATENTGERICHT W (pat) 57/13 Verkündet am 18. Februar 2016

…

BESCHLUSS In der Beschwerdesache betreffend die Patentanmeldung 10 2009 023 875.1 - 53 …

hat der 17. Senat (Technischer Beschwerdesenat) des Bundespatentgerichts auf die mündliche Verhandlung vom 18. Februar 2016 unter Mitwirkung des Vorsitzenden Richters Dipl.-Phys. Dr. Morawek, der Richterin Eder, des Richters Dipl.-Ing. Baumgardt und des Richters Dipl.-Phys. Dr. Forkel BPatG 154 05.11 beschlossen:

-2Die Beschwerde wird zurückgewiesen.

Gründe I.

Die vorliegende Patentanmeldung, welche die Priorität einer Voranmeldung in den USA vom 5. Juni 2008 in Anspruch nimmt, wurde am 4. Juni 2009 beim Deutschen Patent- und Markenamt in englischer Sprache eingereicht. Sie trägt in der deutschen Übersetzung die Bezeichnung:

„Gestenerkennungsschnittstellensystem mit vertikaler Anzeigefläche“.

Die Anmeldung wurde durch Beschluss der Prüfungsstelle für Klasse G 06 F des Deutschen Patent- und Markenamts in der Anhörung vom 20. September 2013 mit der Begründung zurückgewiesen, dass der Gegenstand des Hauptanspruchs des Hauptantrags wie auch des Hilfsantrags mangels erfinderischer Tätigkeit nicht gewährbar sei, weil er jeweils durch die Druckschrift D4 (s. u.) nahegelegt sei.

Gegen diesen Beschluss ist die Beschwerde der Anmelderin gerichtet.

Mit ihrer Beschwerdebegründung vom 19. Februar 2014 reicht sie neue, geringfügig abgeänderte Anspruchsfassungen für den Haupt- und Hilfsantrag ein und legt die Besonderheiten ihres Patentbegehrens dar. Gegenüber der Offenbarung der Druckschrift D4 gebe die vorliegende Erfindung das Konzept der Silhouettenbilder vollständig auf und ermittele mit dem Eingabeobjekt assoziierte Merkmale auf ganz andere Weise. Dem Fachmann biete sich keinerlei Hinweis darauf, Silhouettenbilder sowie Scheitelpunkterkennung aufzugeben. Ausgehend von der D4 habe der Fachmann auch keinerlei Motivation, die dort beschriebene Technik zu verwerfen. Daher sei der beanspruchte Gegenstand neu und beruhe auf einer erfinderischen Tätigkeit.

Die Anmelderin stellt in der Beschwerdebegründung sinngemäß den Antrag,

den Beschluss über die Zurückweisung der Patentanmeldung aufzuheben und ein Patent auf Basis der nachfolgenden Unterlagen zu erteilen:

Patentansprüche 1 bis 14 (Hauptantrag) vom 19. Februar 2014, Beschreibungsseiten 1, 1a, 2, 2a und 3 vom 29. November 2010, Beschreibungsseiten 4 bis 21 vom Anmeldetag, und Figuren 1 bis 8 vom Anmeldetag; hilfsweise, ein Patent auf nachfolgende Unterlagen zu erteilen:

Patentansprüche 1 bis 14 (Hilfsantrag) vom 19. Februar 2014, Beschreibungsseiten 1, 1a, 2, 2a und 3 vom 29. November 2010, Beschreibungsseiten 4 bis 21 vom Anmeldetag, und Figuren 1 bis 8 vom Anmeldetag.

In der Fassung gemäß Hauptantrag lautet der geltende Patentanspruch 1 (mit der Merkmalsgliederung der Anmelderin):

(a) Ein Gestenerkennungs-Schnittstellensystem mit:

(b) einer im Wesentlichen vertikalen Oberfläche, die dafür ausgelegt ist, eine Gestenerkennungsumgebung zu definieren, die auf einem physischen Raum in einem Vordergrund der im Wesentlichen vertikalen Oberfläche basiert;

(c) mindestens einer Lichtquelle, die angeordnet ist, um die Gestenerkennungsumgebung zu beleuchten;

(d) mindestens zwei Kameras, die dafür ausgelegt sind, eine Vielzahl von Bildersätzen zu erzeugen, die auf der von der mindestens einen Lichtquelle bereitgestellten und von einem Eingabeobjekt reflektierten Beleuchtung in der Gestenerkennungsumgebung basieren; und

(e) einem Controller, der dafür ausgelegt ist,

(e1) einen Algorithmus zu implementieren der, basierend auf der Bestimmung einer Folge von Mittelpunkten zwischen gegenüberliegenden Kanten langgestreckter Teile des Eingabeobjekts in einem vorgebebenen Koordinatensystem in jedem Bild der Vielzahl von Bildersätzen, mit dem Eingabeobjekt assoziierte Merkmale in jedem der Vielzahl der Bildersätze erkennt, und

(e2) Endpunkte, Länge und Neigung der langgestreckten Teile des Eingabeobjekts zu berechnen, darauf basierend, dass die Mittelpunkte in jedem ersten Bild eines Bildersatzes mit den dazugehörigen Mittelpunkten eines zweiten Bildes des Bildsatzes aufeinander bezogen werden, und

(f) der Controller, basierend auf Veränderungen der relativen Positionen des Eingabeobjekts in jedem der Vielzahl von Bildersätzen, eine bestimmte Eingabegeste erkennt, und ferner dafür ausgelegt ist, um eine mit der bestimmten Eingabegeste assoziierte Geräteeingabe auszulösen.

Zu den nebengeordneten Patentansprüchen 10 und 12 sowie zu den Unteransprüchen 2 bis 9, 11 und 13, 14 wird auf die Akte verwiesen.

Gemäß Hilfsantrag lautet der Patentanspruch 1 (mit soweit möglich übereinstimmender Merkmalsgliederung und Kennzeichnung der Unterschiede zum Anspruch 1 des Hauptantrags):

(a) Ein Gestenerkennungs-Schnittstellensystem mit:

(b) einer im Wesentlichen vertikalen Oberfläche, die dafür ausgelegt ist, eine Gestenerkennungsumgebung zu definieren, die auf einem physischen Raum in einem Vordergrund der im Wesentlichen vertikalen Oberfläche basiert;

(c) mindestens einer Lichtquelle, die angeordnet ist, um die Gestenerkennungsumgebung zu beleuchten;

(d) mindestens zwei Kameras, die dafür ausgelegt sind, eine Vielzahl von Bildersätzen zu erzeugen, die auf der von der mindestens einen Lichtquelle bereitgestellten und von einem Eingabeobjekt reflektierten Beleuchtung in der Gestenerkennungsumgebung basieren; und

(e) einem Controller, der dafür ausgelegt ist,

(e1‘) einen Algorithmus Skelettdarstellungs-Objekterkennungsalgorithmus zu implementieren der, basierend auf der Bestimmung einer Folge von Mittelpunkten zwischen gegenüberliegenden Kanten langgestreckter Teile des Eingabeobjekts in einem vorgebebenen Koordinatensystem in jedem Bild der Vielzahl von Bildersätzen, mit dem Eingabeobjekt assoziierte Merkmale in jedem der Vielzahl der Bildersätze erkennt,

(e3) wobei Mittelpunkte symmetrische Punkte sind, die sich zwischen zwei Grenzpunkten an den Kanten des Eingabeobjekts befinden, und wobei die symmetrischen Punkte zu Ketten verbunden werden, aus denen gerade den langgestreckten Teilen entsprechende Segmente gebildet werden, die eine Skelettdarstellung des Eingabeobjekts bilden, und

(e2‘) Endpunkte, Länge und / oder Neigung der langgestreckten Teile des Eingabeobjekts zu berechnen, darauf basierend, dass die Mittelpunkte in jedem ersten Bild eines Bildersatzes mit den dazugehörigen Mittelpunkten eines zweiten Bildes des Bildsatzes aufeinander bezogen werden, und

(f) der Controller, basierend auf Veränderungen der relativen Positionen des Eingabeobjekts in jedem der Vielzahl von Bildersätzen, eine bestimmte Eingabegeste erkennt, und ferner dafür ausgelegt ist, um eine mit der bestimmten Eingabegeste assoziierte Geräteeingabe auszulösen.

Zu den Neben- und Unteransprüchen wird wiederum auf die Akte verwiesen.

Eine konkrete Aufgabe ist weder in der Anmeldung noch im Laufe des Prüfungsverfahrens angegeben worden. In der Beschreibung, Absatz [0002], werden die Nachteile eines berührungsempfindlichen Bildschirms dargestellt, insbesondere wenn es sich um einen großen Bildschirm wie beispielsweise für Präsentationen handelt. Die Anmeldung lehrt eine Alternative zu solchen berührungsempfindlichen Bildschirmen.

II.

Die Beschwerde ist rechtzeitig eingegangen und auch sonst zulässig. Sie hat jedoch keinen Erfolg, weil der Gegenstand des geltenden Patentanspruchs 1 sowohl nach Haupt- wie auch nach Hilfsantrag nicht auf einer erfinderischen Tätigkeit beruht (§ 4 PatG).

1. Die vorliegende Patentanmeldung betrifft ein System zur Gesten-Erkennung, eingesetzt als eine gegenüber einem berührungsempfindlichen Bildschirm verbesserte und vielseitigere Eingabeschnittstelle für einen Rechner.

Dazu beschreibt die Anmeldung eine Anordnung aus einer großen, vertikalen (Projektions-) Anzeigefläche 20, Infrarot-Beleuchtungs-Lichtquellen 16 / 18 und Kameras 12 / 14 (siehe insbesondere Figur 1) zur Erfassung eines vor der Anzeigefläche bewegten Gegenstandes 24, wie z. B. einer Hand, als Eingabeobjekt, wobei die Bewegungen des Eingabeobjekts mit vordefinierten Gesten verglichen werden (siehe Offenlegungsschrift insbes. Absätze [0014] bis [0016] und [0022]). Bei Übereinstimmung wird ein zugeordnetes Eingabesignal für einen Computer erzeugt - z. B. kann eine Handbewegungs-Geste in ein Mausbewegungs-Signal umgesetzt werden, oder eine Berührung der Projektionsfläche in einen Maus-Klick (siehe Absatz [0023]).

Die Anmelderin hat dieses Basis-System durch Details für die Bestimmung der Geste aus den Kamerabildern weitergebildet. Zunächst sollen gemäß Merkmal (e1) „mit dem Eingabeobjekt assoziierte Merkmale“ (Absatz [0038]: z. B. Länge, Neigung, Endpunkte langgestreckter Teile) in den aufgenommenen Bildern erkannt werden, auf Basis der Bestimmung von Mittelpunkten zwischen gegenüberliegenden Kanten langgestreckter Teile (Arm, Zeigefinger) des Eingabeobjekts (siehe Figur 5: Mittelpunktslinien 204, 206). D. h. es wird eine Art „Skelettdarstellung“ des Eingabeobjektes erzeugt (Figur 5, 6). Anschließend sollen gemäß Merkmal (e2) die Endpunkte, die Länge und die Neigung dieser langgestreckten Teile genauer berechnet werden, indem die Mittelpunkte zweier Bilder eines BilderSatzes (d. h. von den gleichzeitig aufgenommenen Bildern zweier Kameras) „aufeinander bezogen“ werden für eine 3D-Koordinatenbestimmung (Absatz [0021]).

Im Hilfsantrag ist die (intern für die Bestimmung der Eingabegeste verwendete) Bildung der Skelett-Darstellung noch etwas detaillierter ausgeführt. Die Mittelpunkte werden als „symmetrische Punkte“ bezeichnet, „die sich zwischen zwei Grenzpunkten an den Kanten des Eingabeobjektes befinden“. Sie sollen zu Ketten verbunden werden, aus denen gerade Segmente gebildet werden, die den langgestreckten Teilen des Eingabeobjektes entsprechen (Merkmal (e3)).

Als Fachmann, der mit der Aufgabe betraut wird, die Erkennung vorbestimmter Gesten in Kamerabildern zu ermöglichen oder zu verbessern, ist hier ein Physiker oder Informatiker mit Hochhochschul-Abschluss und mehrjähriger Berufserfahrung im Bereich der Bildverarbeitung / Objekt-Erkennung anzusehen.

2. Der Gegenstand des geltenden Patentanspruchs 1 des Hauptantrags beruht nicht auf einer erfinderischen Tätigkeit.

2.1 Aus der Druckschrift D4 US 2008 / 13 826 A1,

mit welcher der Zurückweisungsbeschluss allein begründet wurde, war bereits ein ähnliches Gestenerkennungs-Schnittstellensystem bekannt, das jedoch zur Ermittlung der „mit dem Eingabeobjekt assoziierten Merkmale“ ein anderes Konzept vorschlägt.

Konkret ist etwa der Figur 5 und der zugehörigen Beschreibung in den Absätzen [0041] / [0042] ein Gestenerkennungs-Schnittstellensystem 150 (Merkmal (a)) zu entnehmen mit einer im Wesentlichen vertikalen Oberfläche 162, die dafür ausgelegt ist, eine Gestenerkennungsumgebung zu definieren, die auf einem physischen Raum in einem Vordergrund der im Wesentlichen vertikalen Oberfläche basiert (Merkmal (b)); mit zwei Lichtquellen 156 und 158, die angeordnet sind, um die Gestenerkennungsumgebung zu beleuchten (Merkmal (c)); mit zwei Kameras 152 und 154, die dafür ausgelegt sind, eine Vielzahl von Bildersätzen zu erzeugen, die auf der von den Lichtquellen 156, 158 bereitgestellten und von einem Eingabeobjekt (sensorless input object 164) reflektierten Beleuchtung in der Gestenerkennungsumgebung basieren (Merkmal (d)); und mit einem Controller 24, 52 (siehe Fig. 1, 2) (Merkmal (e)), der basierend auf Veränderungen der relativen Positionen des Eingabeobjekts in jedem der Vielzahl von Bildersätzen eine bestimmte Eingabegeste erkennt, und ferner dafür ausgelegt ist, um eine mit der bestimmten Eingabegeste assoziierte Geräteeingabe auszulösen (gesture recognition device 70; Figur 10, Absätze [0056] bis [0058] – Merkmal (f)), beispielsweise einen Maus-Cursor zu bewegen oder einen Mausklick zu registrieren (Absatz [0034]).

Allerdings wird im Gegensatz zur Anmeldung ein anderer Erkennungs-Algorithmus verwendet (siehe D4 Figur 2 im Vergleich mit Figur 4 der Anmeldung). Gemäß D4 insbesondere Absätze [0026] bis [0033] erfassen die zwei Kameras eine Folge von Bildersätzen („matched pair of images“), die nach Kontrastverstärkung jeweils die Silhouette des Eingabeobjekts erkennbar machen. Die Bilder werden gefiltert, so dass ein Kantenbild entsteht (Figur 3, Absatz [0031]). Aus diesem Kantenbild werden die Länge, Orientierung, Dicke und Endpunkte einer langgestreckten Region (Zeigefinger) ermittelt, siehe Absatz [0032] Seite 5 linke Spalte Zeile 11 bis 15 und letzter Satz des Absatzes. In Absatz [0033] ist auch eine dreidimensionale Ermittlung der Koordinaten des Endpunktes (Fingerspitze) beschrieben, wobei Übereinstimmungen der Peaks in einem Bild mit entsprechenden Peaks in dem Bild einer anderen Kamera erkannt werden (Absatz [0028]), d. h. dass diese Peaks im Sinne der Anmeldung „aufeinander bezogen“ werden. Damit ist auch das Merkmal (e2) im Wesentlichen aus D4 entnehmbar. Es fehlt aber die Mittelpunkt-Bestimmung zwischen gegenüberliegenden Kanten langgestreckter Teile des Eingabeobjekts nach Merkmal (e1) – statt dessen beruht die Erkennung gemäß D4 auf Kantenbildern.

2.2 Mit diesem Unterschied lässt sich im vorliegenden Fall das Vorliegen einer erfinderischen Tätigkeit jedoch nicht begründen.

Zum Stand der Technik gehören auch folgende Druckschriften (mit der Nummerierung aus dem bisherigen Verfahren):

D3 Vámossy, Z. et al.: Virtual Hand – Hand Gesture Recognition System. In: 5th Int. Symp. on Intelligent Systems and Informatics, August 2007, Subotica, Serbia D5 REHG, James M.; KANADE, Takeo: Visual Tracking of High DOF Articulated Structures: an Application to Human Hand Tracking. In: 3rd European Conf. on Computer Vision, Stockholm, Sweden, Mai 1994, Seiten 35 – 46 Druckschrift D3 beschreibt Überlegungen zur Gestenerkennung. Im Abschnitt IV (Seite 98 / 99) werden u. a. Methoden zur Erkennung der Hand im Kamera-Bild beschrieben. Ziel sei es, die Bild-Information in eine Kurzform („brief form“) zu überführen (Abschnitt A, Absatz 2). Dazu kann eine Rand-Erkennung („boundary detection“) eingesetzt werden, oder alternativ eine Skelett-Bildung („skeletonization“). Ein Beispiel dafür zeigt Seite 102 Figur 1, wo aus den Bildern der Hand ein mehrgliedriges Finger-Skelett abgeleitet wurde. Davon ausgehend wird zur eigentlichen Gesten-Erkennung ein zu trainierendes Neuronales Netzwerk eingesetzt.

Somit gibt Druckschrift D3 die Lehre, dass für eine Gestenerkennung ein vereinfachtes Hand-Modell eingesetzt werden sollte, welches beispielsweise auf einer Rand-Erkennung (wie es D4 mit den dortigen Silhouetten und Kantenbildern beschreibt), alternativ aber auch auf einer Skelett-Darstellung beruhen kann.

Verfahren, um im gegebenen Zusammenhang aus aufgenommenen Bildern eine Skelett-Darstellung zu erhalten, waren dem Fachmann schon lange vor dem Prioritätstag geläufig. Beispielsweise beschreibt die Druckschrift D5 die Erkennung von Handbewegungen auf Basis von Kamera-Bildern und das Extrahieren von Beschreibungs-Parametern (siehe Zusammenfassung und Kapitel 1), z. B. für eine Anwendung als 3D Computermaus-Interface (Kapitel 2 vorletzter Satz). Auch die Verwendung mehrerer Kameras wird beschrieben (Abschnitt 5.3 „Tracking with Multiple Cameras“). Dabei wird ein vereinfachtes Skelett-Modell der Hand zugrundegelegt (Abschnitt 3.1, Figur 1), mit dem Handteller als Basis und Ankerpunkten für Fingerglieder. Die Fingerglieder können in dem vereinfachten Modell als Zylinder dargestellt werden, oder noch weiter vereinfacht als die Linien der ZylinderAchse (Abschnitt 3.2 „Using the central axis …“ – siehe auch die Darstellung in Figur 2). Bereits der dort formulierte Gedanke, anstelle eines Zylinders nur die Zentralachse zu berücksichtigen, führt den Fachmann auf die „Bestimmung von Mittelpunkten zwischen gegenüberliegenden Kanten langgestreckter Teile“ des Merkmals (e1) (die Zylinderachse ist die Punktmenge der Mittelpunkte aller Querschnitte). Etwas deutlicher sind noch die Ausführungen zu Figur 4 (Kapitel 4 „Line fitting to each set of two or more detected intersections…“), und der linke Teil von Figur 4 (Fingerbild mit Mittelpunktslinie).

Dem Fachmann war somit eine auf Mittelpunktsbestimmung basierende Segmentbildung für eine Skelettdarstellung der Hand (im Sinne des Merkmals (e1)) im Kontext der Bewegungs- und Gestenerkennung bekannt. Es bedurfte lediglich eines fachmännischen Abwägens der jeweiligen Vor- und Nachteile der beiden Verfahren, so wie es auch die Nebeneinanderstellung in Druckschrift D3 aufzeigt, um im Rahmen der Lehre der Druckschrift D4 anstelle der dort beschriebenen RandErkennung eine Mittelpunktsbestimmung einzusetzen. Ein solches Abwägen kann aber das Vorliegen einer erfinderischen Tätigkeit nicht begründen (BGH GRUR 2006, 930 – Mikrotom). Sonach gelangte der Fachmann ohne erfinderisches Zutun zur Lehre des Patentanspruchs 1 nach Hauptantrag.

3. Der geltende Patentanspruch 1 des Hilfsantrags kann nicht günstiger beurteilt werden. Er unterscheidet sich vom Anspruch 1 des Hauptantrags in drei Aspekten, die jedoch weder allein noch in Verbindung mit den übrigen Merkmalen das Vorliegen einer erfinderischen Tätigkeit begründen können:

3.1 Im Merkmal (e1‘) wird der Algorithmus des Merkmals (e1) nun als „Skelettdarstellungs-Objekterkennungsalgorithmus“ bezeichnet. Dieser Ausdruck ist aber kein Fachbegriff, der dem Fachmann aus sich heraus eine bestimmte Lehre vermitteln würde; vielmehr stellt er lediglich eine Bezeichnung für den in den Merkmalen (e1‘), (e3) und (e2‘) näher definierten Algorithmus dar, wobei dieser Bezeichnung allein keine patentrechtliche Bedeutung zukommt.

3.2 Des Weiteren ist als zusätzliches Merkmal aufgenommen:

(e3) wobei Mittelpunkte symmetrische Punkte sind, die sich zwischen zwei Grenzpunkten an den Kanten des Eingabeobjekts befinden, und wobei die symmetrischen Punkte zu Ketten verbunden werden, aus denen gerade den langgestreckten Teilen entsprechende Segmente gebildet werden, die eine Skelettdarstellung des Eingabeobjekts bilden D. h. aus den Mittelpunkten zwischen gegenüberliegenden Kanten langgestreckter Teile des Eingabeobjekts (siehe Merkmal (e1‘) u. a.) sollen gerade Segmente für eine Skelettdarstellung gebildet werden. Diese Skelettdarstellung und das Verfahren der Mittelpunktsbestimmung waren aber, wie oben unter 2.2 aufgezeigt, aus der Druckschrift D5 vorbekannt, wobei die Skelettdarstellung auf „geraden Segmenten“ beruht (siehe etwa D5 Figur 5). Damit war auch das zusätzliche Merkmal (e3) aus D5 für die Anwendung im Rahmen der Lehre der Druckschrift D4 für den Fachmann nahegeliegend.

3.3 Schließlich wurde im Merkmal (e2) die Alternative „Endpunkte“ gestrichen. Das geänderte Merkmal (e2‘) nennt als Ziel der Berechnung „Länge und / oder Neigung“. Das entspricht aber nur dem, was bereits als Merkmal (e2) aus der Druckschrift D4 z. B. Absatz [0032] bekannt war.

4. Mit dem jeweiligen Patentanspruch 1 fallen der gesamte Haupt- und Hilfsantrag, da über einen Antrag nur einheitlich entschieden werden kann.

Rechtsmittelbelehrung Gegen diesen Beschluss steht den am Beschwerdeverfahren Beteiligten das Rechtsmittel der Rechtsbeschwerde zu. Da der Senat die Rechtsbeschwerde nicht zugelassen hat, ist sie nur statthaft, wenn gerügt wird, dass

1. das beschließende Gericht nicht vorschriftsmäßig besetzt war, 2. bei dem Beschluss ein Richter mitgewirkt hat, der von der Ausübung des Richteramtes kraft Gesetzes ausgeschlossen oder wegen Besorgnis der Befangenheit mit Erfolg abgelehnt war, 3. einem Beteiligten das rechtliche Gehör versagt war, 4. ein Beteiligter im Verfahren nicht nach Vorschrift des Gesetzes vertreten war, sofern er nicht der Führung des Verfahrens ausdrücklich oder stillschweigend zugestimmt hat, 5. der Beschluss aufgrund einer mündlichen Verhandlung ergangen ist, bei der die Vorschriften über die Öffentlichkeit des Verfahrens verletzt worden sind, oder 6. der Beschluss nicht mit Gründen versehen ist.

Die Rechtsbeschwerde ist innerhalb eines Monats nach Zustellung des Beschlusses beim Bundesgerichtshof, Herrenstr. 45 a, 76133 Karlsruhe, durch einen beim Bundesgerichtshof zugelassenen Rechtsanwalt als Bevollmächtigten schriftlich einzulegen.

Dr. Morawek Eder Baumgardt Dr. Forkel Me