Harald H. Zimmermann
Maschinelle und Computergestützte Übersetzung

Vorbemerkung: Der nachfolgende Artikel ist im Original als Beitrag C 11 in dem Sammelband Grundlagen der praktischen Information und Dokumentation (ed. Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar), München 2004 (5., völlig neu gefasste Auflage), S. 475 - 480 erschienen. Nachfolgend ist die Kennung „C 11“ weggelassen. Die Seitenzählung des Originals steht in Spitzklammern vor dem Seitenanfang.

<S. 475>

1	Begriffliche Grundlagen

Unter Maschineller Übersetzung (Machine Translation, MT) wird im Folgenden die vollautomatische Übersetzung eines Textes in natürlicher Sprache in eine andere natürliche Sprache verstanden. Unter Human-Übersetzung (Human Translation, HT) wird die intellektuelle Übersetzung eines Textes mit oder ohne maschinelle lexikalische Hilfen mit oder ohne Textverarbeitung verstanden. Unter computergestützter bzw. computerunterstützter Übersetzung (CAT) wird einerseits eine intellektuelle Übersetzung verstanden, die auf einer maschinellen Vorübersetzung / Rohübersetzung (MT) aufbaut, die nachfolgend intellektuell nachbereitet wird (Postedition); andererseits wird darunter eine intellektuelle Übersetzung verstanden, bei der vor oder während des intellektuellen Übersetzungsprozesses ein Translation Memory und / oder eine Terminologie-Bank verwendet werden. Unter ICAT wird eine spezielle Variante von CAT verstanden, bei der ein Nutzer ohne (hinreichende) Kenntnis der Zielsprache bei einer Übersetzung aus seiner Muttersprache so unterstützt wird, dass das zielsprachige Äquivalent relativ fehlerfrei ist.

2 	Argumente für den Einsatz von MT / CAT

Zwei Ziele führen dazu, dass ein Unternehmen MT / CAT in den Produktionsprozess von Übersetzungen einbindet:

-	Zeitersparnis, d.h. die Erstellung einer Übersetzung in deutlich kürzerer Zeit, als dies bei der HT möglich ist. Als Argument wird vorgebracht, dass gerade bei der sog. Lokalisierung von kurzlebigen Produkten in über- oder internationalen Märkten die Zeit Geld Wert ist („time-to-market").
-	Kostenersparnis, d.h. die Erhöhung der Übersetzungsleistung des einzelnen Übersetzers je Einheit. 

Als weiteres Argument wird gerne genannt, dass über MT / CAT auch die terminologische Konsistenz eines Textes (v a. umfangreicher Dokumentationen) gewahrt werden kann. Wenn mehrere Humanübersetzer zeitparallel verschiedene Teile einer Dokumentation bearbeiten, ist die terminologische Kontrolle erschwert; MT / CAT kann hier bis zu einem gewissen Grade unterstützend wirken, da ihr die entsprechenden Fachtermini zur Übersetzung vorgegeben werden können. 

Für Außenstehende ist es sehr schwer, die vorwiegend in Firmenreports genannten Zahlen empirisch nachzuvollziehen. Neutral erhobene nachvollziehbare Statistiken liegen m.W. nach wie vor nicht vor. Dennoch kann als Faustregel gelten, dass nach lexikalischer und textstruktureller Adaption an das jeweilige Fachgebiet (etwa im Automobilbereich: Wartungsanleitungen) und bei angemessener Integration in den betrieblichen Informationsfluss (s.u.). die Kosten für den „reinen" Übersetzungsanteil durch die Verwendung am Markt verfügbarer MT-Systeme je Übersetzungsobjekt mindestens halbiert werden können und die Aufwandsersparnis mehr als 50 % betragen kann.

3	Status der Entwicklungen

Die prinzipielle Machbarkeit von MT / CAT im Sinne einer Kostenreduktion und / oder Zeitersparnis gegenüber der HT ist inzwischen erwiesen. Die Einschränkung ‚prinzipiell‘ soll andeuten, dass die Aussage nur bei Erfüllung von Rahmenbedingungen wie ‚eingeschränktes Fachgebiet‘, ‚umfangreiches maschinelles Lexikon‘ und ‚relativ einfache Satzstrukturen‘ gilt. Für die Einsetzbarkeit der MT zur Herstellung eines der HT vergleichbaren endnutzungsfähigen Produkts, d. h. die unmittelbare Verwendung einer maschinellen Übersetzung über den einer halbwegs brauchbaren Verstehenshilfe hinaus, ist der Nachweis bislang nicht eindeutig geführt. 

Bei der HT konnte der Durchsatz, gemessen in Seiten pro Tag, bereits durch den Einsatz der Textverarbeitung um etwa ein Drittel (von ca. 7 - 8 Seiten auf 10 - 12 Seiten) gesteigert werden. CAT mit integrierter MT und einer Steigerung der Übersetzungsleistung auf etwa das Doppelte der HT mit vergleichbarer Qualität, d.h. auf 16 Seiten / Tag, ist heute (2003/4) nur auf wenige Sprachpaare und Sprachrichtungen – wenn auch die höherfrequenten – anwendbar, so dass ein global agierendes <S. 476> Unternehmen mit Lokalisierungsbedarf in vielen Ländern allenfalls nur in Teilen von der CAT-Funktion profitiert.

(Kostenlose) Rohübersetzungen im Internet (vgl. http://www.freetranslation.com/; http://www.worldlingo.com/; http://www.systransoft.com/) sind in der Regel als Werbung für kostenpflichtige Software anzusehen, die Nutzungsfähigkeit als ‚Informativübersetzung’ ist weitgehend umstritten. 

Als ein Highlight der Forschung zur Maschinellen Übersetzung in Deutschland hatte sich in den 90er Jahren des letzten Jahrhunderts das Projekt Verbmobil (vgl. Wahlster 2000) entwickelt. Ziel war die (prototypische) Übersetzung gesprochener Sprache in ausgesuchten (eingeschränkten) Welten. Die weitere Entwicklung in Anwendungsbereiche bleibt hier abzuwarten.

Durch Verbesserung der Rahmenbedingungen – weniger durch Verbesserung der Übersetzungsqualität – können die Einsatzfähigkeit und insbesondere die Akzeptanz eines MT-Systems im Rahmen der CAT noch deutlich gesteigert werden. Dazu gehören:

-	die automatische Erkennung von Fachgebieten (und deren Nutzung, etwa bei der Bedeutungsdifferenzierung),
-	die Verwendung nutzerseitiger (d. h. extern vorliegender) Glossare und deren Verwendung bzw. computergestützte Codierung ‘on the spot’ im Zusammenhang mit einer konkreten Übersetzung,
-	die kontextbasierte Erkennung und entsprechende Behandlung von Eigennamen und Abkürzungen,
-	die satzübergreifende und kontextbasierte Disambiguierung von Polysemen (durch Techniken, die nicht notwendig Bestandteil der ‚internen‘ MT-Maschine sind),
-	die automatische Rückkopplung von Posteditionen zur ‚automatischen‘ Verbesserung des terminologischen Inventars und der kontextbasierten Disambiguierungsverfahren.

Auch der Einsatz von MT ohne Nachbereitung kann von diesen Funktionen profitieren, so dass sich die Brauchbarkeit der Rohübersetzung als ‚Verstehenshilfe’ (Informativ-Übersetzung) verbessert und die Sinnhaftigkeit der Nutzung (etwa im Internet) wahrscheinlicher wird.

4	Zur betrieblichen Integration von MT

Ein wesentlicher Faktor bezüglich der Frage der Nutzung ist die Integration bzw. Integrierbarkeit von MT / CAT in den Produktions- und Vertriebsprozess von Produkten. Während man lange Zeit die Übersetzung (mit oder ohne Computer) sozusagen als einen Fremdkörper betrachtete, der im Entwicklungsprozess eher störte, hat die Dokumentation und mit ihr die Übersetzung einen deutlich höheren Stellenwert bekommen (man denke an den Bereich des „Technical Writing" bzw das Berufsbild des „Technischen Redakteurs"). In diesem Zusammenhang sucht man heute nach Lösungen, die es erlauben, ein MT System angemessen zu integrieren. Die Lieferanten und Produzenten von MT Lösungen haben dies inzwischen erkannt und ihr Produkt an die „Produktionsumgebung" entsprechend angepasst. Dazu gehören:

-	Die Anbindung an die verschiedensten Textformate auf den unterschiedlichsten Plattformen (sog. Filter). Tabellen oder Grafiken machen kaum mehr Probleme (es sei denn, die Textteile sind nicht zeichencodiert, sondern in Pixelform erfasst, auch die bei der Übersetzung erzeugten unterschiedlichen Textlängen können schon einmal ein Kästchen „sprengen"; es kommt auch zu Problemen, wenn der Autor aus technischen Gründen ein Wort „zerhackt" hat u.a.m.). Filter für gängige Formate wie PDF, FrameMaker, auch SGML, HTML oder neuerdings XML (in der Verbindung mit Internet-Applikationen) stehen vielfach bereits zur Verfügung.
-	Die Möglichkeit, nutzerseitig Wörter (z.B. Namen) oder Textteile (z.B. Zitate) durch entsprechende Markierungen vor der Übersetzung zu schützen; dies kann z.T. auch in Regeln und Tabellen festgehalten werden (sog. Pattern Matcher).
-	Die Einbeziehung elektronischer Glossare, die dem Nachredakteur (Übersetzer) zur Verfügung stehen, in die Posteditionsphase.

Schließlich soll nicht unerwähnt bleiben, dass die maschinelle Übersetzung heute noch sehr stark von der Qualität des zu übersetzenden Textes abhängt. Tippfehler und sonstige Oberflächen-Fehler (falsche Endungen usw.) führen bei den meisten Systemen zu Übersetzungsfehlern. Da am Markt inzwischen schon gute Verfahren zur Rechtschreibkontrolle und z.T. auch zur grammatikalischen <S. 477> Kontrolle verfügbar sind, ist eine solche Vorüberprüfung dringend zu empfehlen.

Die meisten Übersetzungssysteme sind also nicht besonders „robust" im Hinblick auf Tolerierung von Fehlern in der Dateneingabe. Die derzeitigen Entwicklungen gehen dementsprechend in diese Richtung, wobei es sich hier allerdings um Komponenten handelt, die zielspracheunabhängig sind und daher auch außerhalb der vorliegenden Thematik von Bedeutung sind.

Maschinelle Übersetzungssysteme bringen zudem bessere Ergebnisse, wenn die Texte / Sätze nicht zu komplex sind. Unternehmen (bzw Personen), die – unabhängig von der MT Anwendung – darauf achten, dass ihre Texte / Dokumentationen lesbar und verständlich sind, profitieren also besonders beim Einsatz von MT-Systemen. Dies gilt natürlich auch für den Einsatz „reduzierter" Sprache, allerdings ist dieses Konzept in der Regel keine prinzipielle Voraussetzung für die Anwendung. 

Dem Informations-Management im Betrieb kommt damit die Aufgabe zu, darüber zu entscheiden, wie die Integration der Übersetzung allgemein und die Verwendung von MT Systemen im Speziellen optimiert werden kann. Dabei stehen die meisten Unternehmen bzw. Organisationen vor einem zusätzlichen Problem: Die am Markt verfügbaren Übersetzungssysteme decken häufig nur einen Teilbereich an Sprachen ab, der in einem Unternehmen gebraucht wird. Die Vorstellung, dass praktisch von einer beliebigen Sprache aus alle (auch „gängigen") Zielsprachen (etwa des europäischen Marktes) mit MT erreicht werden, ist zumindest vorläufig nicht erfüllt. Dazu sind die erforderlichen Investitionen bei den Entwicklern zu hoch und die Märkte noch zu gering. 

Die breiteste Nutzung ist heute über eine Strategie zu erreichen, die sich zudem viele Unternehmen auch „ohne" die MT Problematik zu Eigen gemacht haben: die Benutzung von Englisch (amerikanischem Englisch) als Ausgangs- oder zumindest als Zwischensprache. MT-Systeme, die von anderen Sprachen nach Englisch und umgekehrt übersetzen, sind fast zu allen größeren Weltwirtschaftsbereichen verfügbar, etwa Deutsch-Englisch, Französisch-Englisch, Spanisch-Englisch, Italienisch-Englisch, Japanisch-Englisch (wenn auch nicht notwendig bei allen Anbietern). Es bietet sich also für einen deutschen Produzenten, der seinen Markt sowohl in englischsprachigen als auch in französischsprachigen Ländern hat, entweder an, seine Dokumentationen in Englisch als Quellsprache zu erstellen und dann nach Deutsch bzw. Französisch zu übersetzen (anschließend Postedition in beiden Sprachen), oder aber vom Deutschen ins Englische zu übersetzen, eine Postedition vorzunehmen und anschließend das postedierte Dokument ins Französische zu übersetzen und die Übersetzung zu postedieren (bei etwa gleichem Aufwand).

Aus Gründen der Akzeptanz erscheint es jedoch erforderlich, (heuristische) Funktionen zu entwickeln, die eine automatische Bewertung eines Textes mit Bezug zur erwarteten Übersetzungsqualität der Rohübersetzung erlauben, wobei entweder das Ergebnis dem Nutzer zur Entscheidung mitgeteilt wird oder aber ggf. auch zu einer automatischen ‚Verweigerung‘ einer MT führt.

5	Hilfswerkzeuge

Translation Memory (TM)

Ein wichtiges Hilfswerkzeug, das v.a. bei der Übersetzung von Texten / Dokumenten genutzt wird, bei denen sich bei Produktentwicklungen nicht alle Textteile völlig ändern (Beispiel: Wartungs- und Bedienungsanleitungen), ist das sog. Translation Memory. Hierbei wird vor Bereitstellung eines Textes oder Satzes zur maschinellen oder auch intellektuellen Übersetzung ein Segment elektronisch mit einem Speicher verglichen, der einmal übersetzte (und geprüfte oder korrigierte) Segmente (‚Sätze’) enthält. Dabei kann unterschieden werden zwischen einer völligen Übereinstimmung und teilweiser Übereinstimmung (sog. Fuzzy Matching). Beim Vergleich werden z.T mathematische Ähnlichkeitsverfahren benutzt. Unterscheiden sich das TM-Segment und das Textsegment (nur) in Datums- oder Preisangaben, Ortsnamen u.ä.m., so werden die Daten automatisch ‚angepasst’. Das Translation-Memory-Verfahren kann bei MT wie bei CAT verwendet werden, es kann also den Prozess der Humanübersetzung ebenso wie den der maschinellen Übersetzung flankieren.

Die Erstellung und Pflege eines TM erfolgt dadurch, dass Korpora von Quelltexten, zu denen (intellektuell kontrollierte) Übersetzungen vorliegen, zunächst parallelisiert werden, wobei kleinstmögliche Segmente gebildet werden (sog. Alignment). In der Regel entspricht zwar ein Satz einer Quellsprache auch einem Satz in der Zielsprache, doch kann z.B. ein quellsprachiger Satz in der Zielsprache durch zwei Sätze übersetzt worden sein usf.  <S. 478>

Terminologie-Banken / Elektronische Lexika

Hierbei handelt es sich um elektronische Vokabulare, die während der Übersetzung entweder vom menschlichen Übersetzer individuell angesprochen oder auch bei einer maschinellen Vorlage des Quelltexts automatisch (im Hintergrund) ‚nachgeschlagen’ werden. Es ist heute kaum mehr denkbar, dass ein Übersetzer ohne diese Hilfen arbeitet. 

Auch hier ist es vorstellbar, dass das Vokabular mit den Übersetzungen ‚wächst’, wobei es entweder intellektuell gepflegt wird oder in Verbindung mit einem TM-Verfahren zumindest halbautomatisch ergänzt wird. 

Codierhilfen zur Erweiterung des MT-Vokabulars

Ein MT-System benötigt eine Reihe von formalen Merkmalen, die in intellektuell genutzten Terminologien und Lexika nicht verzeichnet werden (müssen), da sie jeder Übersetzer (ja jeder Mensch) internalisiert hat und implizit – oft auch unbewusst – beim Verstehensprozess nutzt. Dies betrifft v.a. sprach-semantische Eigenschaften (aber auch ‚Weltwissen’), die (meistens) zur Vereindeutigung von ‚an sich’ mehrdeutigen Wörtern eines Textes / Satzes über den Kontext führen. Ein Beispiel für die Problematik soll hier zur Veranschaulichung genügen: DER GEFANGENE SINGT – DER WASSERKESSEL SINGT – DIE NACHTIGALL SINGT – DER KLEINE JUNGE SINGT. Bei Sprachen, bei denen sich daraus unterschiedliche lexikalische Übersetzungsäquivalente ergeben, müssen spezifische Merkmale (ggf. auch Phasen) für ein MT-System explizit verfügbar sein, um die Qualität der Übersetzung zu verbessern. Gerade die häufig fehlende lexikalische Aufbereitung ist mit ein Grund (nicht der einzige!) dafür, dass vollautomatische Verfahren noch eine so geringe Akzeptanz haben. Inzwischen verfügen jedoch die meisten MT-Systeme über Codierhilfen, die es erlauben, die Adaptionskosten an eine ‚Anwenderwelt’ zu reduzieren.

6	Darstellung eines modernen CAT-Verfahrens

Geht man von einer maschinellen Vorlage des Quelltextes aus (ggf. kann es heute sogar kostengünstig sein, dazu eine gedruckte Vorlage mit einem OCR-System in eine maschinen-verarbeitbare zeichencodierte Form zu überführen), so bietet sich für ein modernes CAT folgende Verfahrensweise an:

(1)	Der maschinenlesbare Quelltext wird mit einem Translation Memory System abgeglichen (wobei ein Schwellwert bzgl. der Übereinstimmungsgenauigkeit zugrundegelegt ist). Parallel dazu wird der gesamte Text über ein MT-System übersetzt, dessen Vokabular (Term-Bank) mit Hilfe eines semiautomatischen Codiersystems an das MT-System adaptiert wurde. Parallel dazu wird die Terminologie-Bank abgefragt und ein Glossar der möglichen Übersetzungen (nach Wahrscheinlichkeiten geordnet) erstellt.
(2)	Der Ergebnis-Bildschirm zeigt in einem Fenster den Originaltext, in einem weiteren das Resultat des TM-Abgleichs, kombiniert mit dem Ergebnis der maschinellen Übersetzung eines nicht über das TM identifizierten Segments. In einem dritten Fenster wird das Ergebnis des terminologisch-lexikalischen Abgleichs angezeigt.
(3)	Das Textbearbeitungswerkzeug des Übersetzers erlaubt eine beliebige Manipulation des Zieltextes (Postedition) inkl. der Übernahme lexikalischer Äquivalenten aus dem Glossar.
(4)	Das Übersetzungsergebnis wird nach einer Qualitätskontrolle genutzt, um das lexikalische Glossar wie das TM zu erweitern.

7	Vorstellbare kurzfristige Ziele (bis 2005-2010):

Die Entwicklungen sollten sich auf die Realisierung weiterer Sprachpaare als Quell- und Zielsprache konzentrieren, um (größeren) Unternehmen, die heute bereits ein MT-System im Sinne der letztendlichen Kostenreduktion von HT-Übersetzungen (gegenüber ‚reinen HT-Verfahren) ‚profitabel’ einsetzen (könn(t)en), eine größere Bandbreite an Lösungen zu bieten. Inwieweit dabei ein Redesign einer MT-Maschine einhergeht, etwa um linguistisch basierte Verfahren zu verbessern, müsste im Einzelfall entschieden werden.

Es ist eine größere Flexibilität in Bezug auf die Textsorten einzubringen, um die Robustheit gegenüber einem (i.S. des grammatischen Regelwerks einer natürlichen Sprache) ‚fehlerhaften‘ Input zu steigern (Einbindung einer automatischen Rechtschreibkorrektur, ggf. Verzicht auf die Satzstrukturierung unter Nutzung der – oft fehlerhaft gesetzten - Satzzeichen ...) <S. 479>

Das verfügbare lexikalische Inventar ist drastisch zu steigern, um in den gängigen Fachgebieten nicht zu große Lücken aufzuweisen.

8	Längerfristige Ziele (bis 2015-2020):

Die Verfahrensweise am Markt verfügbarer Übersetzungssysteme erlaubt es nach wie vor nicht, Übersetzungen der Qualität zu erreichen, wie man sie vom menschlichen Übersetzer beziehungsweise der „reinen" Humanübersetzung (HT) erwartet. Die MT hoher Qualität (HQMT) kommt ohne spezifische Maßnahmen der Textgestaltung im Vorfeld (Präedition), der Interaktion, d.h. während der Übersetzung, und / oder der Nachbereitung einer Maschinenübersetzung (Postedition) nicht aus, es sei denn, sie ist hochspezialisiert.

Es sind Standards zu schaffen, deren Beachtung aus Nutzersicht die Möglichkeit eröffnet, ohne größere technische Schwierigkeiten entweder von einem am Markt verfügbaren System zu einem anderen umzusteigen oder aber mehrere Systeme für Übersetzungen in unterschiedlichen Sprachen und / oder Textsorten zu benutzen.

Die Entwicklung von ICAT-Systemen (Interaktiv-Übersetzung von der jeweiligen Muttersprache in beliebige Zielsprachen) sollte es auch dem nicht geschulten Nutzer ermöglichen, qualitativ hinreichend gute Übersetzungen seines muttersprachlichen Textes in (eine) ihm nicht oder nicht hinreichend bekannte Fremdsprache(n) zu realisieren.

Die MT in Form einer Rohübersetzung für den Endnutzer (Informativübersetzung) erschließt einen großen (bisher nicht genutzten) Markt, dadurch dass hinreichend valide Übersetzungen zu extrem günstigen Preisen angeboten werden (etwa 1 $ pro Seite).

Erforderliche Schritte:

-	Stärkere Zusammenarbeit der ‚führenden‘ MT-Systemproduzenten mit dem Ziel, entsprechende Standards zu definieren (Open MT Systems).
-	Erhebliche Investitionen im lexikalischen Bereich.
-	Zügige Ausweitung des Inventars an verfügbaren Quell- und Zielsprachen. 

Wegen der erforderlichen Investitionen erscheint es sinnvoll, strategische Allianzen dergestalt anzugehen, dass im lexikalischen Bereich stärker kooperiert und bei der Ausweitung der Sprachen Prioritäten abgestimmt werden.

Erfolgswahrscheinlichkeit

Die maschinelle Übersetzung ist und bleibt ein wichtiges Desiderat in einer polyglotten Weltgesellschaft. Eine Entwicklung in Richtung auf die alleinige Anwendung einer Universalsprache wie Esperanto oder den alleinigen Gebrauch von Englisch würde der kulturellen Vielfalt nicht gerecht, die eben auch mit der jeweiligen Sprache verbunden ist. Auch wenn man aus kommunikativen Gründen das Konzept mitträgt, dass man neben seiner Muttersprache mindestens die Welt-Verkehrssprache Englisch beherrschen sollte, bleibt noch genügend Raum für die maschinelle Übersetzung, zumindest mit den Sprachrichtungen X -> Englisch und Englisch -> X. 

Zu wünschen ist nicht allein ein unternehmerischer Mut – den haben Personen wie Peter Toma, Jean Gachot oder Budd Scott genügend gezeigt –, sondern v.a. die Bereitschaft zu einer Art weltweiter Zusammenarbeit, auch im Wettbewerb, um die notwendigen Standards zu setzen, um die Transparenz der Systeme und Lösungen zu erhöhen, um das Vertrauen der Anwender zu stärken – und nicht zuletzt auch Kreativität, um aus den ausgefahrenen Gleisen etwas herauszukommen. Aufgaben, die jungen Wissenschaftlern und Ingenieuren ein weites Arbeitsfeld bieten.

Literatur:

Allein eine Recherche in INFODATA mit dem Thesaurus-Stichwort ‚Maschinelle Übersetzung’ brachte die Zahl von 994 Treffern (Stand Dezember 2003), so dass die nachfolgende Liste nur als eine kleine Auswahl zu verstehen ist:

01	Boitet, Ch. (2002): A Roadmap for MT. In: Computerlinguistik – Was geht, was kommt? (ed. G. Willée, B. Schröder, H.C. Schmitz, Sankt Augustin, S. 26 – 33.
02	Doug, A; Balkan, L.; Meijer, S.; Humphreys, L; Sadler, L. (1995): Machine Tranbslation. An Introductory Guide. http://www.essex.ac.uk/linguistics/clmt/MTbook/
03	Hutchins, W. J. (1986) : Machine Translation: Past, Present, Future. Chichester.
04	Hutchins, W  J.; Somers, H.L. (1992): An Introduction to Machine Translation. Chichester.
05	Hutchins, W. J. (2002): Machine Translation Today and Tomorrow. In: Computerlinguistik – Was geht, was kommt? (ed. G. Willée, B. Schröder, H.C. Schmitz, Sankt Augustin, S. 159 – 162. <S. 480>
06	Lehrberger, J.; Bourbeau, L. (1988): Machine Translation - Linguistic Characteristics of MT Systems and General Methodology of Evaluation. Amsterdam.
07	Luckhardt, H.-D.; Zimmermann, H.H. (1991): Computergestützte Maschinelle Übersetzung - Praktische Anwendungen und Angewandte Forschung. Saarbrücken.
08	Melby, A. (1995): Should I use MT?. 
	Draft 13.4.1995; http://humanities.byu.edu/trg/ mt4me.htm
09	Nagao, M. et al. (1982): An English-Japanese Machine Translation System of the Titles of Scientific and Engineering Papers. In: COLING 1982, Amsterdam.
10	Nagao, M. (1989): Machine Translation - How far can it go? Oxford.
11	Newton, J. (Ed., 1992): Computers in Translation; A Practical Appraisal. London: Routledge.
12	Nirenburg, S.; Somers H.A; Wilks, Y.A. (Ed., 2002): Readings in Machine Translation.
13	Rinsche, A. (1993): Evaluationsverfahren für maschinelle Übersetzungssysteme. Kommission der EG; Informationsmanagement. Bericht EUR 14766 DE.
14	Van Slype, G. (1982): Conception d'une méthodologie généale d'évaluation de la traduction automatique. Multilingua 1 - 4, S. 221 - 237.
15	Wahlster, W. (Ed., 2000):Verbmobil. Foundations of Speech-to-Speech Translations. Berlin.
16	Zimmermann, H. H.; Kroupa, E.; Luckhardt, H.-D. (1987).: STS - Das Saarbrücker Übersetzungssystem. Veröffentlichungen der Fachrichtung Informationswissenschaft. Saarbrücken.
17	Zimmermann, H. H. (1990): Linguistisch-technische Aspekte der maschinellen Übersetzung. In: Grundlagen der praktischen Information und Dokumentation (ed. Buder, M.; Rehfeld, W.; Seeger, Th.), München – London – New York – Paris (3., völlig neu bearbeitete Auflage), S. 264 – 274.
18	Zimmermann, H.H. (1997): Maschinelle Übersetzung. In: Grundlagen der praktischen Information und Dokumentation (ed. Buder, M.; Rehfeld; W; Seeger, Th.; Strauch, D.), München – New Providence – New York – Paris 1997 (4., völlig neu gefasste Auflage), S. 244 – 253.
19	Zimmermann, H.H. (2002): Stand und Perspektiven der Sprachtechnologie mit dem Beispiel der Maschinellen Übersetzung. In: Computerlinguistik – Was geht, was kommt? (ed. G. Willée, G.; Schröder, B.; Schmitz, H.C., Sankt Augustin, S. 287 – 294.