{"id":3081,"date":"2023-05-24T08:11:43","date_gmt":"2023-05-24T06:11:43","guid":{"rendered":"https:\/\/risc.web-email.at\/fachbeitrag-transformer-modelle-erobern-natural-language-processing\/"},"modified":"2025-07-02T13:15:05","modified_gmt":"2025-07-02T11:15:05","slug":"technical-article-transformer-models-conquer-natural-language-processing","status":"publish","type":"publication","link":"https:\/\/risc.web-email.at\/en\/technicalarticles\/technical-article-transformer-models-conquer-natural-language-processing\/","title":{"rendered":"Transformer models conquer Natural Language Processing"},"content":{"rendered":"\n<h2 class=\"wp-block-heading is-style-v2-telegrafico\">Wie Sie vortrainierte Modelle wie Google T5 optimal nutzen<\/h2>\n\n<h3 class=\"wp-block-heading\">von Sandra Wartner, MSc<\/h3>\n<div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<p><em><br \/>K\u00fcnstliche Intelligenz (KI) ist mittlerweile zum festen Bestandteil unseres Alltags geworden. T\u00e4glich sind wir mit zahlreichen Systemen in Kontakt, welche auf KI aufbauen \u2013 auch wenn wir uns dessen nicht immer bewusst sind. Auff\u00e4llig wird es jedoch dann, wenn Maschinen in unserer Sprache mit uns kommunizieren, wie das bei Sprachassistenten der Fall ist. Beim KI-getriebenen Verst\u00e4ndnis nat\u00fcrlicher Sprache konnten in den vergangenen Jahren erhebliche Fortschritte erreicht werden, unter anderem durch sogenannte Transformer-Modelle \u2013 darunter auch die von Google entwickelte T5-Architektur, welche in diesem Artikel vorgestellt wird.<\/em><br \/><br \/><\/p>\n\n\n\n<div style=\"height:100px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<div class=\"wp-block-media-text has-media-on-the-right is-stacked-on-mobile is-vertically-aligned-center\"><div class=\"wp-block-media-text__content\">\n<p><strong>Inhalt<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Was ist Google T5?<\/li>\n\n\n\n<li>Parlez-vouz fran\u00e7ais? Oui!<\/li>\n\n\n\n<li>Wie verwende ich T5 f\u00fcr meinen Use-Case?<\/li>\n\n\n\n<li>Fazit<\/li>\n\n\n\n<li>Referenzen<\/li>\n\n\n\n<li>Autorin<\/li>\n<\/ul>\n<\/div><figure class=\"wp-block-media-text__media\"><img decoding=\"async\" width=\"1024\" height=\"546\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-1024x546.jpg\" alt=\"NLP\" class=\"wp-image-1854 size-full\" srcset=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-1024x546.jpg 1024w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-300x160.jpg 300w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-768x409.jpg 768w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-1536x818.jpg 1536w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082.jpg 1920w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure><\/div>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<p>Das Feld der nat\u00fcrlichen Sprachverarbeitung (Natural Language Processing, kurz NLP) besch\u00e4ftigt sich mit dem Verst\u00e4ndnis nat\u00fcrlicher menschlicher Sprache. Einen Einstieg in das Thema bietet der Fachartikel\u00a0<a href=\"http:\/\/ris.w4.at\/fachbeitrag-natural-language-processing-1\" target=\"_blank\" rel=\"noreferrer noopener\">OK Google: Was ist Natural Language Processing?<\/a>.<\/p>\n\n\n\n<p>Da zum maschinellen Aufbau von Verst\u00e4ndnis f\u00fcr nat\u00fcrliche Sprache \u00fcberaus gro\u00dfe Mengen an Textdaten von mehreren Gigabyte n\u00f6tig sind (bspw. der gesamte Text aus Wikipedia), ist das Training von NLP-Systemen von Grund auf mit erheblichen Kosten (bis zu sechsstelligen Euro-Betr\u00e4gen oder mehr) und Zeitaufwand verbunden[1], bis eine akzeptable Qualit\u00e4t der Ergebnisse erreicht werden kann. Deswegen stellen zahlreiche Forscher*innen sowie auch Gro\u00dfunternehmen wie Google oder Facebook vortrainierte Sprachmodelle \u00f6ffentlich zur Verf\u00fcgung. Da diese sogenannten Basismodelle bereits ein grundlegendes Verst\u00e4ndnis f\u00fcr Sprache erlernt haben, k\u00f6nnen andere Forscher*innen auf diesen Modellen aufbauen und sie f\u00fcr ein konkretes Vorhaben anpassen, erweitern und wiederum mit der NLP-Community teilen.<\/p>\n\n\n\n<p>Dieses Konzept wird als<strong>\u00a0Transfer-Learning<\/strong>\u00a0bezeichnet. Hierbei werden Modelle mit riesigen Datenmengen darauf trainiert, ein allgemeines Verst\u00e4ndnis f\u00fcr grundlegende Konzepte (in diesem Fall nat\u00fcrlicher Sprache) zu erlangen, und anschlie\u00dfend mit spezielleren Daten darauf trainiert, eine konkrete Aufgabe zu erledigen. Dies erlaubt nicht nur die Wiederverwendung von Modellen, sondern verringert auch die Gr\u00f6\u00dfe der f\u00fcr eine konkrete Aufgabe ben\u00f6tigten Datenbasis.<\/p>\n\n\n\n<p>Wenn nur wenige Daten zur Verf\u00fcgung stehen, kann man auf\u00a0<strong>Zero-Shot-Learning<\/strong>\u00a0zur\u00fcckgreifen. Hierbei wird ein Modell dazu gebracht, eine Aufgabe zu erf\u00fcllen, auf welche es nicht explizit trainiert wurde. Nach diesem Prinzip arbeiten auch\u00a0<strong>One-Shot<\/strong>\u00a0und\u00a0<strong>Few-Shot<\/strong>\u00a0Modelle. Somit k\u00f6nnen Modelle mit keinen oder nur wenigen Daten auf eine bestimmte Aufgabe getrimmt werden. Leider ersparen diese Ans\u00e4tze das Sammeln von Trainingsdaten in sehr vielen F\u00e4llen nicht v\u00f6llig: erstens dienen diese Zero-Shot-Modelle oftmals nur als Prototypen bzw. Baseline-Modelle, da diese h\u00e4ufig nicht ausreichend gut generalisieren k\u00f6nnen (d.h. sinkende Qualit\u00e4t der Ergebnisse bei neuen, ungesehenen Daten) und sehr anf\u00e4llig f\u00fcr Fehler in den (Trainings-)Daten sind. Zweitens sind zus\u00e4tzlich Evaluierungsdaten n\u00f6tig, um die Qualit\u00e4t der Zero-Shot-Modelle \u00fcberhaupt erst quantifizieren zu k\u00f6nnen und eine Einsch\u00e4tzung f\u00fcr den durch ihren Einsatz erzielten Mehrwert getroffen werden kann.<\/p>\n\n\n\n<p>Einen der gr\u00f6\u00dften Durchbr\u00fcche der letzten Jahre im NLP-Bereich stellt die Entwicklung sogenannter\u00a0<strong>Transformer-Modelle<\/strong>\u00a0dar. Hierbei handelt es sich um eine besondere Architektur von neuronalen Netzen, welche sogenannte Attention-Mechanismen verwendet und die zuvor vorherrschenden rekurrenten neuronalen Netze (RNN) durch tiefe Feed-Forward-Netze ersetzt. Diese neuartige, 2017 entwickelte Architektur konnte die Schw\u00e4chen der Vorg\u00e4ngermodelle weitgehend ausmerzen. Sie erm\u00f6glicht u.a. ein (besseres) Verst\u00e4ndnis \u00fcber den Kontext bestimmter W\u00f6rter und erleichtert den performanten Umgang mit gr\u00f6\u00dferen Datenmengen. Das wohl bekannteste Beispiel einer Gruppe von Transformer-Modellen stellt BERT[2] (Bidirectional Encoder Representations from Transformers) dar. Die grundlegenden BERT-Modelle k\u00f6nnen um ma\u00dfgeschneiderte Erweiterungen erg\u00e4nzt werden, welche auf die gewollte Aufgabe (z.B. Klassifizierung von S\u00e4tzen auf negative, neutrale oder positive Stimmung) trainiert werden. Auf der BERT-Architektur basierende Systeme konnten seit der Publikation in 2018 in zahlreichen Aufgaben rekordbrechende Ergebnisse erzielen und sind mittlerweile fester Bestandteil der Google-Suche.<\/p>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-28f84493 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<h3 class=\"wp-block-heading\">Was ist Google T5?<\/h3>\n\n\n\n<p>Die von Google entwickelte T5-Architektur[3] (<strong>T<\/strong>ext-<strong>T<\/strong>o-<strong>T<\/strong>ext-<strong>T<\/strong>ransfer-<strong>T<\/strong>ransformer) funktioniert sehr \u00e4hnlich wie BERT, weist aber einige Unterschiede auf. Das namensgebende Text-To-Text-Prinzip bedeutet, dass bei T5-Modellen Ein- und Ausgabe aus reinen Textdaten bestehen. Dies erlaubt das Trainieren der T5-Modelle auf beliebige Aufgaben, ohne die Modellstruktur selbst auf diese Aufgabe anpassen zu m\u00fcssen. So kann jedes Problem, welches als Text-Eingabe zu Text-Ausgabe formulierbar ist, durch T5 bearbeitet werden. Dazu z\u00e4hlen beispielsweise Klassifizierung von Texten, Zusammenfassung eines langen Textes, oder die Beantwortung von Fragen \u00fcber den Inhalt eines Textes.<\/p>\n\n\n\n<p>Eine weitere Besonderheit der T5-Architektur ist die M\u00f6glichkeit, mit einem einzigen Modell mehrere unterschiedliche Aufgaben l\u00f6sen zu k\u00f6nnen, wie in Abbildung 1 dargestellt. So wurden die vortrainierten T5-Modelle bereits auf 17 verschiedenen Aufgaben trainiert. Darunter stellt vor allem die Aufgabe, Fragen zu einem gegebenen Text zu beantworten, eine besondere St\u00e4rke von T5 dar. Wird dem Modell der gesamte Wikipedia-Artikel zur Geschichte Frankreichs zur Verf\u00fcgung gestellt, so kann bspw. auf die Frage \u201eWer wurde 1643 K\u00f6nig von Frankreich?\u201c erfolgreich die richtige Antwort \u201eLudwig XIV\u201c zur\u00fcckgegeben werden.<\/p>\n\n\n\n<p>T5 konnte in unterschiedlichen Bereichen bereits beeindruckende Resultate erzielen, ist allerdings wie in allen Bereichen der k\u00fcnstlichen Intelligenz keine L\u00f6sung f\u00fcr jedes Problem (siehe auch\u00a0<a href=\"https:\/\/de.wikipedia.org\/wiki\/No-free-Lunch-Theoreme#Originalformulierung\" target=\"_blank\" rel=\"noreferrer noopener\">No-Free-Lunch-Theoreme)<\/a>. Ein g\u00e4ngiger Ansatz zur Bestimmung der besten L\u00f6sung eines Problems ist das Testen mehrerer Modellarchitekturen f\u00fcr eine Aufgabe mit anschlie\u00dfendem Vergleich derer Resultate.<\/p>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<figure class=\"wp-block-image size-full is-style-rounded\"><img decoding=\"async\" width=\"814\" height=\"281\" sizes=\"(max-width: 814px) 100vw, 814px\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-06-T5-NLP_Abbildung1.jpg\" alt=\"Several different task types\" class=\"wp-image-3073\" srcset=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-06-T5-NLP_Abbildung1.jpg 814w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-06-T5-NLP_Abbildung1-300x104.jpg 300w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-06-T5-NLP_Abbildung1-768x265.jpg 768w\" \/><\/figure>\n\n\n\n<p class=\"has-text-align-center\"><em>Abbildung 1: Mehrere verschiedene Aufgabentypen (z.B. \u00dcbersetzung, Bewertung der Sinnhaftigkeit, Vergleich des Inhalts zweier S\u00e4tze, Zusammenfassen) k\u00f6nnen mit nur einem T5-Modell bearbeitet werden. Diagramm nach [3].<\/em><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-28f84493 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\" style=\"flex-basis:66.66%\">\n<h3 class=\"wp-block-heading\">Parlez-vous fran\u00e7ais? Oui!<\/h3>\n\n\n\n<p>Eine Erweiterung der T5-Modelle stellen die mT5-Modelle[4] dar, welche auf riesigen Mengen von Texten in insgesamt 108 unterschiedlichen Sprachen (Stand 2022-01) trainiert wurden. Dies erlaubt es einem einzigen Modell Aufgaben in unterschiedlichen Sprachen zu l\u00f6sen. Hierbei ist allerdings auch ein deutlicher Unterschied in der Qualit\u00e4t der Resultate in unterschiedlichen Sprachen erkennbar \u2013 je weniger eine Sprache in den Trainingsdaten vorhanden ist, umso schlechter sind die darin erreichten Ergebnisse.<\/p>\n\n\n\n<p>Besonders n\u00fctzlich ist dabei auch, dass Sprachen, f\u00fcr die weniger Daten zur Verf\u00fcgung stehen, von den Trainingsdaten in anderen Sprachen profitieren k\u00f6nnen. Dies ist vor allem bei der Datenakquise hilfreich, da englischsprachige Texte oft in gr\u00f6\u00dferen Mengen verf\u00fcgbar sind als Texte in anderen Sprachen. Selbst wenn Aufgaben nur in einer Sprache gel\u00f6st werden sollen, k\u00f6nnen mT5-Modelle somit dennoch hilfreich sein, falls in der Zielsprache nicht gen\u00fcgend Trainingsdaten vorhanden sind. Die dabei erzielten Resultate sind zumeist allerdings eher schlechter als wenn mit einer \u00e4hnlichen Menge an Gesamtdaten nur auf der Zielsprache trainiert worden w\u00e4re.<\/p>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\" style=\"flex-basis:33.33%\">\n<figure class=\"wp-block-image size-large is-style-rounded\"><img decoding=\"async\" width=\"1024\" height=\"683\" sizes=\"(max-width: 1024px) 100vw, 1024px\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-1024x683.jpg\" alt=\"Transformer\" class=\"wp-image-3077\" srcset=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-1024x683.jpg 1024w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-300x200.jpg 300w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-768x512.jpg 768w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-1536x1024.jpg 1536w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1.jpg 1920w\" \/><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-28f84493 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<h3 class=\"wp-block-heading\">Wie verwende ich T5 f\u00fcr meinen Use-Case?<\/h3>\n\n\n\n<p>In einem ersten Schritt sollten einige allgemeine, wichtige Fragen \u00fcber den konkreten Use-Case gekl\u00e4rt werden:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>In welchen Sprachen ist das Problem zu l\u00f6sen?<\/li>\n\n\n\n<li>Woher stammen die f\u00fcr das Training n\u00f6tigen Daten? Sind diese f\u00fcr meinen Use-Case geeignet?<\/li>\n\n\n\n<li>Wie kann ich die Qualit\u00e4t des Modells \u00fcberpr\u00fcfen (sind Testdaten vorhanden)?<\/li>\n\n\n\n<li>Welche Ressourcen (Rechenleistung, Zeit, finanzielle Mittel etc.) stehen f\u00fcr ein Training bzw. Fine-Tuning zur Verf\u00fcgung?<\/li>\n\n\n\n<li>Welche Modelle sind f\u00fcr meinen Use-Case anwendbar?<\/li>\n\n\n\n<li>\u2026<\/li>\n<\/ul>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<figure class=\"wp-block-image size-full is-style-rounded\"><img decoding=\"async\" width=\"732\" height=\"502\" sizes=\"(max-width: 732px) 100vw, 732px\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-04-T5-NLP_Abbildung2.jpg\" alt=\"Pre-training and fine-tuning of T5 models\" class=\"wp-image-3075\" srcset=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-04-T5-NLP_Abbildung2.jpg 732w, https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-04-04-T5-NLP_Abbildung2-300x206.jpg 300w\" \/><\/figure>\n\n\n\n<p class=\"has-text-align-center\"><em>Abbildung 2: Pre-training und Fine-tuning von T5-Modellen.\u00a0Diagramm nach [5].<\/em><\/p>\n<\/div>\n<\/div>\n\n\n\n<p>F\u00fcr den potenziellen Einsatz von T5 muss zus\u00e4tzlich noch evaluiert werden, ob der Use-Case als Text-To-Text Aufgabe formuliert werden kann.<\/p>\n\n\n\n<p>Als n\u00e4chstes wird ein passendes, vortrainiertes T5-Modell gew\u00e4hlt. Eine der besten und bekanntesten Quellen daf\u00fcr ist die Plattform\u00a0<a href=\"https:\/\/huggingface.co\/\" target=\"_blank\" rel=\"noreferrer noopener\">Hugging Face<\/a>, welche eine Vielzahl an vortrainierten State-of-the-Art Modellen und auch Datens\u00e4tzen als open-source L\u00f6sungen f\u00fcr die \u00d6ffentlichkeit bereitstellt. Diese stehen h\u00e4ufig in unterschiedlichen Gr\u00f6\u00dfen zur Verf\u00fcgung, wobei eine Balance zwischen der ben\u00f6tigten Rechenleistung bzw. -zeit und der Qualit\u00e4t des Modells gefunden werden muss. Gr\u00f6\u00dfere Modelle bieten zwar im Allgemeinen bessere Resultate, stellen allerdings auch signifikant gr\u00f6\u00dfere Anforderungen an Ressourcen, weswegen nicht automatisch immer das gr\u00f6\u00dfte Modell die beste Wahl ist.<\/p>\n\n\n\n<p>Nun geht es ans sogenannte\u00a0<strong>Fine-tuning<\/strong>. Dabei wird das vortrainierte Modell (welches zu diesem Zeitpunkt bereits \u00fcber ein grundlegendes Verst\u00e4ndnis f\u00fcr Sprache verf\u00fcgt) darauf trainiert, eine konkrete Aufgabe wie in Abbildung 2 dargestellt zu l\u00f6sen. Hierf\u00fcr sind Trainingsdaten notwendig, welche dem Modell vorzeigen, welche Eingabe zu welcher Ausgabe f\u00fchren soll. Dabei ist nicht nur die Menge, sondern auch die Qualit\u00e4t der Daten von entscheidender Bedeutung.<\/p>\n\n\n\n<p>Herausforderungen sind unter anderem die Wahl des konkreten Basismodells, die Beschaffung und Qualit\u00e4tskontrolle der Trainingsdaten und das Aufbereiten der Daten in ein vom Modell lesbares Format. Zus\u00e4tzliche Schwierigkeiten kommen beispielsweise bei l\u00e4ngeren Textsequenzen hinzu, da Transformer-Modelle \u00fcber ein Limit bez\u00fcglich Textl\u00e4nge verf\u00fcgen.<\/p>\n\n\n\n<p>In der RISC Software GmbH wird der Einsatz von T5-Modellen seit l\u00e4ngerem erforscht. So konnte ein System zur Erkennung und Zuordnung von Eigennamen in Texten (Named Entity Recognition, kurz NER) durch T5 erweitert und verbessert werden. Hierzu kommt die bereits vortrainierte F\u00e4higkeit von T5, Fragen zu einem gegebenen Text zu beantworten, zum Einsatz. So kann das T5-Modell Fragen wie \u201eWelche Person ist betroffen?\u201c oder \u201eWelches Unternehmen ist involviert?\u201c beantworten und somit dem NER-System unter die Arme greifen.<\/p>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<h3 class=\"wp-block-heading\">Fazit<\/h3>\n\n\n\n<p>Die T5-Architektur eignet sich aufgrund ihres Designs f\u00fcr eine Vielzahl unterschiedlichster Aufgaben (oder Kombination dieser) und konnte bereits in zahlreichen Anwendungsgebieten beeindruckende Resultate liefern. Es bleibt weiterhin \u00e4u\u00dferst spannend, wie sich diese Technologien in der Zukunft weiterentwickeln werden und welche weiteren Erfolge erzielt werden k\u00f6nnen.<\/p>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<h3 class=\"wp-block-heading\">Referenzen<\/h3>\n\n\n\n<p>[1] Sharir, Or, Barak Peleg, and Yoav Shoham. \u201cThe cost of training nlp models: A concise overview.\u201d\u00a0<em>arXiv preprint arXiv:2004.08900<\/em>\u00a0(2020).<\/p>\n\n\n\n<p>[2]\u00a0Devlin, Jacob, et al. \u201cBert: Pre-training of deep bidirectional transformers for language understanding.\u201d\u00a0<em>arXiv preprint arXiv:1810.04805<\/em>\u00a0(2018).<\/p>\n\n\n\n<p>[3] Raffel, Colin, et al. \u201cExploring the limits of transfer learning with a unified text-to-text transformer.\u201d\u00a0<em>arXiv preprint arXiv:1910.10683<\/em>\u00a0(2019).<\/p>\n\n\n\n<p>[4] Xue, Linting, et al. \u201cmT5: A massively multilingual pre-trained text-to-text transformer.\u201d\u00a0<em>arXiv preprint arXiv:2010.11934<\/em>\u00a0(2020).<\/p>\n\n\n\n<p>[5] Adam Roberts and Colin Raffel. \u201cExploring Transfer Learning with T5: the Text-To-Text Transfer Transformer.\u201d\u00a0https:\/\/ai.googleblog.com\/2020\/02\/exploring-transfer-learning-with-t5.html<\/p>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-28f84493 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\" style=\"flex-basis:66.66%\">\n<h3 class=\"wp-block-heading\">Kontakt<\/h3>\n\n\n\n<div class=\"wp-block-contact-form-7-contact-form-selector\">\n<div class=\"wpcf7 no-js\" id=\"wpcf7-f663-o1\" lang=\"en-US\" dir=\"ltr\" data-wpcf7-id=\"663\">\n<div class=\"screen-reader-response\"><p role=\"status\" aria-live=\"polite\" aria-atomic=\"true\"><\/p> <ul><\/ul><\/div>\n<form action=\"\/en\/wp-json\/wp\/v2\/publication\/3081#wpcf7-f663-o1\" method=\"post\" class=\"wpcf7-form init\" aria-label=\"Contact form\" novalidate=\"novalidate\" data-status=\"init\">\n<fieldset class=\"hidden-fields-container\"><input type=\"hidden\" name=\"_wpcf7\" value=\"663\" \/><input type=\"hidden\" name=\"_wpcf7_version\" value=\"6.1.5\" \/><input type=\"hidden\" name=\"_wpcf7_locale\" value=\"en_US\" \/><input type=\"hidden\" name=\"_wpcf7_unit_tag\" value=\"wpcf7-f663-o1\" \/><input type=\"hidden\" name=\"_wpcf7_container_post\" value=\"0\" \/><input type=\"hidden\" name=\"_wpcf7_posted_data_hash\" value=\"\" \/>\n<\/fieldset>\n<div class=\"form-row\">\n\t<div class=\"form-input\">\n\t\t<p><label class=\"sr-only\" for=\"your-name\">Your name <\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-name\"><input size=\"40\" maxlength=\"400\" class=\"wpcf7-form-control wpcf7-text wpcf7-validates-as-required\" id=\"your-name\" aria-required=\"true\" aria-invalid=\"false\" placeholder=\"Name\" value=\"\" type=\"text\" name=\"your-name\" \/><\/span>\n\t\t<\/p>\n\t<\/div>\n\t<div class=\"form-input\">\n\t\t<p><label class=\"sr-only\" for=\"your-email\">Your email<\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-email\"><input size=\"40\" maxlength=\"400\" class=\"wpcf7-form-control wpcf7-email wpcf7-validates-as-required wpcf7-text wpcf7-validates-as-email\" id=\"your-email\" aria-required=\"true\" aria-invalid=\"false\" placeholder=\"E-Mail\" value=\"\" type=\"email\" name=\"your-email\" \/><\/span>\n\t\t<\/p>\n\t<\/div>\n<\/div>\n<div class=\"form-row\">\n\t<div class=\"form-input\">\n\t\t<p><label class=\"sr-only\" for=\"your-company\">Company <\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-company\"><input size=\"40\" maxlength=\"400\" class=\"wpcf7-form-control wpcf7-text\" id=\"your-company\" aria-invalid=\"false\" placeholder=\"Unternehmen\" value=\"\" type=\"text\" name=\"your-company\" \/><\/span>\n\t\t<\/p>\n\t<\/div>\n\t<div class=\"form-input\">\n\t\t<p><label class=\"sr-only\" for=\"your-position\">Position<\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-position\"><input size=\"40\" maxlength=\"400\" class=\"wpcf7-form-control wpcf7-text\" aria-invalid=\"false\" placeholder=\"Position\" value=\"\" type=\"text\" name=\"your-position\" \/><\/span>\n\t\t<\/p>\n\t<\/div>\n<\/div>\n<div class=\"form-row\">\n\t<div class=\"form-input\">\n\t\t<p><label class=\"sr-only\" for=\"your-subject\"> Subject <\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-subject\"><input size=\"40\" maxlength=\"400\" class=\"wpcf7-form-control wpcf7-text wpcf7-validates-as-required\" id=\"your-subject\" aria-required=\"true\" aria-invalid=\"false\" placeholder=\"Thema\" value=\"\" type=\"text\" name=\"your-subject\" \/><\/span>\n\t\t<\/p>\n\t<\/div>\n<\/div>\n<p><span id=\"wpcf7-69de274134067-wrapper\" class=\"wpcf7-form-control-wrap phone-95-wrap\" style=\"display:none !important; visibility:hidden !important;\"><label for=\"wpcf7-69de274134067-field\" class=\"hp-message\">Please leave this field empty.<\/label><input id=\"wpcf7-69de274134067-field\"  class=\"wpcf7-form-control wpcf7-text\" type=\"text\" name=\"phone-95\" value=\"\" size=\"40\" tabindex=\"-1\" autocomplete=\"new-password\" \/><\/span><br \/>\n<label class=\"sr-only\" for=\"your-message\"> Your message (optional)<\/label><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"your-message\"><textarea cols=\"40\" rows=\"10\" maxlength=\"2000\" class=\"wpcf7-form-control wpcf7-textarea\" id=\"your-message\" aria-invalid=\"false\" placeholder=\"Ihre Nachricht an uns\" name=\"your-message\"><\/textarea><\/span><br \/>\n<span class=\"wpcf7-form-control-wrap\" data-name=\"hcap-cf7\">\t\t<input\n\t\t\t\ttype=\"hidden\"\n\t\t\t\tclass=\"hcaptcha-widget-id\"\n\t\t\t\tname=\"hcaptcha-widget-id\"\n\t\t\t\tvalue=\"eyJzb3VyY2UiOlsiY29udGFjdC1mb3JtLTdcL3dwLWNvbnRhY3QtZm9ybS03LnBocCJdLCJmb3JtX2lkIjo0MzZ9-c5ba05e011699d70dda36bf3838d9e02\">\n\t\t\t\t<span id=\"hcap_cf7-69de2741346452.65354676\" class=\"wpcf7-form-control h-captcha \"\n\t\t\tdata-sitekey=\"3a6a81c1-2b2e-4b2a-b1eb-d9446bc09afb\"\n\t\t\tdata-theme=\"light\"\n\t\t\tdata-size=\"normal\"\n\t\t\tdata-auto=\"false\"\n\t\t\tdata-ajax=\"false\"\n\t\t\tdata-force=\"false\">\n\t\t<\/span>\n\t\t<input type=\"hidden\" id=\"_wpnonce\" name=\"_wpnonce\" value=\"83fc09d92f\" \/><input type=\"hidden\" name=\"_wp_http_referer\" value=\"\/en\/wp-json\/wp\/v2\/publication\/3081\" \/><\/span><input class=\"wpcf7-form-control wpcf7-submit has-spinner btn\" type=\"submit\" value=\"Senden\" \/>\n<\/p><div class=\"wpcf7-response-output\" aria-hidden=\"true\"><\/div>\n<\/form>\n<\/div>\n<\/div>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\" style=\"flex-basis:33.33%\">\n<h3 class=\"wp-block-heading\">Autorin<\/h3>\n\n\n<div class=\"contact-person\">\n      <picture>\n      \n      \n      \n      \n      <img decoding=\"async\" data-aos=\"fade-zoom-in\"\n           data-aos-offset=\"0\" class=\"w-full\" width=\"212\" height=\"293\"\n           src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/swartner1-removebg-preview.png\"\n           alt=\"\">\n    <\/picture>\n    \n\n<h5 class=\"wp-block-heading\">Sandra Wartner, MSc<\/h5>\n\n\n\n<p>Data Scientist<\/p>\n\n  <\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div><div class=\"wp-block-group-container alignfull \">\n<div class=\"wp-block-group alignwide is-layout-constrained wp-block-group-is-layout-constrained\"><div class=\"posts-slider-block\" data-aos=\"fade-up\" data-aos-offset=\"0\" data-aos-anchor-placement=\"top-bottom\">\n        <section class=\"splide posts-slider\" aria-label=\"Gallery Slides\">\n            <div class=\"splide__arrows\">\n                <button class=\"splide__arrow splide__arrow--prev\">\n                    <span class=\"sr-only\">Previous<\/span>\n                    <img decoding=\"async\" loading=\"lazy\" width=\"25\" height=\"21\" src=\"https:\/\/risc.web-email.at\/app\/themes\/risc-theme\/public\/images\/icon-arrow.35d2ec.svg\"\n                         alt=\"Previous\">\n                <\/button>\n                <button class=\"splide__arrow splide__arrow--next\">\n                    <span class=\"sr-only\">Next<\/span>\n                    <img decoding=\"async\" loading=\"lazy\" width=\"25\" height=\"21\" src=\"https:\/\/risc.web-email.at\/app\/themes\/risc-theme\/public\/images\/icon-arrow.35d2ec.svg\"\n                         alt=\"Next\">\n                <\/button>\n            <\/div>\n            <div class=\"inner\">\n                <div class=\"splide__track\">\n                    <div class=\"splide__list\">\n\n                                                    <a href=\"https:\/\/risc.web-email.at\/en\/technicalarticles\/technical-article-natural-language-processing-1\/\" class=\"splide__slide blog-post-teaser mb-1 lg:mb-3\">\n                                <div class=\"blog-image\">\n                                                                                                                                <picture>\n                                                                                        <img decoding=\"async\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_1348453082-360x214.jpg\"\n                                                 alt=\"\u201cOK Google: What is Natural Language Processing?\u201d\">\n                                        <\/picture>\n                                                                    <\/div>\n                                <div class=\"blog-content px-2 py-3 xl:px-4 xl:py-5\">\n                                    <h3>\u201cOK Google: What is Natural Language Processing?\u201d<\/h3>\n                                    <div class=\"blog-post-excerpt mt-2\">\n                                        Natural Language Processing makes it possible to read, decode and understand human language by machine. Speech assistants, spelling correctors, email spam filters &#8211; NLP as a technology is omnipresent and already hides behind many processes and software applications deeply embedded in our everyday lives.\n                                    <\/div>\n                                    <span class=\"inline-block mt-2 more\">mehr erfahren <span class=\"ml-1 icon-more\"><\/span><\/span>\n\n                                <\/div>\n                            <\/a>\n                                                    <a href=\"https:\/\/risc.web-email.at\/en\/technicalarticles\/technical-article-natural-language-processing-3\/\" class=\"splide__slide blog-post-teaser mb-1 lg:mb-3\">\n                                <div class=\"blog-image\">\n                                                                                                                                <picture>\n                                                                                        <img decoding=\"async\" src=\"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/2022-11-30-NLU-360x214.jpg\"\n                                                 alt=\"With Natural Language Understanding (NLU) from text chaos to knowledge gain\">\n                                        <\/picture>\n                                                                    <\/div>\n                                <div class=\"blog-content px-2 py-3 xl:px-4 xl:py-5\">\n                                    <h3>With Natural Language Understanding (NLU) from text chaos to knowledge gain<\/h3>\n                                    <div class=\"blog-post-excerpt mt-2\">\n                                        Regardless of whether fault messages in manufacturing processes are to be analyzed, doctor&#039;s letters are to be filed in a structured manner, or products are to be suggested automatically, Natural Language Understanding (NLU) offers a broad spectrum of industry-specific and cross-industry applications for gaining knowledge from unstructured text data.\n                                    <\/div>\n                                    <span class=\"inline-block mt-2 more\">mehr erfahren <span class=\"ml-1 icon-more\"><\/span><\/span>\n\n                                <\/div>\n                            <\/a>\n                                            <\/div>\n                <\/div>\n            <\/div>\n        <\/section>\n    <\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>Progress in the field of Natural Language Processing is rapid and seems unstoppable. Between terms like Transformer, Transfer-Learning, BERT and T5 it is not always easy to keep up with the times.<\/p>\n","protected":false},"featured_media":3078,"template":"","publication-category":[50],"class_list":["post-3081","publication","type-publication","status-publish","has-post-thumbnail","hentry","publication-category-data-science-and-a-i"],"acf":[],"portrait_thumb_url":"https:\/\/risc.web-email.at\/app\/uploads\/2023\/06\/shutterstock_2066538857-1-360x214.jpg","_links":{"self":[{"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/publication\/3081","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/publication"}],"about":[{"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/types\/publication"}],"version-history":[{"count":15,"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/publication\/3081\/revisions"}],"predecessor-version":[{"id":34110,"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/publication\/3081\/revisions\/34110"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/media\/3078"}],"wp:attachment":[{"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/media?parent=3081"}],"wp:term":[{"taxonomy":"publication-category","embeddable":true,"href":"https:\/\/risc.web-email.at\/en\/wp-json\/wp\/v2\/publication-category?post=3081"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}