In diesem kurzem Blog Artikel soll es darum gehen wie man Parameter Pipeline übergreifend nutzen kann.
Vorweg das ganze kann 1zu1 auch in der Data Factory umgesetzt werden.
Zu nächst einmal was brauchen wir dafür. In meinem Szenario habe ich mir einen Synapse Workspace erstellt mit dem entsprechenden ADLSv2 Storage Account der beim deployen des Workspaces automatich mit erstellt wird.
Bevor ich mich in den Synapse Workspace einlogge habe ich noch eine .“txt“ Datei erstellt in der ich der mehrere Token speichere. Diese werde ich dann als Array in die nächste Pipeline übergeben und in einer Variable speichern. Diese lade ich in den ADLSv2 Storage Account hoch.
Konfiguration der Synapse Pipelines
Im ersten Schritt erstellen wir uns die Start Pipeline in dem wir auf „Integrate“ und dann über das „+“ die Pipeline erstellen. In meinem Fall benenne ich die Pipeline „Start Pipeline“.
Wie im nächsten Screenshot zu sehen ziehe ich eine „Lookup“ und eine „Execute Pipeline“ Aktivität in das Fenster. Anschließend verbinde ich diese miteinander. Um den Beispiel folgen zu können die Lookup Aktivität so benennen wie im Screenshot zu sehen. Das Source Dataset zielt auf den Storage Account des Worspaces. Der zweite Screenshot zeigt die Konfiguration.
Als nächstes erstelle ich eine zweite Pipeline mit dem Namen „Parameter Pipeline“. Und auch hier ziehe ich eine Aktivität in das Fenster. In meinem Beispiel um ein Ergebnis präsentieren zu können nutze ich hier eine „Set-Variable“.
Weiter muss in der Pipeline ein Parameter erstellt werden den ich hier „Access Token“ nenne. Der Typ sollte Array sein, da mehrere Ergebnisse aus der „Start Pipeline“ übergeben werden. Im nächsten Schritt wechsle ich zum Reiter „Variables“ und erstelle eine Variable mit dem Namen „TokenVariable“ vom Typ Array (Nächster Screenshot).
Sollte ich es bis hier hin geschafft haben, konfiguriere ich die Variable noch unter dem Reiter „Settings“.
Wieder zurück in der „Start Pipeline“ konfiguriere ich nun die „Execute Pipeline“.
Als „Invoked Pipeline“ stelle ich „Parameter Pipeline“ ein. Anschließend wird unter „3“ der Parameter angezeigt. Im darauffolgenden Screenshot muss der Ausdruck auf den Output von der vorherigen Aktivität eingestellt werden.
Hier der Ausdruck als Beispiel:
Jetzt endlich können wir die Pipeline testen um zu sehen ob unser Ergebnis an die zweite Pipeline übergeben und ob die Variable gefüllt wird.
Zum Testen einfach unter der „Start Pipeline“ den „Debug“ Button anklicken und dann im Workspace zum Monitor Tab wechseln. Dort auf „Debug“. Dann auf die „Parameter Pipeline“. Im rechten Screenshot dann zu sehen das unser Ergebnis stimmt.
FAZIT
Wie man sieht ist es relativ leicht einen Parameter von einer in die nächste Pipeline zu übergeben. Dieses Vorgehen ist tatsächlich sehr häufig der Fall um, übersichtlichkeit zu gewährleisten.
Bei Fragen und Anmerkungen lasst gerne einen Kommentar da oder kontaktiert mich einfach über das Kontakformular.