{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "11bb4456-5dc2-440c-9320-4af43e032aeb",
   "metadata": {},
   "source": [
    "# Hands-on Beispiel LLM (1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "47a74c0f-6038-4871-9038-df59a4be02a1",
   "metadata": {},
   "source": [
    "### 1. Baseline - Juristische Fragen an ein untrainiertes Modell (Lokale LLM)\n",
    "In diesem Abschnitt laden wir das Modell `dbmdz/german-gpt2` und stellen ihm zwei juristische Fragen zum AI Act.Da das Modell noch nicht mit AI Act-spezifischen Texten feingetunt wurde, sind die Antworten vermutlich unzureichend.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "8f0f45fe-361d-4965-a821-e69419fced67",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:09:49.892536Z",
     "iopub.status.busy": "2026-03-24T18:09:49.892247Z",
     "iopub.status.idle": "2026-03-24T18:09:49.895511Z",
     "shell.execute_reply": "2026-03-24T18:09:49.894860Z",
     "shell.execute_reply.started": "2026-03-24T18:09:49.892511Z"
    }
   },
   "outputs": [],
   "source": [
    "# falls noch nicht installiert \n",
    "\n",
    "import sys\n",
    "# !{sys.executable} -m pip install transformers datasets\n",
    "# !{sys.executable} -m pip install 'accelerate>=0.26.0'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "9f565816-f407-4a0b-9696-e4c3cbd55939",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:09:50.506661Z",
     "iopub.status.busy": "2026-03-24T18:09:50.506151Z",
     "iopub.status.idle": "2026-03-24T18:10:00.682920Z",
     "shell.execute_reply": "2026-03-24T18:10:00.682409Z",
     "shell.execute_reply.started": "2026-03-24T18:09:50.506608Z"
    }
   },
   "outputs": [],
   "source": [
    "# Importiere die benötigten Bibliotheken\n",
    "import torch\n",
    "from transformers import AutoTokenizer, AutoModelForCausalLM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "8813329a-0179-43bf-8187-aef811581782",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:10:00.683498Z",
     "iopub.status.busy": "2026-03-24T18:10:00.683294Z",
     "iopub.status.idle": "2026-03-24T18:10:03.691920Z",
     "shell.execute_reply": "2026-03-24T18:10:03.691373Z",
     "shell.execute_reply.started": "2026-03-24T18:10:00.683485Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ae9d28b31fba46428ad048a2d3dc3aeb",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Loading weights:   0%|          | 0/148 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\u001b[1mGPT2LMHeadModel LOAD REPORT\u001b[0m from: dbmdz/german-gpt2\n",
      "Key                                     | Status     |  | \n",
      "----------------------------------------+------------+--+-\n",
      "transformer.h.{0...11}.attn.masked_bias | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "# Lade das deutschsprachige Modell und den zugehörigen Tokenizer\n",
    "\n",
    "model_name = \"dbmdz/german-gpt2\" \n",
    "tokenizer = AutoTokenizer.from_pretrained(model_name)\n",
    "model = AutoModelForCausalLM.from_pretrained(model_name)\n",
    "model = model.bfloat16()\n",
    "\n",
    "# Konfiguriere pad_token_id im Modell \n",
    "# (braucht man, wenn das Modell noch nicht standardmäßig für den Umgang mit dem Padding-Token eingestellt ist)\n",
    "model.config.pad_token_id = tokenizer.eos_token_id\n",
    "model.generation_config.pad_token_id = tokenizer.pad_token_id\n",
    "model.eval()\n",
    "\n",
    "# Da GPT-2-Modelle oft keinen expliziten Padding-Token besitzen, setzen wir hier den EOS-Token als Padding-Token.\n",
    "tokenizer.pad_token = tokenizer.eos_token"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "7bdcce7c-a43c-4f25-ae2a-fb5a00ea6f35",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:10:12.040228Z",
     "iopub.status.busy": "2026-03-24T18:10:12.039561Z",
     "iopub.status.idle": "2026-03-24T18:10:12.044290Z",
     "shell.execute_reply": "2026-03-24T18:10:12.043459Z",
     "shell.execute_reply.started": "2026-03-24T18:10:12.040198Z"
    }
   },
   "outputs": [],
   "source": [
    "def ask_question(prompt):\n",
    "    # Tokenisiere den Input inklusive Attention-Maske\n",
    "    encoded = tokenizer(prompt, return_tensors=\"pt\")\n",
    "    input_ids = encoded[\"input_ids\"]\n",
    "    attention_mask = encoded[\"attention_mask\"]\n",
    "    \n",
    "    # Generiere eine Antwort unter Verwendung der Attention-Maske\n",
    "    output = model.generate(\n",
    "        input_ids,\n",
    "        attention_mask=attention_mask,\n",
    "        max_length=150,\n",
    "        temperature=0.7,\n",
    "        do_sample=True\n",
    "    )\n",
    "    generated_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
    "    return generated_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "5c644acf-e8b1-4193-9589-092d451dd6ed",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:10:15.549217Z",
     "iopub.status.busy": "2026-03-24T18:10:15.548904Z",
     "iopub.status.idle": "2026-03-24T18:10:15.552529Z",
     "shell.execute_reply": "2026-03-24T18:10:15.551642Z",
     "shell.execute_reply.started": "2026-03-24T18:10:15.549192Z"
    }
   },
   "outputs": [],
   "source": [
    "# Liste juristischer Fragen, bei denen Wissen aus dem AI Act abgefragt wird\n",
    "questions = [\n",
    "    \"Welche Anforderungen stellt der AI Act an Hochrisiko-KI-Systeme?\",\n",
    "    \"Was versteht man unter Transparenz gemäß dem AI Act?\"\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "d6e1504b-2075-4b1a-82c4-f8c760c83272",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2026-03-24T18:10:17.256125Z",
     "iopub.status.busy": "2026-03-24T18:10:17.255621Z",
     "iopub.status.idle": "2026-03-24T18:10:36.595106Z",
     "shell.execute_reply": "2026-03-24T18:10:36.594688Z",
     "shell.execute_reply.started": "2026-03-24T18:10:17.256081Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "=== llm-1: Untrainiertes Modell ===\n",
      "\n",
      "Frage: Welche Anforderungen stellt der AI Act an Hochrisiko-KI-Systeme?\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Antwort: Welche Anforderungen stellt der AI Act an Hochrisiko-KI-Systeme?\n",
      "Wie kann der AI Act zur Erreichung der Ziele des neuen AI Act beitragen?\n",
      "Wie können die AI-Anforderungen erfüllt werden, um die Sicherheit Ihres Unternehmens zu verbessern?\n",
      "Wie können Sie der Gefahr von IT-Angriffen vorbeugen?\n",
      "Wie kann ein Sicherheitsrisiko von Ihrem Unternehmen minimiert werden?\n",
      "Wie kann ein Sicherheitsprotokoll von Daten oder Systemen, die mit Sicherheitstechnologien arbeiten, die Integrität Ihres Unternehmens schützen?\n",
      "Wie kann Sicherheitsbewusstsein auf Ihre IT-Systeme und Unternehmen und die damit verbundenen Risiken gesenkt werden?\n",
      "Wie kann ein Sicherheits-Management von Ihrem Unternehmen einen Mehrwert für Ihre Organisation bieten?\n",
      "Wie kann ein Unternehmen ein Unternehmen in eine IT\n",
      "--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------\n",
      "Frage: Was versteht man unter Transparenz gemäß dem AI Act?\n",
      "\n",
      "Antwort: Was versteht man unter Transparenz gemäß dem AI Act?\n",
      "Worum geht es bei einer Befragung?\n",
      "Er hat mir gesagt, dass Sie sich bei einem Treffen mit dem CBI dafür interessieren, wie die Sache mit den Geldwäschebestimmungen aussieht.\n",
      "Ich habe keine Ahnung.\n",
      "Er ist ein brillanter Jurist, aber er hat einen guten Job.\n",
      "Und der wird auch Zeit brauchen.\n",
      "Wo zum Teufel ist das Geld?\n",
      "Die Leute haben es in bar bei sich...\n",
      "- Was ist mit denen?\n",
      "- Die gehen jeden Tag zu Geldwechseln.\n",
      "- Ich kenne sie nicht.\n",
      "- Sie sind die Einzigen, die es wissen.\n",
      "- Was wollen Sie damit sagen?\n",
      "- Was ich damit sage?\n",
      "--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "# Fragen stellen und Antworten ausgeben\n",
    "print(\"=== llm-1: Untrainiertes Modell ===\\n\")\n",
    "for q in questions:\n",
    "    print(\"Frage:\", q)\n",
    "    print() \n",
    "    answer = ask_question(q)\n",
    "    print(\"Antwort:\", answer)\n",
    "    print(\"-\" * 500)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.13.0"
  },
  "widgets": {
   "application/vnd.jupyter.widget-state+json": {
    "state": {
     "005588d7ea15497e9502ac6b1f3a7b11": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "HTMLStyleModel",
      "state": {
       "description_width": "",
       "font_size": null,
       "text_color": null
      }
     },
     "648799ec94624b2f9843ae978add1aff": {
      "model_module": "@jupyter-widgets/base",
      "model_module_version": "2.0.0",
      "model_name": "LayoutModel",
      "state": {}
     },
     "67188a2f444041f0b042b2db7c71272a": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "HTMLModel",
      "state": {
       "layout": "IPY_MODEL_648799ec94624b2f9843ae978add1aff",
       "style": "IPY_MODEL_005588d7ea15497e9502ac6b1f3a7b11",
       "value": " 148/148 [00:00&lt;00:00, 4579.07it/s]"
      }
     },
     "6dc8f6cca4e84819b08244aba3e41fee": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "FloatProgressModel",
      "state": {
       "bar_style": "success",
       "layout": "IPY_MODEL_bf8777ba518545da928bd0f40acf8e58",
       "max": 148,
       "style": "IPY_MODEL_dddd91a3635f4699ad70ed0b62463e5b",
       "value": 148
      }
     },
     "85900ae8920945a6944f04b7ecd06b62": {
      "model_module": "@jupyter-widgets/base",
      "model_module_version": "2.0.0",
      "model_name": "LayoutModel",
      "state": {}
     },
     "a5a2c8b442cb4908a37f6c80b239657f": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "HTMLStyleModel",
      "state": {
       "description_width": "",
       "font_size": null,
       "text_color": null
      }
     },
     "ae9d28b31fba46428ad048a2d3dc3aeb": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "HBoxModel",
      "state": {
       "children": [
        "IPY_MODEL_e7825b66f9504f36b32e18965fe3817c",
        "IPY_MODEL_6dc8f6cca4e84819b08244aba3e41fee",
        "IPY_MODEL_67188a2f444041f0b042b2db7c71272a"
       ],
       "layout": "IPY_MODEL_e2805e999589494f9f57d0fda4d34132"
      }
     },
     "bf8777ba518545da928bd0f40acf8e58": {
      "model_module": "@jupyter-widgets/base",
      "model_module_version": "2.0.0",
      "model_name": "LayoutModel",
      "state": {}
     },
     "dddd91a3635f4699ad70ed0b62463e5b": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "ProgressStyleModel",
      "state": {
       "description_width": ""
      }
     },
     "e2805e999589494f9f57d0fda4d34132": {
      "model_module": "@jupyter-widgets/base",
      "model_module_version": "2.0.0",
      "model_name": "LayoutModel",
      "state": {}
     },
     "e7825b66f9504f36b32e18965fe3817c": {
      "model_module": "@jupyter-widgets/controls",
      "model_module_version": "2.0.0",
      "model_name": "HTMLModel",
      "state": {
       "layout": "IPY_MODEL_85900ae8920945a6944f04b7ecd06b62",
       "style": "IPY_MODEL_a5a2c8b442cb4908a37f6c80b239657f",
       "value": "Loading weights: 100%"
      }
     }
    },
    "version_major": 2,
    "version_minor": 0
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}