From fa8acd41b8c33b27c1d51d8de316ae0c6a47840f Mon Sep 17 00:00:00 2001 From: flemming-it Date: Thu, 18 Jun 2026 11:39:29 +0200 Subject: [PATCH] docs: add standalone Methodik-Papier v0.1.0 for AG vorlage MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit METHODIK.md distils the methodological core of MACHBARKEITS- STUDIE.md §3 + §6 into a Beirats-ready, PDF-able document that stands on its own without Ch∆In implementation context. Structure follows the eight non-negotiable methodological decisions in the Studie: 1. Pflicht, nicht Gesetz, ist die Bewertungseinheit 2. 6-Schichten-Architektur (S1 Korpus, S2 Norm-Graph, S3 Pflicht-Extraktion, S4 Bewertung, S5 Roll-up & Attribution, S6 Heatmap-Output) 3. typisierter Norm-Graph mit Coupette-2021-Kanten-Schema 4. hybride Pflicht-Extraktion (regex + LLM, Cohen's κ ≥ 0,7) 5. Shapley-artige Attribution entlang Ketten 6. 4-Tier-Evidenz-Modell mit Regel-der-niedrigsten-Stufe 7. LLMs sind Mörtel, nicht Datenstein (RAG + Zitat-Pflicht) 8. Engpass-Variable h motiviert Verbands-Vorlauf Includes Vorbilder-Tabelle (Coupette, QuantGov, NKR, REFIT, RPC, ATR, Akoma Ntoso, LegalRuleML, ELI, Hohfeldian) und die methodische Selbstbeschränkungs-Liste. Versionierung: jede Methodik-Version markiert Altbewertungen re-bewerten — historischer Wert bleibt, fließt aber nicht in den aktuellen Heatmap-Stand ein, bis re-bewertet. Lizenz: Apache-2.0 (gleiche wie Repo). Signed-off-by: flemming-it --- METHODIK.md | 301 ++++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 301 insertions(+) create mode 100644 METHODIK.md diff --git a/METHODIK.md b/METHODIK.md new file mode 100644 index 0000000..6afb9a9 --- /dev/null +++ b/METHODIK.md @@ -0,0 +1,301 @@ +# Methodik-Papier — Pflicht-basierte Wirkungsanalyse von Rechtsnormen + +> Standalone-Auszug aus der Machbarkeitsstudie F∆I Law-Heatmap, +> destilliert für AG-Vorlage und Beirats-Konsultation. +> +> Version v0.1.0 · 2026-06 · Diskussionsgrundlage, AG-intern. + +--- + +## 1 Zusammenfassung + +Wir bauen ein System zur methodisch belastbaren, quellenverifizier­ +baren Bewertung des Nutzens und Schadens von Rechtsnormen. **Ein­ +zelne Pflichten**, nicht „Gesetze", sind die Bewertungseinheit. +Jede Bewertung trägt eine **Evidenzstufe** (T1–T4), eingebettet in +einen **typisierten Norm-Graph**, und durchläuft vor jeder Aus­ +gabe eine **juristische Letztverantwortungs-Freigabe**. + +Das Papier beschreibt die Methodik unabhängig von der konkreten +Implementierung und ist auf etablierten Verfahren (Standard­ +kostenmodell, EU Better Regulation Toolbox, Akoma Ntoso, +LegalRuleML, QuantGov / RegData, Coupette 2021) aufgebaut. +Wir erfinden nichts neu, was die methodische Standardliteratur +schon abdeckt — wir kombinieren bekannte Verfahren so, dass das +Ergebnis politisch wie wissenschaftlich verteidigbar ist. + +## 2 Was wir nicht tun + +Wir bewerten **nicht** „Gesetze" als ganze. + +„Bewerte das BImSchG" ist eine unbeantwortbare Frage, weil ein +Gesetz aus Dutzenden bis Hunderten heterogener Pflichten besteht, +deren Adressaten, Frequenzen, Sanktionen und Nutzen-Wirkungen +nichts miteinander zu tun haben müssen. Eine pauschale Schaden- +oder Nutzen-Zahl pro Gesetz ist methodisch leer. + +„Bewerte die Anzeigepflicht aus §4 BImSchG, die §10 i.V.m. der +4. BImSchV präzisiert wird, die ihrerseits Anhang I der EU-IED +2010/75 umsetzt" — *das* ist eine beantwortbare Frage, weil die +Pflicht atomar ist und ihre Herkunft im Norm-Graph sichtbar +bleibt. + +Daraus folgt: ein 6-Schichten-System, nicht ein „Bewertungs-Modul". + +## 3 Die 6-Schichten-Methodik + +| Schicht | Was sie liefert | Vorbild | +|:------|:--------|:-----| +| **S1** | Norm-Korpus, versioniert, in Akoma Ntoso-XML | OASIS LegalDocML | +| **S2** | typisierter Norm-Graph (`transposes`, `cites`, `concretizes`, …) | Coupette 2021 | +| **S3** | Pflicht-Extraktion (deontische Modalitäten) | Mercatus QuantGov | +| **S4** | Bewertung *pro Pflicht* (SKM + Nutzen + Frust) | NKR-Methodenleitfaden | +| **S5** | Roll-up & Attribution entlang Graph-Pfaden | Shapley-Verfahren | +| **S6** | Heatmap-Output + Reform-Vorschlag (pro Pflicht) | EU REFIT | + +Jede Schicht ist ein eigenständig prüfbarer Schritt. Eine Bewer­ +tung in S4 ist ohne Graph-Kontext aus S2 nicht ausstellbar; eine +Reform-Empfehlung aus S6 ist ohne Attribution aus S5 hohl +(Beispiel: die Empfehlung „Streichung der deutschen Norm §X" ist +nutzlos, wenn §X eine EU-Richtlinie umsetzt — der Hebel liegt in +Brüssel). + +### 3.1 S1 — Norm-Korpus + +- Format intern: **Akoma Ntoso 1.0** (OASIS-Standard, vom EU-Parlament + seit 2016 genutzt). Heterogene Quellen (BMJ-XML, + landesrecht-berlin HTML, EUR-Lex FORMEX) werden normalisiert. +- Kanonische IDs: **ELI** (europäisch), **CELEX** (EU-Dokumente). +- Versionierung: jede Fassung mit Inkrafttreten/Außerkrafttreten + und SHA-256 der Quelldatei. Der Hash erlaubt, jede Bewertung + rückwirkend gegen exakt die Bytes zu prüfen, die die Bewertung + zugrunde lagen. + +### 3.2 S2 — Norm-Graph + +Knoten sind Norm-Versionen (Gesetze, VO, Paragrafen, Artikel, +Anhänge, EU-Richtlinien, Verwaltungsvorschriften). Kanten sind +typisiert: + +| Kanten-Typ | Bedeutung | Beispiel | +|:------|:--------|:-----| +| `transposes` | DE-Recht setzt EU-Recht um | BDSG → DSGVO | +| `implements_via_vo` | Verordnungs-Ermächtigung | §10 BImSchG → 4. BImSchV | +| `concretizes` | VV konkretisiert Gesetz | AVV → BImSchG | +| `amends` | Änderungsgesetz | „Gesetz zur Änderung des …" | +| `cites` | Norm A verweist auf Norm B | „§ X i.V.m. § Y" | +| `delegates_to_land` | Bund → Land | Bauthemen | +| `delegates_to_kommune` | Land → Kommune | Berliner BezVG | +| `superseded_by` | Alte → neue Fassung | Historie | + +Vorbild: Coupette / Beckedorf / Hartung / Bommarito / Katz (2021), +*Measuring Law Over Time*. Das ist die einzige veröffentlichte +Graph-Analyse, die das gesamte deutsche Bundesrecht über 20 Jahre +abdeckt. + +### 3.3 S3 — Pflicht-Extraktion + +Eine Pflicht ist ein Tupel: + +``` +duty = ( + modality, // OBLIGATION | PROHIBITION | PERMISSION + addressee, // wer? (KMU | Bürger | Behörde | Branche) + trigger, // wann/woraus? (Bedingung) + action, // was tun? + frequency, // anlassbezogen | jährlich | monatlich | … + authority, // gegenüber welcher Stelle? + consequence, // Sanktion bei Nichterfüllung + source_norm, // welche Norm-Stelle? + derived_from[] // Graph-Pfad zur Ursprungs-Norm +) +``` + +Datenmodell folgt **LegalRuleML** (OASIS-Arbeitsgruppe), das auf +**Hohfeldian Analysis** und deontischer Logik aufbaut (~100 Jahre +juristisch-formaler Apparat für „wer schuldet wem was"). + +Extraktion ist **hybrid**: + +1. **Regelbasiert** — reguläre Ausdrücke für deutsche Modalitäts- + Muster (muss / hat zu / ist verpflichtet / darf nicht / + ist untersagt / kann). Veröffentlichte Pattern-Listen aus + Mercatus QuantGov / RegData. +2. **LLM-assistiert** für unklare Fälle. Jede LLM-extrahierte + Pflicht trägt `confidence < 1.0` und wird in S4 zur juristischen + Validierung vorgelegt. + +Freigabe-Schwelle: **Cohen's κ ≥ 0,7** zwischen zwei unabhängig +arbeitenden Juristen-Annotatoren. + +### 3.4 S4 — Bewertung pro Pflicht + +Pro Pflicht drei orthogonale Dimensionen: + +**Schaden (Bürokratiekosten):** +``` +SKM-€/Jahr = P × F × T × h +P = Fallzahl (Adressaten) +F = Frequenz (pro Jahr) +T = Tarif (€/Stunde) +h = Zeitaufwand (Stunden pro Fall) +``` +Standardkostenmodell — Methodik des Nationalen Normenkontrollrats, +in DE / NL / EU / OECD / UK identisch angewandt. + +**Nutzen (7-dimensional, 0–5):** + +Schutz · Markt · Rechtssicherheit · EU-Binnenmarkt · Sicherheit · +Umwelt · Einnahmen. + +Jede Dimension wird mit Quellen-Begründung vergeben, niemals +„aus dem Bauch". Inter-Rater-Reliability messen, κ-Schwelle wie S3. + +**Frust (qualitatives Komposit, 0–10):** + +Flesch-DE (Amstad-Adaption) + Verweistiefe + Akteurs-Pluralität + +Norm-Volatilität. **Nie als alleinige Bewertung**, immer neben SKM +und Nutzen, immer als T-markiertes Signal. + +### 3.5 S5 — Roll-up & Attribution + +Pflichten hängen in Ketten: EU-RL → Bundesgesetz → Bundesverord­ +nung → Landesrecht → Vollzugs-AVV. Eine SKM-€-Zahl in der unters­ +ten Stufe ist **nicht** allein dem dortigen Paragrafen anzulasten — +die Ursache kann oben in der Kette sitzen. + +Wir verwenden eine **Shapley-artige Aufteilung** des Bewertungs- +„Anteils" über alle Norm-Stellen im Pfad: die EU-Ursprungs-Richt­ +linie bekommt einen Anteil, die nationale Umsetzung einen, die +Verordnung einen, der konkrete Landes-Vollzug einen. + +Das verhindert sowohl Doppelzählung („dieselbe Pflicht wird auf +EU- und Landesebene voll angelastet") als auch hohle Reform-Vor­ +schläge („streiche §X" — wenn §X eine EU-Pflicht umsetzt, ändert +die Streichung nichts). + +### 3.6 S6 — Heatmap + Reform-Vorschlag + +Output zweidimensional, niemals ein Single-Score: + +- **X-Achse:** Schaden (€/Jahr, log-skaliert) +- **Y-Achse:** Nutzen (0–5) +- **Punktgröße:** Betroffenheit (Adressaten-Zahl) +- **Farbe / Markierung:** Tier-Niveau der schwächsten Eingangs- + Variable + +Reform-Vorschläge nicht pauschal „streichen", sondern typisiert: + +| Vorschlag-Typ | Wann sinnvoll | +|:------|:--------| +| **streichen** | Pflicht ohne EU-Bindung, niedrige Nutzen-Streuung | +| **befristen mit Evaluationsklausel** | Sunset-Klausel statt Abschaffung | +| **konsolidieren** | mehrere überlappende Pflichten zusammenführen | +| **vereinfachen** | Pflicht bleibt, Vollzug wird gestrafft | + +## 4 4-Tier-Evidenz-Modell + +Jede Zahl trägt die Stufe ihres **schwächsten** Bestandteils: + +| Tier | Bedeutung | Beispiele | +|:------|:--------|:-----| +| **T1** | amtlich / peer-reviewed | NKR-Datenbank, DESTATIS, ifo, ZEW, BMWK-Monitoring, SVR, IfM Bonn | +| **T2** | Verbands-Erhebung | DIHK Bürokratie-Index, IHK Berlin, ZDH, BDI Mittelstand, BVMW, HDE | +| **T3** | eigene strukturierte Erhebung | KMU-Befragung Phase 2/3 (DSGVO-anonymisiert) | +| **T4** | qualitatives Signal | Petitionsausschuss, openPetition, mein.berlin.de, Foren — nur Pain-Indikator, nie Magnitude | + +**Regel der niedrigsten Stufe:** ist *eine* Komponente einer +SKM-Zahl T4 (etwa eine grobe Schätzung von `h`), trägt die ganze +Zahl T4. Das verhindert, dass methodisch schwache Inputs in +einer Komposition als „belastbar" durchgehen. + +Politisch wesentlich: die Auswertung weist Tier am Punkt aus, nicht +versteckt im Anhang. Eine T4-markierte Zahl darf in einer AG-Folie +stehen, aber nur als „erstes Signal", nicht als Reform-Begründung. + +## 5 LLMs als Mörtel, nicht Datenstein + +LLMs sind in dieser Methodik **nicht** Quelle für Zahlen. + +Sie sind ausschließlich für drei Aufgaben zugelassen: + +1. **Extraktion** aus zitierbaren Quellen (Pflichten aus + Norm-Text, Bezüge aus Stellungnahmen). Output muss die + Norm-Stelle zitieren (RAG-Pflicht), sonst wird die + Behauptung verworfen. +2. **Klassifikation** (z. B. Modalitäts-Vorschlag bei unklarem + Pattern). Juristen-Approval obligatorisch. +3. **Synthese** (Vorschlags-Text-Entwürfe, Folien-Texte). Niemals + ohne menschliche Letzt-Verantwortung. + +Technische Begleitregeln: Temperature ≤ 0,1, Modell-Digest im +Audit-Log, gleicher Prompt-Hash → gleiches Modell → reproduzier­ +bares Ergebnis. Halluzinations-Test-Suite vor jedem Modell-Update, +pass-rate dokumentiert. + +## 6 Methodische Selbstbeschränkungen + +Was wir nicht tun, ist genauso wichtig wie was wir tun: + +- **Keine pauschalen Verdikte** „Gesetz X ist schädlich" +- **Kein Single-Score-Ranking** als alleinige Output-Form — + immer zweidimensional + Streuung +- **Keine LLM-Endbewertung ohne menschlichen Review** — der + LLM schlägt vor, ein Volljurist + Ökonom validieren +- **Keine ungestützten Schadens-Schätzungen** — jede €/h-Zahl + entweder aus offizieller Quelle oder aus methodisch transparenter + SKM-Rechnung, mit Unsicherheitsangabe +- **Keine personenbezogene Datenanalyse** — Crowd-Belastungs- + Meldungen ausschließlich pseudonym und DSGVO-anonymisiert + +## 7 Methodische Vorbilder im Überblick + +| Quelle | Beitrag | +|:------|:--------| +| Coupette / Katz / Bommarito (2021) | Graph-Schema deutsches Bundesrecht | +| Bommarito / Katz (2010) | Mathematik quantitativer Rechtsnetz-Analyse | +| Mercatus QuantGov / RegData | NLP-basiertes Zählen regulatorischer Pflichten | +| Nationaler Normenkontrollrat | SKM, Erfüllungsaufwand-Konzept, „One in, one out" | +| EU REFIT + Regulatory Scrutiny Board | „Fitness Checks"-Methodik | +| EU Better Regulation Guidelines + Toolbox | Cost-Benefit, MCDA | +| UK Regulatory Policy Committee | Unabhängige Letzt-Validierung | +| Niederlande ATR | SKM-Erfinder (1990er) | +| Akoma Ntoso 1.0 (OASIS) | XML-Format für Gesetzestexte | +| LegalRuleML (OASIS-AG) | RuleML mit deontischer Logik | +| ELI / CELEX | Kanonische URIs | +| Hohfeldian Analysis | Juristisch-formaler Apparat „wer schuldet wem was" | + +## 8 Methodik-Versionierung + +Diese Methodik trägt eine Version (v0.1.0). Ändert sich die +Methodik, müssen **alle Altbewertungen** mit „re-bewerten" markiert +werden — die alten Zahlen behalten ihren historischen Wert, fließen +aber nicht in den aktuellen Heatmap-Stand ein, bis sie nach neuer +Methodik überprüft sind. + +Jede Methodik-Version benötigt: + +1. Schriftliches Methodik-Papier (dieses Dokument). +2. Methodik-Beirats-Sitzung mit dokumentiertem Beschluss. +3. Rechtliche Kurz-Stellungnahme (EU AI Act, DSGVO, + Urheberrecht §5 UrhG). +4. Open-Source-Veröffentlichung der Implementierung unter + Apache 2.0. + +## 9 Nächste Schritte (außerhalb dieser Methodik-Sache) + +- **Methodik-Beirat** akquirieren (5–7 Personen, gemischt: + Wirtschaftsrecht, NKR-Background, IT-Recht, KMU-Vertreter, + Verbraucherschutz, Wissenschaft). +- **Korpus-Liste** „erste 5 Normen" beschließen. +- **Rechtliche Stellungnahme** zu EU AI Act / DSGVO / §5 UrhG + einholen. +- **Verbandskooperation** (IHK Berlin, DIHK, ZDH) für die + T3-Erhebungs-Pipeline anstoßen — politisch zeit­ + intensiv, deshalb früher Start. + +--- + +**Kontakt:** Dr. Stefan Flemming, F∆I (Flemming.AI), +chain@flemming.ai. Repository: `git.flemming.ai/fai/lawheatmap`. +Lizenz: Apache-2.0.