flemming-it
fa8acd41b8
METHODIK.md distils the methodological core of MACHBARKEITS-
STUDIE.md §3 + §6 into a Beirats-ready, PDF-able document that
stands on its own without Ch∆In implementation context.
Structure follows the eight non-negotiable methodological
decisions in the Studie:
1. Pflicht, nicht Gesetz, ist die Bewertungseinheit
2. 6-Schichten-Architektur (S1 Korpus, S2 Norm-Graph,
S3 Pflicht-Extraktion, S4 Bewertung, S5 Roll-up &
Attribution, S6 Heatmap-Output)
3. typisierter Norm-Graph mit Coupette-2021-Kanten-Schema
4. hybride Pflicht-Extraktion (regex + LLM, Cohen's κ ≥ 0,7)
5. Shapley-artige Attribution entlang Ketten
6. 4-Tier-Evidenz-Modell mit Regel-der-niedrigsten-Stufe
7. LLMs sind Mörtel, nicht Datenstein (RAG + Zitat-Pflicht)
8. Engpass-Variable h motiviert Verbands-Vorlauf
Includes Vorbilder-Tabelle (Coupette, QuantGov, NKR, REFIT,
RPC, ATR, Akoma Ntoso, LegalRuleML, ELI, Hohfeldian) und die
methodische Selbstbeschränkungs-Liste.
Versionierung: jede Methodik-Version markiert Altbewertungen
re-bewerten — historischer Wert bleibt, fließt aber nicht in
den aktuellen Heatmap-Stand ein, bis re-bewertet.
Lizenz: Apache-2.0 (gleiche wie Repo).
Signed-off-by: flemming-it <sf@flemming.it>
301 lines
12 KiB
Markdown
301 lines
12 KiB
Markdown
# Methodik-Papier — Pflicht-basierte Wirkungsanalyse von Rechtsnormen
|
||
|
||
> Standalone-Auszug aus der Machbarkeitsstudie F∆I Law-Heatmap,
|
||
> destilliert für AG-Vorlage und Beirats-Konsultation.
|
||
>
|
||
> Version v0.1.0 · 2026-06 · Diskussionsgrundlage, AG-intern.
|
||
|
||
---
|
||
|
||
## 1 Zusammenfassung
|
||
|
||
Wir bauen ein System zur methodisch belastbaren, quellenverifizier
|
||
baren Bewertung des Nutzens und Schadens von Rechtsnormen. **Ein
|
||
zelne Pflichten**, nicht „Gesetze", sind die Bewertungseinheit.
|
||
Jede Bewertung trägt eine **Evidenzstufe** (T1–T4), eingebettet in
|
||
einen **typisierten Norm-Graph**, und durchläuft vor jeder Aus
|
||
gabe eine **juristische Letztverantwortungs-Freigabe**.
|
||
|
||
Das Papier beschreibt die Methodik unabhängig von der konkreten
|
||
Implementierung und ist auf etablierten Verfahren (Standard
|
||
kostenmodell, EU Better Regulation Toolbox, Akoma Ntoso,
|
||
LegalRuleML, QuantGov / RegData, Coupette 2021) aufgebaut.
|
||
Wir erfinden nichts neu, was die methodische Standardliteratur
|
||
schon abdeckt — wir kombinieren bekannte Verfahren so, dass das
|
||
Ergebnis politisch wie wissenschaftlich verteidigbar ist.
|
||
|
||
## 2 Was wir nicht tun
|
||
|
||
Wir bewerten **nicht** „Gesetze" als ganze.
|
||
|
||
„Bewerte das BImSchG" ist eine unbeantwortbare Frage, weil ein
|
||
Gesetz aus Dutzenden bis Hunderten heterogener Pflichten besteht,
|
||
deren Adressaten, Frequenzen, Sanktionen und Nutzen-Wirkungen
|
||
nichts miteinander zu tun haben müssen. Eine pauschale Schaden-
|
||
oder Nutzen-Zahl pro Gesetz ist methodisch leer.
|
||
|
||
„Bewerte die Anzeigepflicht aus §4 BImSchG, die §10 i.V.m. der
|
||
4. BImSchV präzisiert wird, die ihrerseits Anhang I der EU-IED
|
||
2010/75 umsetzt" — *das* ist eine beantwortbare Frage, weil die
|
||
Pflicht atomar ist und ihre Herkunft im Norm-Graph sichtbar
|
||
bleibt.
|
||
|
||
Daraus folgt: ein 6-Schichten-System, nicht ein „Bewertungs-Modul".
|
||
|
||
## 3 Die 6-Schichten-Methodik
|
||
|
||
| Schicht | Was sie liefert | Vorbild |
|
||
|:------|:--------|:-----|
|
||
| **S1** | Norm-Korpus, versioniert, in Akoma Ntoso-XML | OASIS LegalDocML |
|
||
| **S2** | typisierter Norm-Graph (`transposes`, `cites`, `concretizes`, …) | Coupette 2021 |
|
||
| **S3** | Pflicht-Extraktion (deontische Modalitäten) | Mercatus QuantGov |
|
||
| **S4** | Bewertung *pro Pflicht* (SKM + Nutzen + Frust) | NKR-Methodenleitfaden |
|
||
| **S5** | Roll-up & Attribution entlang Graph-Pfaden | Shapley-Verfahren |
|
||
| **S6** | Heatmap-Output + Reform-Vorschlag (pro Pflicht) | EU REFIT |
|
||
|
||
Jede Schicht ist ein eigenständig prüfbarer Schritt. Eine Bewer
|
||
tung in S4 ist ohne Graph-Kontext aus S2 nicht ausstellbar; eine
|
||
Reform-Empfehlung aus S6 ist ohne Attribution aus S5 hohl
|
||
(Beispiel: die Empfehlung „Streichung der deutschen Norm §X" ist
|
||
nutzlos, wenn §X eine EU-Richtlinie umsetzt — der Hebel liegt in
|
||
Brüssel).
|
||
|
||
### 3.1 S1 — Norm-Korpus
|
||
|
||
- Format intern: **Akoma Ntoso 1.0** (OASIS-Standard, vom EU-Parlament
|
||
seit 2016 genutzt). Heterogene Quellen (BMJ-XML,
|
||
landesrecht-berlin HTML, EUR-Lex FORMEX) werden normalisiert.
|
||
- Kanonische IDs: **ELI** (europäisch), **CELEX** (EU-Dokumente).
|
||
- Versionierung: jede Fassung mit Inkrafttreten/Außerkrafttreten
|
||
und SHA-256 der Quelldatei. Der Hash erlaubt, jede Bewertung
|
||
rückwirkend gegen exakt die Bytes zu prüfen, die die Bewertung
|
||
zugrunde lagen.
|
||
|
||
### 3.2 S2 — Norm-Graph
|
||
|
||
Knoten sind Norm-Versionen (Gesetze, VO, Paragrafen, Artikel,
|
||
Anhänge, EU-Richtlinien, Verwaltungsvorschriften). Kanten sind
|
||
typisiert:
|
||
|
||
| Kanten-Typ | Bedeutung | Beispiel |
|
||
|:------|:--------|:-----|
|
||
| `transposes` | DE-Recht setzt EU-Recht um | BDSG → DSGVO |
|
||
| `implements_via_vo` | Verordnungs-Ermächtigung | §10 BImSchG → 4. BImSchV |
|
||
| `concretizes` | VV konkretisiert Gesetz | AVV → BImSchG |
|
||
| `amends` | Änderungsgesetz | „Gesetz zur Änderung des …" |
|
||
| `cites` | Norm A verweist auf Norm B | „§ X i.V.m. § Y" |
|
||
| `delegates_to_land` | Bund → Land | Bauthemen |
|
||
| `delegates_to_kommune` | Land → Kommune | Berliner BezVG |
|
||
| `superseded_by` | Alte → neue Fassung | Historie |
|
||
|
||
Vorbild: Coupette / Beckedorf / Hartung / Bommarito / Katz (2021),
|
||
*Measuring Law Over Time*. Das ist die einzige veröffentlichte
|
||
Graph-Analyse, die das gesamte deutsche Bundesrecht über 20 Jahre
|
||
abdeckt.
|
||
|
||
### 3.3 S3 — Pflicht-Extraktion
|
||
|
||
Eine Pflicht ist ein Tupel:
|
||
|
||
```
|
||
duty = (
|
||
modality, // OBLIGATION | PROHIBITION | PERMISSION
|
||
addressee, // wer? (KMU | Bürger | Behörde | Branche)
|
||
trigger, // wann/woraus? (Bedingung)
|
||
action, // was tun?
|
||
frequency, // anlassbezogen | jährlich | monatlich | …
|
||
authority, // gegenüber welcher Stelle?
|
||
consequence, // Sanktion bei Nichterfüllung
|
||
source_norm, // welche Norm-Stelle?
|
||
derived_from[] // Graph-Pfad zur Ursprungs-Norm
|
||
)
|
||
```
|
||
|
||
Datenmodell folgt **LegalRuleML** (OASIS-Arbeitsgruppe), das auf
|
||
**Hohfeldian Analysis** und deontischer Logik aufbaut (~100 Jahre
|
||
juristisch-formaler Apparat für „wer schuldet wem was").
|
||
|
||
Extraktion ist **hybrid**:
|
||
|
||
1. **Regelbasiert** — reguläre Ausdrücke für deutsche Modalitäts-
|
||
Muster (muss / hat zu / ist verpflichtet / darf nicht /
|
||
ist untersagt / kann). Veröffentlichte Pattern-Listen aus
|
||
Mercatus QuantGov / RegData.
|
||
2. **LLM-assistiert** für unklare Fälle. Jede LLM-extrahierte
|
||
Pflicht trägt `confidence < 1.0` und wird in S4 zur juristischen
|
||
Validierung vorgelegt.
|
||
|
||
Freigabe-Schwelle: **Cohen's κ ≥ 0,7** zwischen zwei unabhängig
|
||
arbeitenden Juristen-Annotatoren.
|
||
|
||
### 3.4 S4 — Bewertung pro Pflicht
|
||
|
||
Pro Pflicht drei orthogonale Dimensionen:
|
||
|
||
**Schaden (Bürokratiekosten):**
|
||
```
|
||
SKM-€/Jahr = P × F × T × h
|
||
P = Fallzahl (Adressaten)
|
||
F = Frequenz (pro Jahr)
|
||
T = Tarif (€/Stunde)
|
||
h = Zeitaufwand (Stunden pro Fall)
|
||
```
|
||
Standardkostenmodell — Methodik des Nationalen Normenkontrollrats,
|
||
in DE / NL / EU / OECD / UK identisch angewandt.
|
||
|
||
**Nutzen (7-dimensional, 0–5):**
|
||
|
||
Schutz · Markt · Rechtssicherheit · EU-Binnenmarkt · Sicherheit ·
|
||
Umwelt · Einnahmen.
|
||
|
||
Jede Dimension wird mit Quellen-Begründung vergeben, niemals
|
||
„aus dem Bauch". Inter-Rater-Reliability messen, κ-Schwelle wie S3.
|
||
|
||
**Frust (qualitatives Komposit, 0–10):**
|
||
|
||
Flesch-DE (Amstad-Adaption) + Verweistiefe + Akteurs-Pluralität +
|
||
Norm-Volatilität. **Nie als alleinige Bewertung**, immer neben SKM
|
||
und Nutzen, immer als T-markiertes Signal.
|
||
|
||
### 3.5 S5 — Roll-up & Attribution
|
||
|
||
Pflichten hängen in Ketten: EU-RL → Bundesgesetz → Bundesverord
|
||
nung → Landesrecht → Vollzugs-AVV. Eine SKM-€-Zahl in der unters
|
||
ten Stufe ist **nicht** allein dem dortigen Paragrafen anzulasten —
|
||
die Ursache kann oben in der Kette sitzen.
|
||
|
||
Wir verwenden eine **Shapley-artige Aufteilung** des Bewertungs-
|
||
„Anteils" über alle Norm-Stellen im Pfad: die EU-Ursprungs-Richt
|
||
linie bekommt einen Anteil, die nationale Umsetzung einen, die
|
||
Verordnung einen, der konkrete Landes-Vollzug einen.
|
||
|
||
Das verhindert sowohl Doppelzählung („dieselbe Pflicht wird auf
|
||
EU- und Landesebene voll angelastet") als auch hohle Reform-Vor
|
||
schläge („streiche §X" — wenn §X eine EU-Pflicht umsetzt, ändert
|
||
die Streichung nichts).
|
||
|
||
### 3.6 S6 — Heatmap + Reform-Vorschlag
|
||
|
||
Output zweidimensional, niemals ein Single-Score:
|
||
|
||
- **X-Achse:** Schaden (€/Jahr, log-skaliert)
|
||
- **Y-Achse:** Nutzen (0–5)
|
||
- **Punktgröße:** Betroffenheit (Adressaten-Zahl)
|
||
- **Farbe / Markierung:** Tier-Niveau der schwächsten Eingangs-
|
||
Variable
|
||
|
||
Reform-Vorschläge nicht pauschal „streichen", sondern typisiert:
|
||
|
||
| Vorschlag-Typ | Wann sinnvoll |
|
||
|:------|:--------|
|
||
| **streichen** | Pflicht ohne EU-Bindung, niedrige Nutzen-Streuung |
|
||
| **befristen mit Evaluationsklausel** | Sunset-Klausel statt Abschaffung |
|
||
| **konsolidieren** | mehrere überlappende Pflichten zusammenführen |
|
||
| **vereinfachen** | Pflicht bleibt, Vollzug wird gestrafft |
|
||
|
||
## 4 4-Tier-Evidenz-Modell
|
||
|
||
Jede Zahl trägt die Stufe ihres **schwächsten** Bestandteils:
|
||
|
||
| Tier | Bedeutung | Beispiele |
|
||
|:------|:--------|:-----|
|
||
| **T1** | amtlich / peer-reviewed | NKR-Datenbank, DESTATIS, ifo, ZEW, BMWK-Monitoring, SVR, IfM Bonn |
|
||
| **T2** | Verbands-Erhebung | DIHK Bürokratie-Index, IHK Berlin, ZDH, BDI Mittelstand, BVMW, HDE |
|
||
| **T3** | eigene strukturierte Erhebung | KMU-Befragung Phase 2/3 (DSGVO-anonymisiert) |
|
||
| **T4** | qualitatives Signal | Petitionsausschuss, openPetition, mein.berlin.de, Foren — nur Pain-Indikator, nie Magnitude |
|
||
|
||
**Regel der niedrigsten Stufe:** ist *eine* Komponente einer
|
||
SKM-Zahl T4 (etwa eine grobe Schätzung von `h`), trägt die ganze
|
||
Zahl T4. Das verhindert, dass methodisch schwache Inputs in
|
||
einer Komposition als „belastbar" durchgehen.
|
||
|
||
Politisch wesentlich: die Auswertung weist Tier am Punkt aus, nicht
|
||
versteckt im Anhang. Eine T4-markierte Zahl darf in einer AG-Folie
|
||
stehen, aber nur als „erstes Signal", nicht als Reform-Begründung.
|
||
|
||
## 5 LLMs als Mörtel, nicht Datenstein
|
||
|
||
LLMs sind in dieser Methodik **nicht** Quelle für Zahlen.
|
||
|
||
Sie sind ausschließlich für drei Aufgaben zugelassen:
|
||
|
||
1. **Extraktion** aus zitierbaren Quellen (Pflichten aus
|
||
Norm-Text, Bezüge aus Stellungnahmen). Output muss die
|
||
Norm-Stelle zitieren (RAG-Pflicht), sonst wird die
|
||
Behauptung verworfen.
|
||
2. **Klassifikation** (z. B. Modalitäts-Vorschlag bei unklarem
|
||
Pattern). Juristen-Approval obligatorisch.
|
||
3. **Synthese** (Vorschlags-Text-Entwürfe, Folien-Texte). Niemals
|
||
ohne menschliche Letzt-Verantwortung.
|
||
|
||
Technische Begleitregeln: Temperature ≤ 0,1, Modell-Digest im
|
||
Audit-Log, gleicher Prompt-Hash → gleiches Modell → reproduzier
|
||
bares Ergebnis. Halluzinations-Test-Suite vor jedem Modell-Update,
|
||
pass-rate dokumentiert.
|
||
|
||
## 6 Methodische Selbstbeschränkungen
|
||
|
||
Was wir nicht tun, ist genauso wichtig wie was wir tun:
|
||
|
||
- **Keine pauschalen Verdikte** „Gesetz X ist schädlich"
|
||
- **Kein Single-Score-Ranking** als alleinige Output-Form —
|
||
immer zweidimensional + Streuung
|
||
- **Keine LLM-Endbewertung ohne menschlichen Review** — der
|
||
LLM schlägt vor, ein Volljurist + Ökonom validieren
|
||
- **Keine ungestützten Schadens-Schätzungen** — jede €/h-Zahl
|
||
entweder aus offizieller Quelle oder aus methodisch transparenter
|
||
SKM-Rechnung, mit Unsicherheitsangabe
|
||
- **Keine personenbezogene Datenanalyse** — Crowd-Belastungs-
|
||
Meldungen ausschließlich pseudonym und DSGVO-anonymisiert
|
||
|
||
## 7 Methodische Vorbilder im Überblick
|
||
|
||
| Quelle | Beitrag |
|
||
|:------|:--------|
|
||
| Coupette / Katz / Bommarito (2021) | Graph-Schema deutsches Bundesrecht |
|
||
| Bommarito / Katz (2010) | Mathematik quantitativer Rechtsnetz-Analyse |
|
||
| Mercatus QuantGov / RegData | NLP-basiertes Zählen regulatorischer Pflichten |
|
||
| Nationaler Normenkontrollrat | SKM, Erfüllungsaufwand-Konzept, „One in, one out" |
|
||
| EU REFIT + Regulatory Scrutiny Board | „Fitness Checks"-Methodik |
|
||
| EU Better Regulation Guidelines + Toolbox | Cost-Benefit, MCDA |
|
||
| UK Regulatory Policy Committee | Unabhängige Letzt-Validierung |
|
||
| Niederlande ATR | SKM-Erfinder (1990er) |
|
||
| Akoma Ntoso 1.0 (OASIS) | XML-Format für Gesetzestexte |
|
||
| LegalRuleML (OASIS-AG) | RuleML mit deontischer Logik |
|
||
| ELI / CELEX | Kanonische URIs |
|
||
| Hohfeldian Analysis | Juristisch-formaler Apparat „wer schuldet wem was" |
|
||
|
||
## 8 Methodik-Versionierung
|
||
|
||
Diese Methodik trägt eine Version (v0.1.0). Ändert sich die
|
||
Methodik, müssen **alle Altbewertungen** mit „re-bewerten" markiert
|
||
werden — die alten Zahlen behalten ihren historischen Wert, fließen
|
||
aber nicht in den aktuellen Heatmap-Stand ein, bis sie nach neuer
|
||
Methodik überprüft sind.
|
||
|
||
Jede Methodik-Version benötigt:
|
||
|
||
1. Schriftliches Methodik-Papier (dieses Dokument).
|
||
2. Methodik-Beirats-Sitzung mit dokumentiertem Beschluss.
|
||
3. Rechtliche Kurz-Stellungnahme (EU AI Act, DSGVO,
|
||
Urheberrecht §5 UrhG).
|
||
4. Open-Source-Veröffentlichung der Implementierung unter
|
||
Apache 2.0.
|
||
|
||
## 9 Nächste Schritte (außerhalb dieser Methodik-Sache)
|
||
|
||
- **Methodik-Beirat** akquirieren (5–7 Personen, gemischt:
|
||
Wirtschaftsrecht, NKR-Background, IT-Recht, KMU-Vertreter,
|
||
Verbraucherschutz, Wissenschaft).
|
||
- **Korpus-Liste** „erste 5 Normen" beschließen.
|
||
- **Rechtliche Stellungnahme** zu EU AI Act / DSGVO / §5 UrhG
|
||
einholen.
|
||
- **Verbandskooperation** (IHK Berlin, DIHK, ZDH) für die
|
||
T3-Erhebungs-Pipeline anstoßen — politisch zeit
|
||
intensiv, deshalb früher Start.
|
||
|
||
---
|
||
|
||
**Kontakt:** Dr. Stefan Flemming, F∆I (Flemming.AI),
|
||
chain@flemming.ai. Repository: `git.flemming.ai/fai/lawheatmap`.
|
||
Lizenz: Apache-2.0.
|