Conference Law via the Internet 2018 Florence, 11-12 October IMPROVING PUBLIC ACCESS TO LEGISLATION THROUGH LEGAL CITATION DETECTION AND LINKING: THE LINKOLN PROJECT AT THE ITALIAN SENATE Tommaso Agnoloni, Lorenzo Bacci Institute of Legal Information Theory and Techniques ITTIG-CNR Carlo Marchetti, Roberto Battistoni Information Systems Development Office, Italian Senate
THE LINKOLN PROJECT promoted by the Italian Senate for the development of an open source software for the automatic extraction of legislative references from Italian legislative texts objectives: coverage maintainability extensibility involvement of institutional stakeholders in the definition of the requirements favour adoption, reuse and iterative improvement of the tool integration Italian Senate committed to openness (open standards, open source, open data) Linkoln relies on previous experiences and long-standing expertise matured at ITTIG in the field of automatic legal references extraction from legal texts.
FROM LEGAL CITATIONS TO STRUCTURED REFERENCES METADATA legal citations are an essential feature of a legal text machine readable legal references improve access to legislation allowing: hyperlinks navigation in legislative texts indexing and search by related document linking data: connection with external datasets (context) standard legislative identifiers allow interoperability and interconnection of resources on the web
COMPLEXITY OF AUTOMATIC LEGAL REFERENCE EXTRACTION Automatic legal references extraction faces the complexity of coping with a diversity of styles, variants and formats Lexical variability and exceptions to drafting rules use of abbreviated forms use of aliases or common names variants in numbering and dates styles inclusion, omission and order of certain fields variety of possible enacting authorities different typologies of acts legislative partitions (hierarchical) multiple citations variations over time, legacy and historical archives
legge n. 94 del 1997 L. n. 289/2002 l. n. 37 del 1990 artt. 13 e 18 della legge n. 349/1986 art. 4-bis della legge n. 468 del 1978 Leggi 25 aprile 1938, nn. 511, 518 e 548 legge 5 luglio 1991, n. 197 ex lege n. 40/1987 art. 1 art. 18, lettera f), della legge n. 845/1978 art. 4, comma 1, lettera c), n. 2 della legge n. 30 del 14 febbraio 2003 Artt. 2, 7 e 31 L. 30-3-1971, n. 118 decreto legge n. 217 del 2001 D.L. 13 marzo 1988, n. 69 art. 1 del decreto-legge 25 maggio 1994, n. 313
legge n. 94 del 1997 L. n. 289/2002 l. n. 37 del 1990 artt. 13 e 18 della legge n. 349/1986 art. 4-bis della legge n. 468 del 1978 Leggi 25 aprile 1938, nn. 511, 518 e 548 O.P.C.M. n. 3267 del 7 marzo 2003 legge 5 luglio 1991, n. 197 O.P.C.M. n. 3267/2003 ex lege n. 40/1987 art. 1 circolare n. 40/8/403 del 22 dicembre 1980 art. 18, lettera f), della legge n. 845/1978 art. 4, circolare comma 1, n. lettera 73/E del c), 27 n. 2 maggio della legge 1994 n. 30 del 14 febbraio 2003 Artt. 2, circolare 7 e 31 L. del 30-3-1971, dicembre n. 118 1997, n. 320/E decreto circolare legge n. del 217 Ministero del 2001 delle Finanze n. 123/E del 12 maggio 1998 D.L. 13 circolari marzo n. 1988, 30/E n. del 6927 gennaio 1998 e n. 186/E del 15 luglio 1998 art. 1 circolare del decreto-legge n. 326/E 25 del maggio 1997 1994, n. 313 circolare 9 settembre 1997, n. D/686 circolare ministeriale n. D/686 del 9 settembre 1997 circolari Ministero del lavoro e P.S n. 98 del 12 agosto 1995 e n. 130 del 25 ottobre 1995 circolare n. 101 del 17 luglio 1997 del Ministero del lavoro e P.S. Allegato 1 alla circolare Agea n. 13 del 4 maggio 2005 lettera circolare n. 59169 dell'11 settembre 1998 del Ministero del lavoro e P.S. decreto interministeriale 24 aprile 2002 decreto interministeriale 10 ottobre 1992 del Ministro delle finanze e del Ministro di grazia e giustizia decreto interministeriale n. 983 del 23 giugno 1988 decreto interministeriale n. 95-T d
legge n. 94 del 1997 L. n. 289/2002 l. n. 37 del 1990 artt. 13 e 18 della legge n. 349/1986 regio decreto-legge 15 marzo 1927, n. 436 art. 4-bis della legge n. 468 del 1978 Regio decreto-legge 30 ottobre 1943, n. 2/B Leggi 25 aprile 1938, nn. 511, 518 e Regio 548 D.L. 30 ottobre 1943, n. 2/B O.P.C.M. n. 3267 del 7 marzo 2003 legge 5 luglio 1991, n. 197 R.D. legge 30 ottobre 1943 n. 2/B O.P.C.M. n. 3267/2003 ex lege n. 40/1987 art. 1 R. decreto-legge 14 dicembre 1936-XV, n. 2374 circolare n. 40/8/403 del 22 dicembre 1980 art. 18, lettera f), della legge n. 845/1978 art. 3 del R.D.L. 19 gennaio 1939, n. 295 art. 4, circolare comma 1, n. lettera 73/E del c), 27 n. 2 maggio della legge 1994 RDL 2 n. aprile 30 del 1885, 14 febbraio n. 3095 2003 Artt. 2, circolare 7 e 31 L. del 30-3-1971, dicembre n. 118 1997, n. 320/E art. 5 del r.d.lgs. n. 511 del 1946 decreto circolare legge n. del 217 Ministero del 2001 delle Finanze n. 123/E del 12 maggio 1998 Decreto del capo del governo 15 ottobre 1938, n. 1783 D.L. 13 circolari marzo n. 1988, 30/E n. del 6927 gennaio 1998 e n. 186/E del 15 luglio 1998 Decreto luogotenenziale 12 aprile 1946, n. 627 art. 1 circolare del decreto-legge n. 326/E 25 del maggio 1997 1994, n. 313 Decreto legislativo luogotenenziale 13 marzo 1945, n. 116 circolare 9 settembre 1997, n. D/686 D.Lgs. Luogotenenziale 13 marzo 1945, n. 116 circolare ministeriale n. D/686 del 9 settembre 1997 Decreto-legge luogotenenziale 25 giugno 1944, n. 151 circolari Ministero del lavoro e P.S n. 98 del 12 agosto 1995 e n. 130 del 25 ottobre 1995 D.L. luogotenenziale 10 agosto 1944, n. 181 circolare n. 101 del 17 luglio 1997 del Ministero del lavoro e P.S. D. L. L. 7 gennaio 1946, n. 1 Allegato 1 alla circolare Agea n. 13 del 4 maggio 2005 decreto presidenziale 18 gennaio 1954, n. 18 lettera circolare n. 59169 dell'11 settembre 1998 del Ministero del lavoro e P.S. decreto legislativo presidenziale 27 giugno 1946, n. 38 decreto interministeriale 24 aprile 2002 D. Lgs. Presidenziale 25 giugno 1946, n. 12 decreto interministeriale 10 ottobre 1992 del Ministro delle finanze e del Ministro di grazia e giustizia decreto del Capo provvisorio dello Stato n. 629 del 21 aprile 1947 decreto interministeriale n. 983 del 23 giugno 1988 decreto del Capo provvisorio dello Stato 18 aprile 1947, n. 266 decreto interministeriale n. 95-T d decreto legislativo del Capo provvisorio dello Stato 17 luglio 1947, n. 691 D.Lgs. del Capo Provvisorio dello Stato 22 agosto 1947, n. 1097 articolo 8 del DLgs CPS 15-9-1947, n. 896
THE LINKOLN SOFTWARE targets citations to Italian and European legislation from Italian legislative texts including legislative partitions, multiple citations, aliases, incomplete references
THE LINKOLN SOFTWARE targets citations to Italian and European legislation from Italian legislative texts including legislative partitions, multiple citations, aliases, incomplete references input plain text previously annotated text (HTML, XML) (optional) metadata (can provide context to resolve ambiguities)
THE LINKOLN SOFTWARE targets citations to Italian and European legislation from Italian legislative texts including legislative partitions, multiple citations, aliases, incomplete references input plain text previously annotated text (HTML, XML) (optional) metadata (can provide context to resolve ambiguities) output collection of legal references (metadata objects in structured format) standard identifiers enriched input annotation (preserves pre-existing annotations) HTML rendering of references with hyperlinks
THE LINKOLN SOFTWARE targets citations to Italian and European legislation from Italian legislative texts including legislative partitions, multiple citations, aliases, incomplete references input plain text previously annotated text (HTML, XML) (optional) metadata (can provide context to resolve ambiguities) output collection of legal references (metadata objects in structured format) standard identifiers enriched input annotation (preserves pre-existing annotations) HTML rendering of references with hyperlinks Java library can be used as a web service or offline (e.g. to process large text corpora) can be integrated in existing desktop or web applications
THE LINKOLN SOFTWARE Linkoln relies on a text analysis pipeline of incremental (rule based) annotations with special focus on modularity, efficiency and power of recognition expressions.
THE LINKOLN SOFTWARE Linkoln relies on a text analysis pipeline of incremental (rule based) annotations with special focus on modularity, efficiency and power of recognition expressions. Modularity is achieved by dividing the process of legal link extraction from texts into three consecutive phases: entity identification fragments of text that can potentially represent a feature of a citation are identified and normalized; reference recognition patterns of identified features are matched in order to decide whether they form a legal reference; identifier generation recognized legal references are analyzed to assign standard identifiers and URLs.
THE LINKOLN SOFTWARE Linkoln relies on a text analysis pipeline of incremental (rule based) annotations with special focus on modularity, efficiency and power of recognition expressions. Modularity is achieved by dividing the process of legal link extraction from texts into three consecutive phases: entity identification fragments of text that can potentially represent a feature of a citation are identified and normalized; reference recognition patterns of identified features are matched in order to decide whether they form a legal reference; identifier generation recognized legal references are analyzed to assign standard identifiers and URLs. text annotation services are implemented using JFlex, a popular lexical scanner generator for Java. JFlex modules are compiled into efficient lexical automata.
STANDARD IDENTIFIERS ITALIAN LEGISLATION urn:nir (supported by Normattiva) urn:nir:stato:decreto.legislativo:1998-02-24;58 ELI_IT (supported by the Italian Official Gazette) http://www.gazzettaufficiale.it/eli/id/1998/03/26/098g0073/sg
STANDARD IDENTIFIERS ITALIAN LEGISLATION urn:nir (supported by Normattiva) urn:nir:stato:decreto.legislativo:1998-02-24;58 ELI_IT (supported by the Italian Official Gazette) http://www.gazzettaufficiale.it/eli/id/1998/03/26/098g0073/sg EUROPEAN LEGISLATION CELEX CELEX:32000D0418 ELI_EU http://data.europa.eu/eli/dec/2000/418/oj
STANDARD IDENTIFIERS ITALIAN LEGISLATION urn:nir (supported by Normattiva) urn:nir:stato:decreto.legislativo:1998-02-24;58 ELI_IT (supported by the Italian Official Gazette) http://www.gazzettaufficiale.it/eli/id/1998/03/26/098g0073/sg EUROPEAN LEGISLATION CELEX CELEX:32000D0418 ELI_EU http://data.europa.eu/eli/dec/2000/418/oj Linking through ELI provides access to external ELI metadata ELI Pillars 2 and 3 > Linked DATA
LINKOLN INTEGRATION IN SHOWDOC The ShowDoc web application serves the XHTML versions of parliamentary documents to the users of Italian Senate web site since 2001. 2018 - new release of the ShowDoc web app exploiting mainstream technologies Linkoln has been directly integrated in the ShowDoc backend First public release of Linkoln in production on an Italian institutional website
LINKOLN INTEGRATION IN SHOWDOC The ShowDoc web application serves the XHTML versions of parliamentary documents to the users of Italian Senate web site since 2001. 2018 - new release of the ShowDoc web app exploiting mainstream technologies Linkoln has been directly integrated in the ShowDoc backend First public release of Linkoln in production on an Italian institutional website Linkoln service invoked upon request by the user and executed in real-time
FUTURE WORK dissemination to the community of (institutional) stakeholders Software project repository published in stable version deploy of the service for the community Open source code, documentation deployed demo and collection of users feedback
FUTURE WORK dissemination to the community of (institutional) stakeholders Software project repository published in stable version deploy of the service for the community Open source code, documentation deployed demo and collection of users feedback evaluation on an annotated gold standard
FUTURE WORK dissemination to the community of (institutional) stakeholders Software project repository published in stable version deploy of the service for the community Open source code, documentation deployed demo and collection of users feedback evaluation on an annotated gold standard increased connection with DATA on the WEB production and release of open datasets iterative refinement and exploitation of existing datasets (e.g. ELI_IT dataset for identifier generation)
FUTURE WORK dissemination to the community of (institutional) stakeholders Software project repository published in stable version deploy of the service for the community Open source code, documentation deployed demo and collection of users feedback evaluation on an annotated gold standard increased connection with DATA on the WEB production and release of open datasets iterative refinement and exploitation of existing datasets (e.g. ELI_IT dataset for identifier generation) application to large legislative corpora and exploitation of the citation network
THANK YOU tommaso.agnoloni@ittig.cnr.it lorenzo.bacci@ittig.cnr.it carlo.marchetti@senato.it roberto.battistoni@senato.it