诸神缄默不语-个人CSDN博文目录

1. 通用大规模预训练语言模型

英语：

1. LegalBERT
   1. 原始论文：(2020 EMNLP) LEGAL-BERT: The Muppets straight out of Law School - ACL Anthology
   2. 下载地址：huggingface
2. CaseLaw-BERT / Custom Legal-BERT
   1. 原始论文：(2021 ICAIL) When does pretraining help?: assessing self-supervised learning for law and the CaseHOLD dataset of 53,000+ legal holdings
   2. 下载地址：https://huggingface.co/casehold/custom-legalbert
3. BERTLaw
   1. 原始论文：(2021) Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
   2. 下载地址：https://huggingface.co/nguyenthanhasia/BERTLaw
4. PolBERT
   1. 原始论文：(2022 NeurIPS) Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset
5. legal-longformer
   1. 下载地址：https://huggingface.co/saibo/legal-longformer-base-4096
6. （印度） InLegalBERT
   1. 原始论文：(2023 ICAIL) Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law
   2. 下载地址：https://huggingface.co/law-ai/InLegalBERT
7. （跨国）LexLM（backbone是RoBERTa）
   1. 原始论文：(2023 ACL) LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development
   2. checkpoint已放到transformers上：

      from transformers import AutoModel, AutoTokenizer
      
      model = AutoModel.from_pretrained("lexlms/legal-roberta-base")
      tokenizer = AutoTokenizer.from_pretrained("lexlms/legal-roberta-base")
      

中文：

1. Lawformer
   1. 原始论文：(2021) Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents
   2. 下载方式：thunlp/LegalPLMs: Source code and checkpoints for legal pre-trained language models.

意大利语：

1. ITALIAN-LEGAL-BERT
   1. 原始论文：(2022) ITALIAN-LEGAL-BERT: A Pre-trained Transformer Language Model for Italian Law
   2. 下载地址：https://huggingface.co/dlicari/Italian-Legal-BERT

罗马尼亚语：

1. jurBERT
   1. 原始论文：(2021 NLLP) jurBERT: A Romanian BERT Model for Legal Judgement Prediction

西班牙语：

1. RoBERTalex
   1. 原始论文：(2021) Spanish Legalese Language Model and Corpora
   2. 下载地址：PlanTL-GOB-ES/RoBERTalex · Hugging Face

多语言：

1. ParaLaw Nets（看论文应该是日语和英语）
   1. 原始论文：(2021 COLIEE) ParaLaw Nets – Cross-lingual Sentence-level Pretraining for Legal Text Processing
   2. 下载地址：我猜是这个：nguyenthanhasia/XLM-Paralaw · Hugging Face
2. LegalXLMs
   1. 原始论文：(2023) MultiLegalPile: A 689GB Multilingual Legal Corpus
   2. 下载地址：太多了，待补

越南语：

1. nguyenthanhasia/VNBertLaw · Hugging Face
2. PhoBERT
   1. 原始论文：(2020 EMNLP) PhoBERT: Pre-trained language models for Vietnamese
   2. 官方GitHub项目（介绍了各个预训练模型checkpoint的地址和下载方式）：VinAIResearch/PhoBERT: PhoBERT: Pre-trained language models for Vietnamese (EMNLP-2020 Findings)

法语

1. JuriBERT
   1. 原始论文：(2022) JuriBERT: A Masked-Language Model Adaptation for French Legal Text
   2. 下载地址：http://master2-bigdata.polytechnique.fr/resources#juribert（用transformers包的）

葡萄牙语

1. JurisBERT（巴西）
   1. 原始论文：(2023 ICCSA) JurisBERT: A New Approach that Converts a Classification Corpus into an STS One
   2. 下载地址：https://huggingface.co/alfaneo

2. 对话模型

中文：

1. Lawyer LLaMA
   AndrewZhe/lawyer-llama: 中文法律LLaMA
   1. 原始论文：(2023) Lawyer LLaMA Technical Report
   2. 官方GitHub项目：AndrewZhe/lawyer-llama: 中文法律LLaMA
      本地部署版：lawyer-llama-13b-beta1.0已公开（lawyer-llama/run_inference.md at main · AndrewZhe/lawyer-llama · GitHub），但是必须要LLaMA的权重，而我还在排LLaMA的队，所以等着吧
2. 智海-录问
   zhihaiLLM/wisdomInterrogatory
3. LawGPT
   pengxiao-song/LaWGPT: