集成了 Transformer模型 的常用第三方库，覆盖自然语言处理（NLP）、计算机视觉（CV）和多模态任务。

Hugging Face Transformers特点：提供 超全预训练模型（BERT、GPT、T5、RoBERTa等），支持PyTorch和TensorFlow。简单易用的API，支持训练、微调和部署。社区活跃，持续更新最新模型（如Llama、Mistral）。适用场景：文本分类、生成、翻译、问答等。from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")model = AutoModel.from_pretrained("bert-base-uncased")Fairseq（Meta官方库）特点：专注于序列建模（翻译、文本生成），支持Transformer和卷积架构。提供高效的分布式训练和多GPU支持。适用场景：机器翻译、自回归生成任务。# 训练翻译模型fairseq-train data-bin --arch transformer --optimizer adamOpenNMT-py/OpenNMT-tf特点：专为机器翻译设计，支持Transformer和RNN。提供从数据预处理到部署的全流程工具。适用场景：定制化翻译模型、低资源语言任务。框架内置Transformer模块

PyTorch框架

from torch.nn import Transformermodel = Transformer(d_model=512, nhead=8)

TensorFlow框架

from tensorflow.keras.layers import MultiHeadAttentionattention = MultiHeadAttention(num_heads=8, key_dim=64)

Transformer模型库