PaliGemma 是 Google 推出的新一代视觉语言模型家族，能够接收图像与文本输入并生成文本输出。
Google 团队已推出三种类型的模型：预训练 (PT) 模型、混合模型和微调 (FT) 模型，这些模型分辨率各异，提供多种精度以便使用。
所有模型均在 Hugging Face Hub 的模型库中发布，配备了模型说明和许可证，并且支持 transformers 集成。
PaliGemma (
PaliGemma 的发布包括三种模型类型：
这些模型提供三种分辨率 (224x224、448x448、896x896) 和三种精度 (bfloat16、float16、float32) 。每个版本都包含给定分辨率和任务的检查点，每种精度有三个版本。每个版本的main分支包含float32检查点，而bfloat16和float16版本则包含相应精度的检查点。同时提供了与 transformers 兼容的模型，以及原始 JAX 实现的版本。
正如后续详细说明的，高分辨率模型因输入序列较长而需要更多内存。虽然它们可能有助于执行细粒度任务，如 OCR，但对大多数任务的质量提升较小。224 版本已足够应对大多数场景。
你可以在这个 Hugging Face
PaliGemma 是一个单轮视觉语言模型，不适用于对话场景，最佳应用是针对特定用例进行微调。
你可以通过设置任务前缀，如“detect”或“segment”，来配置模型解决的任务。预训练模型即是通过这种方式训练的，赋予其丰富的功能 (问题回答、图像标题生成、图像分割等) 。然而，这些模型并非设计为直接使用，而是通过微调以适应特定任务，使用类似的提示结构。对于交互式测试，你可以使用已对多任务进行微调的“mix”系列模型。
以下是使用混合检查点展示的一些功能示例。
当被提示时，PaliGemma 能够为图像生成标题。你可以尝试使用混合检查点进行各种标题生成提示，看看它们如何反应。
PaliGemma 能够回答关于图像的问题，只需将你的问题连同图像一起传入即可。
PaliGemma 可以使用detect [entity]提示来检测图像中的实体。它会以特殊的<loc[value]>令牌形式输出边界框坐标的位置，其中value是一个表示归一化坐标的数字。每次检测都由四个位置坐标代表——ymin, xmin, ymax, xmax，后跟检测到的框中的标签。要将这些值转换为坐标，你需要首先将数字除以 1024，然后将y乘以图像高度，x乘以宽度。这将给你提供相对于原始图像大小的边界框坐标。
PaliGemma 混合检查点也能够在给定 segment [entity] 提示时对图像中的实体进行分割。这称为指代表达分割，因为我们使用自然语言描述来引用感兴趣的实体。输出是位置和分割标记的序列。位置标记代表如上所述的一个边界框。分割标记可以进一步处理，生成分割掩模。
PaliGemma 混合检查点具备出色的文档理解与推理能力。
以下是混合检查点的得分数据。
| 模型 | MMVP 准确率 | POPE 准确率 (随机/流行/对抗) |
|---|---|---|
| mix-224 | 46.00 | 88.00 86.63 85.67 |
| mix-448 | 45.33 | 89.37 88.40 87.47 |
除了预训练和混合模型之外，Google 还发布了已针对各种任务进行微调的模型。这些模型对应于研究社区可用于比较性能的学术基准。以下是一些选定的模型，这些模型也提供了不同的分辨率。你可以查看任何一个模型的模型卡以获取所有度量指标。
| 模型名称 | 数据集/任务 | 转移任务中的得分 |
|---|---|---|
| 图解理解 | 在 VQAV2 上的准确率为 85.64 | |
| COCO 标题 | CIDEr 为 144.6 | |
| 科学问题回答 | 在没有 CoT 的 ScienceQA Img 子集上的准确率为 95.93 | |
| 图像中特定对象的理解 | 在 refcoco 上的平均 IoU 为 76.94，在 refcoco+ 上为 72.18，在 refcocog 上为 72.22 | |
| 遥感视觉问题回答 | 在 test 上的准确率为 92.61，在 test2 上为 90.58 |
作为此次发布的一部分，我们提供了一个
我们还有一个与 Transformers 兼容的
要获取 PaliGemma 模型的访问权限，你需要接受 Gemma 许可条款和条件。如果你已经可以访问 Hugging Face 中的其他 Gemma 模型，那么你已经准备好了。否则，请访问任何一个 PaliGemma 模型，并在你同意许可时接受它。一旦你获得了访问权限，你需要通过
你还可以立即在
你可以使用PaliGemmaForConditionalGeneration类来推断任何已发布的模型。只需使用内置的处理器预处理提示和图像，然后传递预处理输入进行生成。
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
model_id = "google/paligemma-3b-mix-224"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)
prompt = "What is on the flower?"
image_file = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg?download=true"
raw_image = Image.open(requests.get(image_file, stream=True).raw)
inputs = processor(prompt, raw_image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=20)
print(processor.decode(output[0], skip_special_tokens=True)[len(prompt):])
# bee
你还可以按以下方式加载 4 位模型。
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = PaligemmaForConditionalGeneration.from_pretrained(
model_id,
quantization_config=bnb_config,
device_map={"":0}
)
除了 4 位 (或 8 位) 加载，transformers 集成还允许你利用 Hugging Face 生态系统中的其他工具，例如：
如果你想编写自己的预处理或训练代码，或想更详细地了解 PaliGemma 如何工作，以下是输入图像和文本的处理步骤：
输入文本会正常进行标记化。会在开头添加一个
更大的图像导致输入序列显著增长，因此需要更多的内存。在考虑使用哪种模型时，请记住这一点。对于细粒度任务，如 OCR，使用较大图像可能有助于实现更好的结果，但对于大多数任务，质量提升不大。在决定升级到更高分辨率之前，请先在你的任务上进行测试！
这个完整的“提示”通过语言模型的文本嵌入层，并生成每个标记 2048 维的标记嵌入。
与此同时，输入图像经过调整大小，使用双三次重采样至所需的输入大小 (对于最小分辨率模型为 224x224) 。然后，它通过 SigLIP 图像编码器生成每个贴片 1152 维的图像嵌入。这里线性投影器发挥作用：将图像嵌入投影以获取 2048 维每贴片的表示，与文本标记获得的表示相同。最终的图像嵌入然后与<image>文本嵌入合并，这是用于自回归文本生成的最终输入。
生成在自回归模式下正常工作，对整个输入 (image + bos + prompt + \n) 使用完整块注意力，并对生成的文本使用因果注意力掩码。
所有这些细节都在处理器和模型类中自动处理，因此可以使用前面示例中所示的熟悉的高级 transformers API 进行推理。
PaliGemma 是在
项目配置文件夹
还有一个 Colab:
通过 transformers 进行 PaliGemma 的微调非常简单，也还可以进行 QLoRA 或 LoRA 微调。在这个例子中，我们将简要微调解码器，然后展示如何切换到 QLoRA 微调。我们将安装 transformers 库的最新版本。
pip install git+https://github.com/huggingface/transformers.git
就像在推理部分一样，我们将进行身份验证以访问模型，使用notebooklogin()。
from huggingface_hub import notebook_login
notebook_login()
对于这个例子，我们将使用 VQAv2 数据集，并微调模型以回答有关图像的问题。让我们加载数据集。我们只会使用 question、multiplechoiceanswer 和 image 列，所以让我们删除其他列。我们还将拆分数据集。
from datasets import load_dataset
ds = load_dataset('HuggingFaceM4/VQAv2', split="train")
cols_remove = ["question_type", "answers", "answer_type", "image_id", "question_id"]
ds = ds.remove_columns(cols_remove)
ds = ds.train_test_split(test_size=0.1)
train_ds = ds["train"]
val_ds = ds["test"]
我们现在将加载处理器，其中包含图像处理和标记化部分，并预处理我们的数据集。
from transformers import PaliGemmaProcessor
model_id = "google/paligemma-3b-pt-224"
processor = PaliGemmaProcessor(model_id)
我们将创建一个提示模板，以调整 PaliGemma 回答视觉问题。由于标记器填充输入，我们需要将我们标签中的填充设置为与标记器中的填充标记不同，以及图像标记。
注意：在标记化部分，我们传递一个 tokenizenewlineseparately标志，因为换行用于提示条件，必须单独标记化。在推理期间，默认为True。
device = "cuda"
image_token = processor.tokenizer.convert_tokens_to_ids("<image>")
def collate_fn(examples):
texts = ["answer " + example["question"] + "\n" + example['multiple_choice_answer'] for example in examples]
images = [example["image"].convert("RGB") for example in examples]
tokens = processor(text=texts, images=images,
return_tensors="pt", padding="longest",
tokenize_newline_separately=False)
labels = tokens["input_ids"].clone()
labels[labels == processor.tokenizer.pad_token_id] = -100
labels[labels == image_token] = -100
tokens["labels"] = labels
tokens = tokens.to(torch.bfloat16).to(device)
return tokens
你可以直接加载模型，或者为 QLoRA 加载 4 位模型。以下是如何直接加载模型。我们将加载模型，并冻结图像编码器和投影器，仅微调解码器。如果你的图像属于特定领域，这些领域可能不在模型预训练的数据集中，你可能想跳过冻结图像编码器。
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16).to(device)
for param in model.vision_tower.parameters():
param.requires_grad = False
for param in model.multi_modal_projector.parameters():
param.requires_grad = True
如果你想为 QLoRA 加载 4 位模型，你可以添加以下更改：
from transformers import BitsAndBytesConfig
from peft import get_peft_model, LoraConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_type=torch.bfloat16
)
lora_config = LoraConfig(
r=8,
target_modules=["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
task_type="CAUSAL_LM",
)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
#trainable params: 11,298,816 || all params: 2,934,634,224 || trainable%: 0.38501616002417344
我们将初始化 Trainer 和 TrainingArguments。如果你将进行 QLoRA 微调，请将优化器设置为 pagedadamw8bit。
from transformers import TrainingArguments
args=TrainingArguments(
num_train_epochs=2,
remove_unused_columns=False,
per_device_train_batch_size=16,
gradient_accumulation_steps=4,
warmup_steps=2,
learning_rate=2e-5,
weight_decay=1e-6,
adam_beta2=0.999,
logging_steps=100,
optim="adamw_hf",
save_strategy="steps",
save_steps=1000,
push_to_hub=True,
save_total_limit=1,
bf16=True,
report_to=["tensorboard"],
dataloader_pin_memory=False
)
初始化 Trainer，传入数据集、数据整合函数和训练参数，并调用 train() 开始训练。
from transformers import Trainer
trainer = Trainer(
model=model,
train_dataset=train_ds,
eval_dataset=val_ds,
data_collator=collate_fn,
args=args
)
trainer.train()
感谢 Omar Sanseviero、Lucas Beyer、Xiaohua Zhai 和 Matthias Minderer 对本博客文章的全面审校。
英文原文: https://hf.co/blog/paligemma
原文作者: Merve Noyan、Andreas P. Steiner (Google)、Pedro Cuenca
译者: Luke, Hugging Face Fellow
本文分享自微信公众号 - Hugging Face（gh_504339124f0f）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
微信关注我们
转载内容版权归作者及来源网站所有！
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。
马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。
Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。
扫码在手机上查看文章
扫描二维码，手机阅读更方便
有任何问题或合作意向欢迎联系我们
Email: 99873273@qq.com
QQ: 99873273