省流建议
本文针对以下需求：

• 想自动化标注一些目标
• 不再想使用yolo
• 想在目标检测/语意分割有所建树
• 计算机视觉项目
• 想玩一玩大模型
• 了解自动化工具
• 了解最前沿模型
• 自定义目标P图替换
• …
  

确定好需求，那么我们发车！

实现功能与结果

1. 该模型将首先使用对语言的理解来识别文本提示中提到的对象。例如，在描述“两只用棍子的狗”中，该模型将“狗”和“棍子”一词识别为对象

1. 然后，该模型将为自然语言描述中确定的每个对象生成一组对象建议。对象建议是使用各种功能（例如对象的颜色，形状和纹理）生成的
2. 接下来，模型返回每个对象建议的分数。分数是对象建议包含实际对象的可能性
3. 然后，该模型将选择顶级对象建议作为最终检测。最终检测是图像中最自信的对象

我知道你对文字不感兴趣，你想直接拿代码来就用！
那么，它来了。

代码部署

在下一节中，我们将演示一个开放集对象目标检测。在这里，我们将使用一个预先训练的模型来检测’玻璃与盖子’(作为文本提示)通过摄像头饲料。

首先导入相关的库和 模块。代码的最后两行导入所需的推理模块。

import os
import cv2
import numpy as np
from PIL import Image

设置模型配置和权重文件路径

接下来，定义 模型配置文件和权重文件路径。除此之外，我们还定义了两个超参数框和图像阈值来控制对象框和图像的选择。默认情况下，模型输出900个对象框，这些对象框根据它们与输入文本的相似性得分进行排序。通过调整 max _ box 超参数，可以更改接地 DIN模型输出的对象框的数量。

HOME = os.getcwd()
# set model configuration file path
CONFIG_PATH = os.path.join(HOME, "groundingdino/config/GroundingDINO_SwinT_OGC.py")# set model weight file ath
WEIGHTS_NAME = "groundingdino_swint_ogc.pth"
WEIGHTS_PATH = os.path.join(HOME, "weights", WEIGHTS_NAME)# set text prompt
TEXT_PROMPT = "glass with lid"# set box and text threshold values
BOX_TRESHOLD = 0.35
TEXT_TRESHOLD = 0.25

检测

最后，我们使用 opencv 模块启动我们的摄像机 feed，并连续读取帧。在将摄像机提要传递给模型之前，我们需要对图像帧执行一些变换。首先，通过执行三个图像转换创建一个转换对象。

随机尺寸([800] ，max _ size = 1333)-此转换将图像的宽度调整为800，最大高度为1333像素。这有助于防止模型过度适应特定的尺寸。

ToTensor ()-这个转换将图像转换为一个 Python 张量。

正常化([0.485,0.456,0.406] ，[0.229,0.224,0.225])-这个转换通过减去平均值并除以 ImageNet 数据集的标准差来正常化图像。这有助于使模型对闪电和其他因素的变化更加稳健。

接下来，帧(相机帧的一个数字数组)被转换成 RGB 颜色空间中的 PIL 图像对象，最后通过执行上述三个转换转换成一个转换对象。

cap = cv2.VideoCapture(0)
while True:ret, frame = cap.read()# create a transform function by applying 3 image transaformationstransform = T.Compose([T.RandomResize([800], max_size=1333),T.ToTensor(),T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])# convert frame to a PIL object in RGB spaceimage_source = Image.fromarray(frame).convert("RGB")# convert the PIL image object to a transform objectimage_transformed, _ = transform(image_source, None)# predict boxes, logits, phrasesboxes, logits, phrases = predict(model=model, image=image_transformed, caption=TEXT_PROMPT, box_threshold=BOX_TRESHOLD, text_threshold=TEXT_TRESHOLD,device='cpu')# annotate the imageannotated_frame = annotate(image_source=frame, boxes=boxes, logits=logits, phrases=phrases)# display the outputout_frame = cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB)cv2.imshow('frame', out_frame)

敲黑板 重点

自动化标注举例说明

你想获取图中熊这个目标

不是图片中所有的类别你都想要，你只想获取部分目标，那么你在定义时要如下操作：
需要将Text Prompt做替换 ，如你只想对图片中的熊感兴趣：
则Text Prompt=bear.

对应生成的label/json文件

"shapes": [{"label": "dog","points": [[20.913907284768214,26.47019867549669],[87.96688741721854,97.66225165562913]],"group_id": null,"shape_type": "rectangle","flags": {}},{"label": "cat","points": [[91.11258278145695,43.35761589403974],[131.50993377483442,84.91390728476821]],

如果对大海和熊感兴趣，则：
Text Prompt=bear，sea
注意 逗号间隔！

自动化P图

如下我们可以选择将图中的目标狂替换为我们想要的目标！

可以说做到了完美贴合P图 ，再也不用PS工具费时费力修图啦

代码获取

code get:见博客底部推广