计算机视觉中的变形金刚 – 英文版

课程英文名：Transformers in Computer Vision English version

此视频教程共3.22GB，中英双语字幕，画质清晰无水印，源码附件全

课程地址：https://xueshu.fun/1508
演示地址：https://www.udemy.com/course/transformers-in-computer-vision-english-version/

课程内容

你会学到什么

• 什么是变压器网络？
• 图像分类、语义分割、对象检测和视频处理等 CV 应用程序的最先进架构
• ViT、DETR、SWIN 等 SoTA 架构在 Huggingface 视觉转换器中的实际应用
• 注意力机制作为一般的深度学习思想
• 归纳偏差和 DL 模型在建模假设方面的前景
• Transformers 在 NLP 和机器翻译中的应用
• 计算机视觉中的变形金刚
• 计算机视觉中不同类型的注意力

要求

• 实用机器学习课程
• 实用计算机视觉课程（ConvNets）
• NLP课程简介

描述

Transformer Networks 是当今深度学习的新趋势。自 2017 年以来，Transformer 模型席卷了 NLP 的世界。从那时起，它们成为几乎所有 NLP 任务中的主流模型。CV 中的变形金刚仍然落后，但自 2020 年以来它们开始接管。

我们将从介绍注意力和变压器网络开始。由于转换器首先在 NLP 中引入，因此首先使用一些 NLP 示例更容易描述它们。从那里，我们将了解这种架构的优缺点。此外，我们将讨论无监督或半监督预训练对 transformer 架构的重要性，简要讨论大规模语言模型 (LLM)，如 BERT 和 GPT。

这将为在 CV 中引入变压器铺平道路。在这里，我们将尝试将注意力的想法扩展到图像的二维空间域中。我们将讨论如何在编码器-解码器元架构中使用自注意力来泛化卷积。我们将看到这种通用架构在图像中如何与在文本和 NLP 中几乎相同，这使得 transformers 成为通用函数逼近器。我们将讨论通道和空间注意力、局部注意力与全局注意力等主题。

在接下来的三个模块中，我们将讨论解决 CV 中大问题的具体网络：分类、对象检测和分割。我们将讨论来自 Google 的 Vision Transformer (ViT)、来自 Microsoft 的 Shifter Window Transformer (SWIN)、来自 Facebook research 的 Detection Transformer (DETR)、Segmentation Transformer (SETR) 等等。然后我们将讨论 Transformers 在视频处理中的应用，通过时空 Transformers 应用于移动物体检测，以及多任务学习设置。

最后，我们将展示如何使用流水线接口使用著名的 Huggingface 库在实践中轻松应用这些预训练架构。

本课程适合谁：

• 中级到高级 CV 工程师
• 中级到高级 CV 研究人员