在人工智能的迅猛发展中，Google的新型AI模型Gemini标志着一个新时代的开始。这款模型不仅在传统的文本处理领域展现出卓越性能，更在多模态理解——即同时处理文本、图像、视频和音频——方面实现了显著的技术突破。在本文中，我们将深入探索Gemini的关键特性和它在未来技术景观中的潜在作用。
DeepMind最新发布的技术——Gemini，这是一个从零开始构建的多模态AI模型，能够无缝地在文本、图像、视频、音频和代码之间进行推理。Gemini代表了AI如何帮助改善我们日常生活的重大进步。
首次亮相：Gemini Ultra
Gemini Ultra是我们目前最强大的AI模型。它是第一个在MMLU（大规模多任务语言理解）上超越人类专家的模型。MMLU是测试AI模型知识和问题解决能力的最受欢迎的方法之一。
性能比较
| Gemini Ultra | 人类专家（MMLU） | GPT-4 （5 shot） | |
|---|---|---|---|
| CoT@32* | 90.0% | 86.4% | 86.4% |
Gemini在所有多模态任务上超越SOTA（状态最佳）表现
文本表现
| 能力 | 基准测试 | 描述 | Gemini Ultra | GPT-4 |
|---|---|---|---|---|
| 通用 | MMLU | 在57个科目（包括STEM、人文等）中问题的表示 | 90.0% CoT@32* | 86.4% 5次尝试*（报告） |
| 推理 | Big-Bench Hard | 需要多步骤推理的多样化挑战性任务 | 83.6% 3-shot | 83.1% 3-shot（API） |
| DROP | 阅读理解（F1分数） | 82.4 可变-shot | 80.9 3-shot（报告） | |
| HellaSwag | 日常任务的常识性推理 | 87.8% 10-shot* | 95.3% 10-shot*（报告） | |
| 数学 | GSM8K | 基本算术操作（包括小学数学问题） | 94.4% maj@32 | 92.0% 5-shot（报告） |
| MATH | 挑战性数学问题（包括代数、几何、预微积分等） | 53.2% 4-shot | 52.9% 4-shot（API） | |
| 编码 | HumanEval | Python代码生成 | 74.4% 0-shot（IT）* | 67.0% 0-shot*（报告） |
| Natural2Code | Python代码生成。新的未泄露在网上的HumanEval类似数据集 | 74.9% 0-shot | 73.9% 0-shot（API） |
多模态性能
Gemini是天生的多模态模型，可以将任何类型的输入转换成任何类型的输出。例如，Gemini可以根据不同的输入生成代码。
| 能力 | 基准测试 | 描述 | Gemini | GPT-4V |
|---|---|---|---|---|
| 图像 | MMMU | 多学科大学级别推理问题 | 59.4% (0-shot) | 56.8% (0-shot) |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| VQAv2 | 自然图像理解 | 77.8% (0-shot) | 77.2% (0-shot) | |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| TextVQA | 自然图像上的OCR | 82.3% (0-shot) | 78.0% (0-shot) | |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| DocVQA | 文档理解 | 90.9% (0-shot) | 88.4% (0-shot) | |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| Infographic VQA | 信息图理解 | 80.3% (0-shot) | 75.1% (0-shot) | |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| MathVista | 视觉上下文中的数学推理 | 53.0% (0-shot) | 49.9% (0-shot) | |
| Gemini Ultra (仅像素)* | OCR+PA | |||
| 视频 | VATEX | 英语视频字幕 (CIDEr) | 62.7 | 56.0 |
| Gemini Ultra | DeepMind Flamingo | |||
| 感知测试 MCQA | 视频问题回答 | 54.7% (0-shot) | 46.3% (0-shot) | |
| Gemini Ultra | SeeLLA | |||
| 音频 | CoVoST 2 (21种语言) | 自动语音翻译 (BLEU分数) | 40.1 | 29.1 |
| Gemini Pro | Whisper v2 | |||
| FLEURS (62种语言) | 自动语音识别 | 7.6% | 17.6% | |
| (基于词错误率，越低越好) | Gemini Pro | Whisper v3 |
*Gemini图像基准测试仅为像素测试——未借助OCR系统
Gemini的三种型号
- Ultra: 最强大、最大型号，适用于高度复杂的任务。
- Pro: 最佳模型，适用于广泛的任务。
- Nano: 最高效的模型，适用于设备上的任务。
Gemini的核心技术
Gemini是一个多模态AI模型，这意味着它能够理解和处理多种类型的数据，包括文本、图像、视频和音频。这种能力使得Gemini能够在理解复杂问题和执行复杂任务方面远远超越传统的单一模态AI模型。
超越文本的理解
Gemini的一个关键创新是它在处理非文本数据方面的能力。通过对大量图像、视频和音频数据的训练，Gemini能够理解和解释这些数据类型中的信息，从而提供更丰富、更准确的回应和解决方案。
多模态性能
根据Google提供的数据，Gemini在多项多模态任务上均表现出色。在MMLU（Massive Multitask Language Understanding）测试中，它是首个超越人类专家的模型，展现了在处理广泛主题和复杂问题上的卓越能力。
Gemini的实际应用
Gemini的实际应用潜力巨大。从提高Google自身产品，如Bard聊天机器人和Search Generative Experience的性能，到为开发者和企业客户提供强大的AI服务，Gemini都将发挥重要作用。
改变用户体验
对于普通用户来说，Gemini将通过改进的搜索引擎回应、更智能的聊天机器人交互以及更准确的音视频内容理解，提供更加丰富和个性化的体验。
助力企业发展
对于企业，Gemini提供了一个强大的工具，可以用于提高客户服务质量、加强产品推荐的相关性以及创建更有针对性的营销内容。
结论
Google的Gemini AI模型不仅代表了人工智能技术的一个重要进步，也预示着多模态AI在各行各业中应用的新时代。随着技术的进一步发展和普及，我们可以期待Gemini将在未来的技术和商业世界中扮演越来越重要的角色。
