Anthropic推出Claude 3.5 Sonnet模型 性能超越GPT-4o和Gemini 1.5 Pro

站长云网 2024-10-23 5iter.com 站长云网

Anthropic今天宣布了最新的Claude3.5Sonnet和Claude3.5Haiku模型。更新后的Claude3.5Sonnet机型实现了全面改进,并在编程能力方面取得了显著提高。Claude3.5Haiku是Anthropic对OpenAI的GPT-4oMini和Google的Gemini1.5Flash的回应。它的售价与前代产品相同,但性能有了显著提升。

Claude3.5Sonnet的改进:

  • SWE-bench验证得分从33.4%提高到49.0%,是业内任何机型的最佳得分。

  • 在零售领域,TAU-bench得分从62.6%提高到69.2%,在航空领域从36.0%提高到46.0%。

  • GPQA和MMLUPro分数分别增至65%和78%,优于Gemini1.5Pro。


  • 新的Claude3.5Haiku模型在许多人工智能基准测试中击败了Anthropic上一代最大的模型Claude3Opus。Claude3.5Haiku在SWE-benchVerified上的得分率为40.6%,超过了原来的Claude3.5Sonnet和OpenAIGPT-4Turbo。Claude3.5Haiku最初将只提供纯文本格式,随后将支持图像格式。

    Anthropic还强调,美国人工智能安全研究所(USAISI)和英国安全研究所(UKAISI)对新的Claude3.5Sonnet模型进行了联合部署前测试,这是双方今年年初签署的协议的一部分。根据其负责任扩展政策,更新后的克劳德3.5Sonnet模型符合ASL-2标准。

    更新版Claude3.5Sonnet现已通过AnthropicAPI、亚马逊Bedrock和Google云的VertexAI以相同的价格提供给所有开发人员。新的Claude3.5Haiku模型将于本月晚些时候推出。

    这些新的Claude3.5模型性能更强、价格更低,对于为其人工智能应用寻找高级语言模型的开发人员和企业来说,是极具吸引力的选择。

    责任编辑:站长云网