Together AI

O que é o Together AI?

O Together AI (Together Computer) é uma empresa de infraestrutura de IA fundada em 2022 que se posiciona como alternativa a grandes provedores de IA como OpenAI e Anthropic para equipes que preferem trabalhar com modelos de código aberto (open-source). A plataforma oferece endpoints de API compatíveis com o padrão OpenAI para uma grande variedade de modelos de linguagem abertos, incluindo as famílias Llama (Meta), Mixtral (Mistral AI), Code Llama, Falcon, Yi e outros. O foco do Together AI é velocidade de inferência, custo competitivo e flexibilidade para equipes que querem controle sobre o modelo que rodam.

Como funciona

Desenvolvedores e pesquisadores se cadastram no Together AI e recebem uma chave de API. A partir daí, podem fazer chamadas à API usando uma sintaxe idêntica à API da OpenAI (com suporte para bibliotecas como LangChain e LlamaIndex que já têm integração nativa). A plataforma seleciona automaticamente a infraestrutura de GPU ideal para cada modelo e entrega respostas com latência competitiva. Além dos endpoints compartilhados, o Together AI oferece instâncias dedicadas de GPU para empresas que precisam de capacidade garantida e isolamento de dados. Também é possível fazer fine-tuning de modelos open-source usando os próprios dados da empresa na plataforma.

Principais recursos

• Endpoints de API para Modelos Open-Source: Acesso à API para dezenas dos principais modelos de linguagem open-source (Llama 3, Mixtral, Code Llama, Falcon, Qwen, Yi, etc.) com interface compatível com OpenAI.
• Fine-tuning de Modelos: Serviço de ajuste fino (fine-tuning) de modelos open-source usando dados proprietários da empresa, criando versões customizadas dos modelos diretamente na plataforma.
• Instâncias Dedicadas: Alocação de capacidade de GPU exclusiva para empresas que precisam de desempenho garantido, sem variação de latência por compartilhamento de recursos.
• Inferência Rápida (Faster Inference): Implementação de técnicas de otimização de inferência como FlashAttention e quantização para entregar respostas em velocidades superiores à maioria dos provedores.
• Together Embed: API de geração de embeddings de texto otimizada para tarefas de busca semântica, RAG e classificação de texto.

Integrações disponíveis

• LangChain e LlamaIndex: Compatibilidade nativa com os principais frameworks de desenvolvimento de aplicações de IA.
• OpenAI SDK: A API do Together é compatível com a sintaxe da OpenAI, permitindo substituição com alteração mínima de código.
• Hugging Face: Integração para acessar modelos publicados na Hugging Face Hub diretamente via Together AI.

Para quem é indicado

• Desenvolvedores e Engenheiros de ML que constroem aplicações com LLMs e preferem a flexibilidade, privacidade e custo dos modelos open-source em relação aos modelos fechados de OpenAI ou Anthropic.
• Pesquisadores Acadêmicos e de IA que precisam de acesso rápido e econômico a múltiplos modelos open-source para experimentação e benchmarking.
• Equipes de Produto e Startups de IA que buscam reduzir custos de inferência de produção sem abrir mão de qualidade, usando modelos open-source de última geração.

Casos de uso reais

1. Substituição de OpenAI por Llama 3: Uma startup de IA migra sua aplicação de chat de atendimento ao cliente do GPT-4o para o Llama 3.1 70B hospedado no Together AI, reduzindo em 60% o custo de inferência por token mantendo qualidade de resposta aceitável para seu caso de uso.
2. Fine-tuning de Modelo de Domínio Específico: Uma empresa de direito faz fine-tuning do Llama 3 no Together AI usando um corpus de 50.000 documentos jurídicos proprietários, criando um modelo especializado em terminologia legal que supera o GPT-3.5 em seus benchmarks internos de extração de informação jurídica.

Preços

Prós e contras

Prós:

• Velocidade de inferência entre as mais rápidas do mercado para modelos open-source, especialmente para o Llama 3.
• Preços competitivos que podem ser significativamente mais baixos que GPT-4 para casos de uso com alto volume.
• Compatibilidade com o formato de API da OpenAI facilita enormemente a migração e experimentação.

Contras:

• Não é ideal para quem não tem experiência com desenvolvimento de software — é uma plataforma para desenvolvedores, sem UI amigável para usuários não técnicos.
• A qualidade dos modelos open-source ainda é inferior ao GPT-4o e ao Claude 3.5 Sonnet em tarefas de raciocínio complexo, embora a diferença esteja diminuindo rapidamente.

Alternativas ao Together AI

As principais alternativas de plataformas de inferência de modelos open-source são: Groq Cloud (foco em velocidade), Replicate, Fireworks AI, Anyscale, Cloudflare Workers AI, Hugging Face Inference Endpoints, Ollama (local).