LLMOps CoE: A próxima fronteira no cenário de MLOps

Neste blog, exploraremos a importância de LLMOps e como ele aborda os desafios associados aos LLMs, como iteração, gerenciamento de prompts e complexidades de teste. Também vamos um passo além e sugerimos como você pode iniciar sua jornada em LLMOps.

Grandes modelos de linguagem (LLMs) causaram uma mudança sísmica no mundo da inteligência artificial (IA) e do aprendizado de máquina (ML), remodelando o cenário do processamento de linguagem natural (PLN) e expandindo os limites do que é possível na compreensão e geração de linguagem.

Até o mundo dos negócios notou as capacidades revolucionárias dos LLMs, que tornam a mão de obra em funções como suporte ao cliente, geração de conteúdo, depuração de código e outras, redundante. Grandes modelos de linguagem têm o potencial de revolucionar indústrias e redefinir como as organizações conduzem seus negócios, ao fornecer chatbots inteligentes e sensíveis ao contexto, analisando grandes volumes de dados não estruturados para fornecer insights acionáveis para tomadores de decisão, e muito mais.

No entanto, à medida que os LLMs se tornam mais prevalentes em várias indústrias, surgiu a necessidade de práticas operacionais eficientes e eficazes ao colocá-los em produção. É aqui que o LLMOps, ou Operações de LLM, entra em jogo. LLMOps refere-se às práticas e técnicas especializadas empregadas para gerenciar e implantar LLMs em escala, garantindo sua confiabilidade, segurança e desempenho ideal.

💡

Algumas de nossas principais recomendações de LLMs de código aberto e suas aplicações são as seguintes, 

1. Falcon-40B: Ajuda com tarefas como análise de sentimento, classificação de texto e Q&A. Este modelo está disponível sob a licença de software permissiva Apache 2.0.
2. Llama-2-70B: Este é um modelo construído para conclusão de texto. Este modelo é licenciado sob o acordo de licença Llama 2 e está disponível gratuitamente para uso em pesquisa e comercial.
3. MPT-7B: Alguns dos casos de uso mais interessantes deste modelo são previsão financeira e manutenção preditiva em ambientes industriais. Este modelo está disponível sob a licença de software permissiva Apache 2.0.
4. Dolly.20 by Databricks: Mais adequado para sistemas de Q&A. Este modelo está disponível sob a licença de software permissiva Apache 2.0.

O que é LLMOps?

Definição de LLMOps e sua importância no cenário de IA/ML

O progresso recente em grandes modelos de linguagem (LLMs), destacado pela introdução da API GPT da OpenAI, do Bard do Google e de muitos outros LLMs de código aberto, impulsionou um crescimento notável em empresas que estão desenvolvendo e implementando LLMs. Como resultado, há uma necessidade crescente de construir melhores práticas sobre como operacionalizar esses modelos. LLMOps, que engloba a implantação, monitoramento e manutenção eficientes de grandes modelos de linguagem, desempenha um papel fundamental a esse respeito. Semelhante ao conceito convencional de Operações de Machine Learning (MLOps), LLMOps envolve um esforço colaborativo entre cientistas de dados, engenheiros de DevOps e profissionais de TI.

LLMOps reconhece todos os aspetos da construção e implantação de LLMs desde a integração contínua e entrega contínua (CI/CD), garantia de qualidade, até permitir que você melhore o tempo de entrega, reduza defeitos e aumente a produtividade das equipas de ciência de dados. Em suma, LLMOps é uma metodologia que aplica práticas de DevOps especificamente à gestão de grandes modelos de linguagem (LLMs) e cargas de trabalho de machine learning.

Por que o LLMOps é Essencial?

À medida que as empresas transitam da experimentação com LLMs para o aproveitamento de projetos baseados em LLM em escala para transformar seus negócios, a disciplina de LLMOps se tornará cada vez mais essencial para suas iniciativas de IA e ML.

Embora LLMs como ChatGPT, Bard e Dolly tenham revolucionado a forma como interagimos com a tecnologia, eles não podem ser usados diretamente para fins comerciais. O uso de LLMs para aplicações de negócios exige um ajuste fino para o seu caso de uso específico, treinando-o com dados específicos do domínio. Por exemplo, casos de uso de suporte ao cliente podem exigir treinamento com os dados internos da sua empresa para responder melhor às consultas dos seus clientes.

Esse ajuste fino adiciona outra camada de trabalho que precisa ser realizada, avaliada e monitorada antes que os LLMs possam ser colocados em produção. Tudo isso torna o LLMOps uma disciplina crucial que surgiu juntamente com a ascensão dos grandes modelos de linguagem (LLMs) e seu uso comercial. Algumas razões pelas quais o LLMOps é tão crucial são as seguintes,

Aqui estão 9 razões pelas quais o LLMOps é necessário:

1. Recursos Computacionais: LLMs podem ter bilhões ou até trilhões de parâmetros, o que os torna difíceis de treinar e implantar. Esse tamanho e complexidade dos LLMs podem apresentar desafios, especialmente em ambientes com recursos limitados ou dispositivos de borda. Portanto, estratégias para alocação eficiente de recursos, ajuste fino de modelos, otimização de armazenamento e gerenciamento de demandas computacionais, garantindo a implantação e operação eficazes de LLMs, tornam-se cruciais.
2. Ajuste Fino de Modelos: LLMs pré-treinados podem exigir ajuste fino em tarefas ou conjuntos de dados específicos para alcançar desempenho ideal em aplicações do mundo real. Além disso, os LLMs podem ser complexos e demorados para treinar. O ajuste fino de LLMs inclui múltiplas atividades como pré-processamento de dados, engenharia de características e otimização de hiperparâmetros, entre outras.
3. Preocupações Éticas: LLMs podem ser usados para gerar conteúdo prejudicial ou ofensivo. Isso gera a necessidade de medidas para monitorar e controlar a saída dos LLMs, a fim de minimizar preocupações éticas e manter padrões éticos.
4. Alucinações: Alucinações, neste contexto, significam instâncias em que o LLM “imagina” ou “fabrica” informações que não correspondem diretamente à entrada fornecida. Isso torna importante ter sistemas e estruturas para monitorar a precisão e a exatidão da saída de um LLM de forma contínua.
5. Interpretabilidade e Explicabilidade: LLMs são modelos altamente complexos, tornando desafiador entender seu funcionamento interno e processos de tomada de decisão. Portanto, há uma necessidade de técnicas e medidas para tornar os LLMs mais transparentes e interpretáveis, permitindo que as partes interessadas compreendam e confiem nas decisões tomadas por esses modelos.
6. Testar LLMs é difícil: Testar LLMs apresenta desafios únicos devido a muitas razões, como a falta de dados de treinamento, diferença na distribuição de dados de treinamento e dados do mundo real, falta de métricas de avaliação adequadas, falta de técnicas de interpretabilidade e explicabilidade de modelos, necessidade de julgamento humano e avaliação subjetiva dos aspectos qualitativos da saída, e muito mais.
7. Latência e Tempo de Inferência: As demandas computacionais dos LLMs podem resultar em latência aumentada, afetando aplicações em tempo real e experiências do usuário. Isso levanta preocupações sobre a aplicabilidade dos LLMs em áreas onde respostas rápidas são importantes.
8. Limitações do MLOps Tradicional no Manuseio de Modelos de Linguagem: As metodologias tradicionais de MLOps, projetadas para modelos de aprendizado de máquina convencionais, podem não ser adequadas para lidar com as complexidades dos modelos de linguagem. Modelos de linguagem possuem características distintas, como dados de treinamento desconhecidos usados por provedores de API e diferenças entre as distribuições de produção e treinamento. Além disso, as métricas para avaliar modelos de linguagem são frequentemente menos diretas, e os diversos comportamentos dos modelos podem não ser capturados de forma eficaz. O LLMOps preenche essas lacunas ao introduzir técnicas e frameworks especializados e adaptados aos LLMs.
9. Falta de  estrutura e frameworks para o Gerenciamento de Prompts: A engenharia de prompts, um aspecto crucial do uso de LLMs, frequentemente carece de ferramentas e fluxos de trabalho estruturados. Isso inclui a falta de mecanismos de rastreamento para prompts e cadeias, a falta de estratégias iterativas de gerenciamento de prompts e a falta de metodologias de experimentação semelhantes às da engenharia.
10. Necessidade de ferramentas especializadas para garantir a implantação eficiente de LLMs: Assim como as metodologias tradicionais de MLOps são inadequadas para lidar com LLMs, as próprias ferramentas de MLOps são insuficientes quando se trata de gerenciar pipelines de LLM. A seguir estão as razões pelas quais as ferramentas de LLMOps diferem das ferramentas de MLOps,

• Ao contrário das ferramentas de MLOps, as ferramentas de LLMOps precisam ser capazes de suportar os      recursos computacionais necessários para implantar LLMs com bilhões de parâmetros.
• Modelos de ML tradicionais podem ser treinados com dados ruidosos, mas modelos de linguagem grandes   são mais sensíveis à qualidade dos dados. Isso significa que as ferramentas de LLMOps  precisam ser capazes de garantir que os dados usados para treinar e implantar modelos de linguagem grandes sejam de alta qualidade.
• Modelos de ML tradicionais podem ser implantados em uma variedade de ambientes, mas modelos de linguagem grandes são mais desafiadores de implantar. Isso ocorre porque modelos de linguagem grandes exigem hardware e infraestrutura especializados. As ferramentas de LLMOps precisam ser capazes de automatizar a implantação de modelos de linguagem grandes em uma variedade de ambientes.

Essas razões tornam necessário construir uma prática de LLMOps que combine os princípios de DevOps e MLOps com a singularidade do gerenciamento de projetos de LLM.

Saiba mais sobre as melhores práticas para colocar LLMs em produção:

Centro de Excelência LLMOps: Uma Abordagem Econômica e Eficaz

No entanto, devido à escassez de talentos e recursos de engenharia, e à natureza em constante evolução deste campo, faz mais sentido reunir os recursos de uma organização para abordar os desafios mencionados acima. É aqui que entra um Centro de Excelência (CoE) de LLMOps. Um CoE de LLMOps é uma unidade ou equipe centralizada dentro da prática de IA e ML de uma organização, que se concentra em estabelecer as melhores práticas, processos e frameworks para implementar e gerenciar o LLMOps dentro da organização. Embora tenhamos certeza de que este tipo de equipe centralizada para promover e colocar LLMs em produção será chamada por diferentes nomes – CoE de GenAI, CoE de LLM, etc. – para empresas que já possuem um CoE de IA, isso se tornará um componente importante.

O objetivo principal de um CoE de LLMOps é permitir a implantação segura, eficiente e escalável de modelos de linguagem grandes, garantindo operações confiáveis e de alta qualidade.

Aqui estão 10 áreas-chave nas quais um CoE de LLMOps agrega valor à prática de IA e ML de uma organização:

1. Estratégia e Governança: O CoE de LLMOps define a visão estratégica e os objetivos para as operações de LLM dentro da organização. Ele estabelece frameworks de governança, políticas e padrões para garantir a conformidade, segurança e uso ético dos LLMs.
2. Design e Automação de Processos: O CoE projeta e documenta processos de ponta a ponta para operações de LLM, abrangendo tarefas como pré-processamento de dados, treinamento de modelos, implantação, monitoramento e manutenção. Ele se concentra em otimizar e automatizar esses processos para melhorar a eficiência e a reprodutibilidade.
3. Ferramentas e Infraestrutura: O CoE identifica, avalia e implementa ferramentas, tecnologias e infraestrutura apropriadas para apoiar as operações de LLM. Isso inclui a seleção de frameworks para desenvolvimento de modelos, pipelines de implantação, sistemas de controle de versão, ferramentas de pipeline de prompts, agentes autônomos, ferramentas de monitoramento e bancos de dados vetoriais.
4. Ajuste Fino: Ao contrário da implantação de aplicações tradicionais de machine learning, os projetos de LLM necessitam de ajuste fino — ajustar os parâmetros de um LLM já treinado usando um conjunto de dados menor e específico do domínio. Um CoE de LLMOps agrega valor a este novo aspecto da engenharia de IA, compartilhando as melhores práticas, prevenindo armadilhas comuns, oferecendo conjuntos de dados relevantes, modelos pré-treinados e muito mais para facilitar um processo de ajuste fino eficaz.
5. Engenharia de Prompts: O surgimento dos LLMs deu origem à engenharia de prompts. Embora este campo seja relativamente novo, está em rápida evolução e desempenha um papel crucial para garantir que os LLMs entreguem a saída correta de forma consistente. Assim, um papel fundamental que um CoE de LLMOps desempenha é o estabelecimento de diretrizes padronizadas, frameworks, ferramentas e a otimização do processo de desenvolvimento e pesquisa para se manter atualizado com o campo em rápida evolução da engenharia de prompts.
6. Colaboração e Compartilhamento de Conhecimento: O CoE de LLMOps promove a colaboração e o compartilhamento de conhecimento entre as equipes envolvidas nas operações de LLM. Ele promove a comunicação interfuncional, estabelece comunidades de prática e fornece programas de treinamento para garantir que a expertise seja compartilhada eficazmente em toda a organização.
7. Monitoramento e Otimização de Desempenho: O CoE define indicadores-chave de desempenho (KPIs) e estabelece práticas de monitoramento para acompanhar o desempenho e a saúde dos LLMs implantados. Ele desenvolve mecanismos para monitoramento automatizado, detecção de anomalias e otimização de desempenho para garantir operações de LLM confiáveis e eficientes.
8. Segurança e Conformidade: O CoE de LLMOps garante a segurança e a conformidade das operações de LLM. Ele desenvolve políticas e práticas para privacidade de dados, controles de acesso, criptografia e conformidade regulatória. O CoE colabora com equipes de segurança e jurídicas para abordar riscos e vulnerabilidades potenciais.
9. Gestão de Mudanças: O CoE orienta a organização através das mudanças culturais e operacionais associadas à adoção de LLMOps. Ele desenvolve estratégias de gestão de mudanças, planos de comunicação e programas de treinamento para facilitar transições suaves, obter o apoio das partes interessadas e maximizar o valor das práticas de LLMOps.
10. Viabilizando Casos de Uso de Negócio: Por último, mas não menos importante, uma função muito essencial de um CoE de LLMOps é viabilizar casos de uso de negócio. Ao fornecer expertise, melhores práticas, ferramentas, recursos, e treinamento e suporte, um CoE de LLMOps ajuda as empresas a desenvolver e implantar LLMs para uma variedade de objetivos de negócio.

Alguns casos de uso de negócios de LLM com os quais acreditamos que os CoEs podem ajudar são os seguintes:

• Suporte ao cliente automatizado: Um CoE de LLMOps pode desenvolver e implementar LLMs para automatizar tarefas de suporte ao cliente, como responder a perguntas frequentes (FAQs) e resolver problemas simples. Isso pode liberar os agentes de suporte ao cliente humanos para se concentrarem em tarefas mais complexas.
• Marketing personalizado: Eles podem desenvolver e implementar LLMs para personalizar campanhas de marketing para cada cliente individual. Isso pode ajudar as empresas a aumentar as vendas e melhorar a satisfação do cliente.
• Criação de conteúdo: Eles podem desenvolver e implementar LLMs para criar conteúdo, como posts de blog, artigos e posts para redes sociais. Isso pode ajudar as empresas a economizar tempo e dinheiro na criação de conteúdo.
• Conformidade:  Eles podem desenvolver e implementar LLMs para ajudar as empresas a cumprir regulamentações, como GDPR e CCPA. Isso pode ajudar as empresas a evitar multas e penalidades caras.
• Um modelo de linguagem recente e notável que oferece uma ampla gama de aplicações no campo da PNL é o Falcon 40B. Este modelo pode ajudar com tarefas como análise de sentimento, classificação de texto, resposta a perguntas e muito mais.

Para aprender a implementar o Falcon 40B, leia este blog da TrueFoundry

‍

Deploy Falcon-40B on AWS: 40% Cheaper than Sagemaker

Deploy Falcon-40B on AWS at a 40% cheaper cost than Sagemaker. In this blog, we will be comparing the cost of running it on Sagemaker vs Truefoundry.

TrueFoundry Blog Abhishek Choudhary

‍

Aqui estão as nossas 4 principais recomendações de blog para saber mais sobre casos de uso de negócios de LLM:

• Casos de uso de IA Generativa na DoorDash
• Casos de uso de LLM para contadores
• Casos de uso de IA Generativa no Airbnb
• Casos de uso de IA Generativa em P&D Farmacêutica

No entanto, como toda função bem-sucedida em uma empresa, a força vital de um CoE de LLMOps é sua equipe. Um CoE de LLMOps geralmente inclui uma combinação dos seguintes 6 papéis e especialidades:

1. Líder/Gerente de LLMOps: Responsável por supervisionar o CoE de LLMOps, definir a visão, coordenar as atividades e garantir o alinhamento com os objetivos de negócio.
2. Cientistas de Dados: Especialistas no desenvolvimento e ajuste fino de LLMs, na compreensão do processamento de linguagem natural e na orientação dos processos de modelagem e treinamento.
3. Engenheiro de Prompts: Um engenheiro de prompts é uma função especializada no campo dos grandes modelos de linguagem. Eles são responsáveis por desenvolver e refinar prompts (entradas) que irão melhorar o desempenho dos LLMs. Isso inclui trabalhar com as partes interessadas para entender suas necessidades, projetar e testar prompts, e monitorar e avaliar os resultados do LLM. Os engenheiros de prompts também precisam manter-se atualizados sobre os últimos desenvolvimentos em IA e PNL para que possam continuar a aprimorar suas habilidades e conhecimentos.
4. Engenheiros de Machine Learning: Proficientes na implementação e operacionalização de LLMs, gerenciamento de infraestrutura, projeto de pipelines de implantação e integração de LLMs em sistemas de produção. Os MLEs também são hábeis no gerenciamento da infraestrutura, pipelines de CI/CD e automação de implantação necessários para as operações de LLM.
5. Engenheiros de Dados: Responsáveis pelo pré-processamento de dados, integração de dados e gerenciamento de pipelines de dados para suportar o treinamento e a implantação de LLMs.
6. Gerentes de Projeto: Responsáveis por supervisionar projetos de LLMOps, coordenar recursos e garantir a implementação e entrega bem-sucedidas.

Quais os Benefícios de um CoE de LLMOps?

Embora um CoE de LLMOps ajude a construir uma prática de LLMOps de forma eficiente, aqui estão os 8 principais benefícios de um CoE de LLMOps para sua prática de engenharia, IA e ML:

A. Escalabilidade e Eficiência:

1. Gerenciando a natureza intensiva em recursos dos grandes modelos de linguagem: Um CoE de LLMOps especializa-se em gerenciar a natureza intensiva em recursos dos grandes modelos de linguagem (LLMs). Isso inclui abordar desafios relacionados ao armazenamento, poder computacional e requisitos de memória.
2. Garantindo a utilização otimizada dos recursos computacionais: O CoE de LLMOps foca na otimização da utilização dos recursos computacionais para operações de LLM. Isso envolve técnicas como paralelismo de modelo, paralelismo de dados e computação distribuída para aproveitar os recursos disponíveis de forma eficaz.

B. Governança e Conformidade:

1. Abordando considerações éticas e viés em modelos de linguagem: O CoE de LLMOps reconhece as considerações éticas associadas aos LLMs, incluindo potenciais vieses e riscos de gerar conteúdo inadequado. O CoE estabelece processos e estruturas para abordar essas preocupações, como técnicas de detecção e mitigação de vieses, práticas responsáveis de tratamento de dados e diretrizes para o comportamento adequado do modelo.
2. Garantindo a conformidade com os requisitos regulatórios: O CoE de LLMOps garante que as operações de LLM estejam em conformidade com os requisitos regulatórios relacionados à privacidade de dados, segurança e regulamentações específicas do setor. Ele colabora com equipes jurídicas e de conformidade para estabelecer políticas, implementar medidas de segurança e manter trilhas de auditoria.

C. Gestão e Monitoramento de Modelos:

1. Otimizando o versionamento, implantação e atualizações de modelos: O CoE de LLMOps estabelece processos robustos para gerenciar versões de modelos, implantações e atualizações. Ele implementa sistemas de controle de versão, pipelines de implantação automatizados e mecanismos de reversão para otimizar o lançamento e a gestão de LLMs.
2. Monitoramento contínuo de desempenho, desvio (drift) e robustez: O CoE incorpora mecanismos de monitoramento e alerta para rastrear o desempenho, o desvio (drift) e a robustez dos LLMs implantados. Ele estabelece pipelines de monitoramento para capturar métricas como precisão, latência e detecção de vieses.

D. Colaboração e Compartilhamento de Conhecimento:

1. Promovendo a colaboração multifuncional entre cientistas de dados, engenheiros e partes interessadas: O CoE de LLMOps promove a colaboração e a comunicação entre várias equipes envolvidas nas operações de LLM, incluindo cientistas de dados, engenheiros de machine learning, engenheiros de DevOps e partes interessadas do negócio.
2. Compartilhando as melhores práticas e insights entre projetos e equipes: O CoE serve como um repositório central de conhecimento e expertise em operações de LLM. Ele facilita o compartilhamento de melhores práticas, lições aprendidas e insights obtidos de diferentes projetos de LLM.

Como a TrueFoundry Pode Ajudar no Estabelecimento de um CoE de LLMOps?

TrueFoundry é uma Plataforma de Treinamento e Implantação de Machine Learning nativa da nuvem, com sede nos EUA. Nós permitimos que as empresas executem modelos do tipo ChatGPT e gerenciem LLMOps em sua própria nuvem ou infraestrutura.

Após conversar com mais de 50 empresas que já estão começando a colocar LLMs em produção, construindo sistemas de ML em larga escala em empresas como Netflix, Gojek e Meta e ajudando as equipes de CoE de 2 empresas da F500 a explorar LLMs, construímos estruturas e processos para ajudar as empresas a configurar seu próprio CoE e infraestrutura de LLMOps.

A seguir estão as formas pelas quais podemos ajudá-lo a configurar ou aprimorar sua prática de LLMOps já estabelecida.

1. Consultoria e Estratégia: Colaboramos com as partes interessadas da empresa para desenvolver uma estratégia de LLMOps personalizada para um CoE de LLMOps. Isso inclui a definição do escopo, trabalho e objetivos, identificação dos principais desafios e o delineamento dos resultados desejados. Exemplo: estamos assessorando Merck, a gigante farmacêutica F50, sobre como construir a infraestrutura certa para operacionalizar LLMs.
2. Arquitetura e Infraestrutura: Ajudamos a projetar a arquitetura LLMops e a infraestrutura que se alinha às necessidades da sua empresa para o CoE de LLMOps. Ajudamos a definir a infraestrutura de nuvem ou local necessária, selecionar as ferramentas e tecnologias apropriadas e otimizar a alocação de recursos para garantir o treinamento, a implantação e o gerenciamento eficientes de LLMs.
3. Implantação e Automação: Apoiamos o CoE na implementação de processos LLMOps de ponta a ponta, incluindo versionamento de modelos, pipelines de integração contínua e entrega contínua (CI/CD) e fluxos de trabalho automatizados. Ajudamos a configurar pipelines de implantação, implementar sistemas de monitoramento e alerta e automatizar os processos de implantação e atualização para garantir operações de LLM eficientes e confiáveis.
4. Treinamento e Capacitação: Oferecemos programas de treinamento e capacitação para educar os membros da equipe do CoE sobre as melhores práticas, ferramentas e metodologias de LLMOps. Conduzimos workshops, webinars e sessões de treinamento prático para garantir que o pessoal da empresa tenha as habilidades e conhecimentos necessários para gerenciar LLMOps de forma eficaz.
5. Colaboração e Compartilhamento de Conhecimento: Fornecemos nossa plataforma e frameworks TrueFoundry para colaboração multifuncional, documentação e compartilhamento de melhores práticas. Ao integrar empresas em nossa plataforma amigável, permitimos que elas aproveitem a expertise coletiva de suas equipes e promovam a inovação em LLMOps.
6. Suporte e Manutenção: Oferecemos serviços contínuos de suporte e manutenção para garantir o funcionamento contínuo da infraestrutura LLMOps. Fornecemos assistência técnica, solução de problemas e manutenção da plataforma de implantação, permitindo que você se concentre em seus objetivos de negócio principais, garantindo a confiabilidade e o desempenho de suas operações de LLM.

Então, se você busca maximizar os retornos de seus projetos de LLM e capacitar sua empresa a aproveitar a IA da maneira certa

Converse conosco

se você busca maximizar os retornos de seus projetos de LLM e capacitar sua empresa a aproveitar a IA da maneira certa, gostaríamos muito de conversar e trocar ideias.

Tome um ☕️ conosco

Saiba como a TrueFoundry o ajuda a implementar LLMs em 5 minutos:

‍

Deploy and Fine-tune Open Source LLMs With a Few Clicks!

TrueFoundry offers an intuitive solution for LLM deployment and fine-tuning. With our Model Catalogue, companies can self-host LLMs on Kubernetes, reducing inference costs by 10x in just one click. Discover how to deploy a Dolly-v2-3b model and fine-tune a Pythia-70m using TrueFoundry in our blog.

TrueFoundry Blog TrueFoundry