в копилку: aisuite - python библиотека-wraper для работы с разными LLM моделями. что бы можно было не разбираться в особенностях каждого API, а работать с ними через единый программный интерфейс. Поддерживает OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova and Watsonx https://github.com/andrewyng/aisuite