Ssebowa: An Open-Source Generative AI Library for Text, Image, and Video Creation

Introduction

Ssebowa is an open source Python library that provides generative AI models, including:

• ssebowa-llm: A large language model (LLM) for text generation
• ssebowa-vllm: A visual language model (VLLM) for visual understanding
• ssebowa-imagen: An image generation and customized fine tuning model
• Ssebowa-vigen: A video generation model

Ssebowa 是一个开源的 Python 库，提供多种生成式 AI 模型，包括：

• ssebowa-llm：用于文本生成的大型语言模型 (LLM)
• ssebowa-vllm：用于视觉理解的视觉语言模型 (VLLM)
• ssebowa-imagen：图像生成与定制微调模型
• Ssebowa-vigen：视频生成模型

With Ssebowa, you can easily generate text, translate languages, write different kinds of creative content, personalized image generation and answer your questions in an informative way.

借助 Ssebowa，您可以轻松生成文本、翻译语言、撰写各类创意内容、进行个性化图像生成，并以信息丰富的方式回答您的问题。

For more detailed usage information, please refer to: Ssebowa's technical documentation

更多详细用法信息，请参考：Ssebowa 技术文档

---

Installation

Before running the script, ensure that the required libraries are installed. You can do this by executing the following commands:

在运行脚本之前，请确保已安装所需的库。您可以通过执行以下命令来完成：

git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .

Then install Ssebowa:

然后安装 Ssebowa：

pip install ssebowa

If you are running these commands in Colab or Jupyter Notebook, please use the following:

如果您在 Colab 或 Jupyter Notebook 中运行这些命令，请使用以下方式：

!git clone https://github.com/huggingface/diffusers
!cd diffusers
!pip install .

!pip install ssebowa

Now, you can access the different models by importing them from the library:

现在，您可以通过从库中导入来访问不同的模型。

---

Ssebowa Image Generation

Ssebowa-Imagen is an open-source image synthesis model that utilizes a combination of diffusion modeling and generative adversarial networks (GANs) to generate high-quality images from text descriptions and allows also to turn your few photos into custom model that is capable of generating stunning images of your chosen subject. It leverages a 100 billion dataset of images and text descriptions, enabling it to accurately capture the nuances of real-world imagery and effectively translate text descriptions into compelling visual representations.

Ssebowa-Imagen 是一个开源图像合成模型，它结合了扩散模型 (Diffusion Modeling) 和生成对抗网络 (GANs)，能够根据文本描述生成高质量图像，并允许将您的少量照片转化为能够生成所选主体惊艳图像的定制模型。该模型利用了包含 1000 亿张图像和文本描述的数据集，能够准确捕捉真实世界图像的细微差别，并有效地将文本描述转化为引人注目的视觉呈现。

Finetuning on Your Own Data

• Prepare about 10-20 high-quality solo photos (jpg or png) like yours, friend, product or pets etc and put them in a specific directory.
• Please run on a machine with a GPU of 16GB or more. (If you're fine-tuning SDXL, you'll need 24GB of VRAM.)

• 准备大约 10-20 张高质量的单人照片（jpg 或 png 格式），例如您自己、朋友、产品或宠物等，并将其放入特定目录。
• 请在配备 16GB 或以上 GPU 的机器上运行。（如果您要微调 SDXL，则需要 24GB 显存。）

from ssebowa.dataset import LocalDataset
from ssebowa.model import SdSsebowaModel
from ssebowa.trainer import LocalTrainer
from ssebowa.utils.image_helpers import display_images
from ssebowa.utils.prompt_helpers import make_prompt

DATA_DIR = "data"  # The directory where you put your prepared photos
OUTPUT_DIR = "models"

dataset = LocalDataset(DATA_DIR)
dataset = dataset.preprocess_images(detect_face=True)

SUBJECT_NAME = "<YOUR-NAME>"
CLASS_NAME = "person"

model = SdSsebowaModel(subject_name=SUBJECT_NAME, class_name=CLASS_NAME)
trainer = LocalTrainer(output_dir=OUTPUT_DIR)
predictor = trainer.fit(model, dataset)

# Use the prompt helper to create an awesome AI avatar!
prompt = next(make_prompt(SUBJECT_NAME, CLASS_NAME))
images = predictor.predict(
    prompt, height=768, width=512, num_images_per_prompt=2,
)

display_images(images, fig_size=10)

Basic Image Generation

from ssebowa import Ssebowa_imgen
model = Ssebowa_imgen()

Generate an image with the text description. For example, let's generate "A cat sitting on a bookshelf":

使用文本描述生成图像。例如，生成“一只坐在书架上的猫”：

image = model.generate_image("A cat sitting on a bookshelf")

Save the image to a file:

将图像保存到文件：

image.save("cat_on_bookshelf.jpg")

---

Ssebowa Vision Language Model

Ssebowa-vllm is an open-source visual large language model (VLLM) developed by Ssebowa AI. It is a powerful tool that can be used to understand images. Ssebowa-vllm has 11 billion visual parameters and 7 billion language parameters, supporting image understanding at a resolution of 1120*1120.

Ssebowa-vllm 是由 Ssebowa AI 开发的开源视觉大语言模型 (VLLM)。它是一个可用于理解图像功能的强大工具。Ssebowa-vllm 拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解。

from ssebowa import ssebowa_vllm
model = ssebowa_vllm()

response = model.understand(image_path, prompt)
print(response)

---

Model Comparison

模型名称	主要功能	关键参数/规格	使用场景
ssebowa-llm	文本生成	大型语言模型	内容写作、翻译、问答
ssebowa-vllm	视觉理解	110亿视觉参数 + 70亿语言参数；1120×1120分辨率	图像描述、视觉问答
ssebowa-imagen	图像生成与定制微调	扩散模型 + GAN；1000亿数据集；支持定制主体训练	文生图、个性化头像
Ssebowa-vigen	视频生成	视频生成模型	视频内容创作

---

Contributing

Ssebowa is open to contributions! Guidelines in progress...

Ssebowa 欢迎贡献！指南正在制定中...

License

Ssebowa is released under Apache License 2.0.

Ssebowa 采用 Apache License 2.0 许可证发布。

Contact

If you have any questions or suggestions, please feel free to open an issue on GitHub or contact us at support@ssebowa.ai

如果您有任何问题或建议，请随时在 GitHub 上提交 issue，或通过 support@ssebowa.ai 联系我们。

常见问题（FAQ）

Ssebowa 需要什么硬件配置？

Ssebowa 需要配备至少 16GB 显存的 GPU 才能运行。如果微调 SDXL 模型，则需要 24GB 显存。

如何用 Ssebowa 微调自己的图像模型？

准备 10-20 张高质量单人照片，放入指定目录。使用 LocalDataset 加载并预处理，然后通过 LocalTrainer 微调 SdSsebowaModel 即可生成定制图像。

Ssebowa 支持哪些生成任务？

Ssebowa 支持文本生成（ssebowa-llm）、视觉理解（ssebowa-vllm）、图像生成与微调（ssebowa-imagen）以及视频生成（Ssebowa-vigen）。