容天训推生产力·全栈式AI智能助手

2024-4-30

随着人工智能大模型新纪元的开启，大模型的实用化和商业化应用已成为业界关注的焦点。为了满足这一真实需求，一款创新的、全方位的一体化解决方案——容天AI-Station应运而生。这款产品整合了多种先进的人工智能技术和工具，旨在提供一个高效、易用且功能强大的平台，以帮助企业和开发者更轻松地实现大模型的应用。 

容天AI-Station专为大模型推理场景精心设计，提供了从底层硬件到上层应用的全栈式支持，包含了任何类型的模型，从开放模型到专有模型，覆盖了从数据预处理、模型优化、推理加速到应用部署等各个环节，用户无需关心底层细节，只需专注于行业业务，即刻开始大模型的验证、应用和部署。

容天AI-Station集成NVIDIA系列GPU, 支持最新的Ada Lovelace架构：

1. 第四代Tensor Core，专为深度学习矩阵乘法和累加数学运算而设计，可加速更多数据类型，可将张量矩阵运算的吞吐量提升至前一代产品的 2 倍以上。

2. 与上一代 GPU 相比，基于 Ada 的 CUDA核心能够以两倍的速度处理单精度浮点 (FP32) 运算。

3. 支持PCIe4.0，所提供的带宽是 PCIe 3.0 带宽的 2 倍，提高了从 CPU 内存传输数据的速度，可更好地执行 AI 和数据科学等数据密集型任务。

4. 支持NVIDIA Triton推理服务，简化和加速 AI 推理工作负载的部署，用于创建 LLM 的生产就绪型部署，极大减少大模型推理配置和部署周期。

5. 使用最新的大模型推理加速技术TensorRT-LLM，对内核进行优化，包含FlashAttention支持、预处理和后处理步骤以及多GPU/多节点通信基元，与Triton搭配使用，可在GPU上实现突破性的 LLM 推理性能。

6. 内置NVIDIA NIM微服务，针对每个模型和硬件配置独立的推理引擎，提供尽可能好的延迟和吞吐量，大大降低推理工作负载和推理成本；同时NIM兼容多种AI模型，包括大型语言模型 (LLM)、视觉语言模型 (VLM)，以及用于语音、图像、视频、3D、药物研发、医学成像等的相关模型。

容天AI-Station面向科学领域研究和行业开发。

• 面向领域研究的工作者，进行文本、图片、语音、视频、预测分析等大模型推理验证和应用研究。

• 面向行业开发者，支持医疗、教育、政企、能源、智能制造等行业的二次开发和应用，进而联合推出面向行业应用的大模型知识问答一体机，帮助用户实现数智化转型，盘活数据资产。

容天科技AI-Station——知识问答推理一体机，是容天公司面向人工智能领域而打造的大模型推理战略基础的新一代产品，标志着AI大模型开启快速验证、应用和部署的重要里程碑。未来，容天AI-Station将继续以零代码、标准化的大模型开发应用流程，以极低成本和高效的推理服务部署，帮助客户快速实现大模型应用落地，站在人工智能创新的最前沿。