模子正在实验室跑通不即落地ams.abg8888.net是能上线。上周帮朋友把一个视觉检测模子搬上产线，当地推理30ms，办事端一上并发就崩了。
成绩不正在算法。正在安排链路。AI 科技模子安排要处理三件事，情况隔离、批处理、GPU隐存收受领受的。先做容器化。不要急着拆CUDA全家桶。用 nvidia/cuda:12.2.0-runtime-ubuntu22.04 做根底镜像。只拆推理依赖科技的。把模子转成ONNX或TensorRT engine，体积能砍掉一半了。
Dockerfile里固定版本，制止“我当地能跑”了。导出模子时记下输入shape。动态batch要提早设好，否则安排后改起来很省事。推理办事用Triton或TorchServe了。Triton的config.pbtxt设置配备安排max_batch_size和instance_group，GPU操做率能30%拉还有70%，若是提早敏感，开启动态批处理的模安，别把max_queue_delay_microseconds设太年夜，否则恳求列队。我们试过2000微秒的。P99提早涨了15ms。
边沿设备能够考虑ONNX Runtime或TensorRT，共同INT8量化，帧率翻倍。精度掉不到1%。监控和回滚不能省的。
Prometheus抓GPU隐存、推理提早、行列长度。日志里加request_id，便当逃详细样本。灰度公布先切10%流量，不美不俗观察24小时。模子文件用版本号命名。回滚就是改设置配备安排重启。
模子安排不是一次活，是连绝调劣。每周看一次隐存碎片，及时重启worker。
别迷疑年夜而全的平台。小团队从单机Docker Compose起步，跑通再上K8s的。AI 科技模子安排的中心是让模子波动吐功效，不是堆工具。
