岗位职责

1、负责深度学习在线推理引擎的设计与开发，打造低延时，高吞吐的推理引擎；

2、参与神经网络加速技术的调研、探索和落地；

3、负责nlp大模型在实际业务场景中落地。

任职要求

1、本科及以上学历，具备丰富的模型推理加速算法经验，熟悉各类主流加速库，如：tensorrt / cudnn / mkl / xla等；熟悉各类ir，包括不限于onnx；

2、熟悉主流深度学习框架：tensorflow / pytorch，熟悉主流推理引擎：triton / openvino；

3、有算子开发经验，具备深度学习模型性能分析和优化能力；

4、熟悉图优化、混合精度、剪枝、编译优化技术，有实操业务落地经验的优先；

5、熟悉模型部署优化，如模型量化、模型压缩，模型转换，模型稀疏化等；

6、熟练掌握c/c++/python编程，有大模型端到端落地经验者优先；

7、熟悉pytorch源码者优先。