基于函数计算实现AI推理

基于函数计算实现AI推理

场景介绍

基于阿里云函数计算建立一个TensorFlow Serverless AI推理平台。。

背景知识

函数计算 Function Compute 是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源，弹性地可靠地运行任务，并提供日志查询、性能监控和报警等功能。函数计算帮助您无需管理服务器（Serverless），仅专注于函数代码就能快速搭建应用。函数计算能够弹性地伸缩，您只需要按使用量付费。优势总结：基于函数计算进行 AI 推理等 CPU 密集型的主要优势1.上手简单， 只专注业务逻辑开发， 极大提高工程开发效率。

自建方案有太多学习和配置成本，如针对不同场景，ESS 需要做各种不同的参数配置系统环境的维护升级等。

免运维，函数执行级别粒度的监控和告警。

3.毫秒级弹性扩容，保证弹性高可用，同时能覆盖延迟敏感和成本敏感类型。

4.在 CPU 密集型的计算场景下， 通过设置合理的组合计费模式， 在如下场景中具有成本优势：

请求访问具有明显波峰波谷， 其他时间甚至没有请求有一定稳定的负载请求， 但是有部分时间段请求量突变剧烈

场景体验

场景将介绍使用函数计算产品部署深度学习 AI 推理平台的最佳实践，基于函数计算 Function Compute。

让人工智能领域开发者可以更专注于算法模型的训练与业务逻辑的开发，将计算集群的运维工作交给函数计算，提高工作效率。

最终效果：通过上传一个猫或狗的照片， 识别出这个照片里面的动物是猫还是狗。DEMO 示例效果入口： 是一个用于支持Serverless应用部署的工具，能帮助您便捷地管理函数计算、API 网关和日志服务等资源。它通过一个资源配置文件（template.yml），协助您进行开发、构建和部署操作。1.将Fun的安装包下载到本地。请将下面的FUN_VERSION变量的值设置为最新版本号，最新版本号请参见Releases。以下操作将在ECS服务器上安装和配置Fun。

FUN_VERSION="v3.6.1" curl -o fun-linux.zip -y install unzip unzip fun-linux.zip

3.将解压出来的可执行文件移动到系统路径。

mv fun-*-linux /usr/local/bin/fun

4.配置Fun关联的阿里云账号和调用SDK的超时时间等信息。

fun config

请参考以下信息输入您的阿里云账号ID、AccessKeyID和AccessKey密钥等信息。

步骤四：安装Docker

1.安装Docker的依赖库。

yum install -y yum-utils device-mapper-persistent-data lvm2

2.添加docker-ce的软件源信息。

yum-config-manager --add-repo makecache fast yum -y install docker-ce

4.启动Docker服务。

systemctl start docker

步骤五：创建NAS文件系统挂载点

步骤六：下载项目代码

1.安装Git工具并使用Git克隆项目代码到本地。

yum -y install git git clone cat-dog-classify vim template.yml

b.输入以下命令全局替换日志服务项目名称。

:%s/log-ai-pro/log-ai-test/g

命令中log-ai-test为修改后的项目名称，您可以替换为您的自定义项目名称。

c.修改NAS挂载配置。默认auto方式将会自动创建NAS文件系统，这里我们修改填写为平台预创建好的NAS文件系统的信息。

VpcConfig: VpcId: 'vpc-uf6u8*****zf1r4' VSwitchIds: [ 'vsw-uf6******038fy' ] SecurityGroupId: 'sg-uf6e******w6qz' NasConfig: UserId: 10003 GroupId: 10003 MountPoints: - ServerAddr: '33****u83.cn-shanghai.nas.aliyuncs.com:/' MountDir: '/mnt/auto'

修改的参数说明如下：

步骤七：将依赖文件上传到NAS

1.执行以下命令初始化NAS。

fun nas init

2.查看本地NAS的目录位置。

fun nas info

3.执行以下命令安装相关依赖。

fun install -v

命令执行成功结果如下所示。

将依赖下载到.fun/nas/auto-default/classify/python目录中。 将model中的模型文件拷贝到.fun/nas/auto-default/classify/model/目录中。4.将本地NAS目录同步到阿里云NAS存储中。

fun nas sync

5.查看文件是否上传到远程NAS目录。

fun nas ls nas://classify:/mnt/auto/

步骤九：部署到函数计算平台

执行以下操作将函数部署到函数计算平台：

fun deploy -y

步骤九：测试预测服务

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。