by Hsuan Han Lai

资源链接:
TuyaOpen 开发者 资源统一入口
TuyaOpen 是什么
大模型时代的AI硬件开发平台
涂鸦AI云平台+Tuya Open提供完整解决方案,帮助开发者一套方案搞定全球(视觉、听觉、触觉)AI硬件出货,让硬件真正拥有智能。
基于T系列开发板的产品创新
通过Tuya T系列推出的开发板,让开发者能够轻松DIY AI硬件,降低创新门槛,加速产品开发周期,让创意快速变为现实。
开源社区生态
Tuya Open已正式发布,支持涂鸦T5芯片和ESP32,未来将支持树莓派等三方平台。开源代码让开发者能深入学习AI+IoT核心技术。
我们正在积极建立模块、开发板渠道和拓展海外市场,同时通过高校开发者比赛、教程编写等活动扩大平台影响力,为开发者创造更多机会和资源。Tuya Open代表了一个新时代的开始,让AI与硬件的融合变得简单而强大。
开源共创社区生态
Tuya Open生态已经吸引了众多行业领先的合作伙伴,共同打造开放、创新的AI+IoT开发环境。这些合作伙伴涵盖芯片厂商、模组制造商、方案提供商及教育机构,形成了完整的产业链支持。
芯片合作伙伴
提供底层硬件支持,确保Tuya Open在不同处理能力和价位的硬件上都能高效运行,满足不同应用场景需求。
模组厂商
基于涂鸦T系列芯片开发各类通信模组,简化硬件集成过程,帮助开发者快速实现产品联网功能。
方案提供商
提供垂直行业解决方案,结合Tuya Open框架打造特定场景下的AI+IoT应用,加速市场落地。
教育机构
通过课程设计、实验室合作等方式培养AI+IoT人才,推动技术创新和知识传播,壮大开发者社区。
通过这个强大的开源共创社区,我们共同推动AI+IoT技术的普及和创新,为开发者提供更丰富的资源和更广阔的发展空间。加入Tuya Open生态,与全球伙伴一起定义AI硬件的未来!
Tuya Wukong AI 框架
多模态输入与输出系统
多模态输入是指设备通过多种形式,如文本、语音、视频等与大模型进行交互,大模型识别后返回信息。这种多维度的交互方式大幅提升了人机交互的自然度和效率。
交互协议是为了确保不同实体(如设备、系统、用户与AI等)之间能够准确、高效、可靠地进行信息交互而制定的一系列规则和约定。这些协议确保了整个生态系统的兼容性和互操作性。
设备配网
用户首先需要完成设备配网,将设备连接到网络环境中
信息上传
设备上传多模态信息,如语音、视频、文本、文件、图片等
大模型识别
云端通过大模型对上传的信息进行处理和分析
返回交互信息
大模型处理后返回相应的交互信息给设备
涂鸦AI+IoT云平台提供了完整的端到云解决方案,让设备能够充分利用云端大模型的强大能力,同时保持低延迟和高可靠性,为用户带来智能、自然的交互体验。
情绪感知技术提升交互体验
情绪感知技术是人工智能领域的一个关键挑战,它旨在通过和用户交互,自动检测和识别人类的情绪状态,如快乐、悲伤、愤怒等。这种技术通过分析用户的语音、面部表情、文本内容等多种信号,综合判断用户当前的情绪状态。
准确的情绪识别可以帮助系统做出更加恰当的响应,提高用户体验。例如,当检测到用户情绪低落时,系统可以提供安慰或积极的内容;当检测到用户兴奋时,系统可以相应地提高互动的活跃度。
情绪类型识别
系统能够识别多种情绪类型,包括喜悦、悲伤、愤怒、惊讶、恐惧、厌恶等基本情绪,以及更为复杂的情绪状态。
个性化表情反馈
开发者可以根据识别到的情绪类型,实现自定义的表情、动作等反馈,使设备的响应更具人性化。
交互体验优化
通过情绪感知,设备可以调整交互策略,如语速、音调、内容选择等,创造更加自然和愉悦的用户体验。
Wukong AI硬件开发框架全面支持情绪感知技术,开发者可以获取每次交互的情绪数据,并根据情绪的类型,实现各种个性化的表情、动作和反馈,大幅提升设备的交互体验,使AI设备更具情感共鸣能力。
交互流程
硬件与涂鸦云的多模态交互逻辑
用户输入
用户通过语音、触摸、手势等方式与设备进行交互,设备捕获这些输入信号
数据上传
设备将捕获的图像、视频、文本或语音等多模态数据通过安全通道上传至涂鸦云
云端处理
涂鸦云平台利用大模型对上传的多模态数据进行处理、分析和理解,提取核心意图
响应返回
处理结果以适当的形式(语音、文本、控制指令等)返回给设备
设备执行
设备根据返回的指令执行相应操作,如播放语音回复、展示信息或控制其他功能
这种多模态交互流程使设备能够理解更复杂的用户意图,提供更自然、更智能的用户体验。涂鸦云平台的强大处理能力和优化的通信协议确保了整个交互过程的流畅性和响应速度,即使在网络条件不佳的情况下也能保持良好的体验。
开发者可以根据产品特点和应用场景,灵活选择和组合不同的交互模态,打造差异化的产品体验。无论是语音优先的智能音箱,还是以视觉交互为主的智能显示设备,都能通过这一框架实现丰富的交互功能。
TuyaOpen vs TuyaOS
TuyaOpen 是从行业领先的 TuyaOS 架构开源的。经过全球 130 万开发者的验证,它提供了一个定义良好的 API,用于开发支持不同 MCU 的 C/C++ 应用程序。抽象了外设连接、云连接和安全性的复杂性。此框架通过简单的编码体验加速您的开发过程,使您能够更快、更轻松地构建 AI+IoT 产品。
:::tip 怎么选? 大赛同学按照需求选用即可。目前如果有“视频AI”和"商业化"需求选TuyaOS,不然强烈建议TuyaOpen。TuyaOpen生态更加开放。 :::
TuyaOpen vs TuyaOS 差异
Tuya Open SDK介绍
TuyaOpen VS. TuyaOS 对比
TuyaOpen 是从行业领先的 TuyaOS 架构开源的。经过全球 130 万开发者的验证,它提供了一个定义良好的 API,用于开发支持不同 MCU 的 C/C++ 应用程序。抽象了外设连接、云连接和安全性的复杂性。此框架通过简单的编码体验加速您的开发过程,使您能够更快、更轻松地构建 AI+IoT 产品。
1
跨平台
标准化的 TuyaOpen Kernel Layer API(TKL)设计,满足不同芯片平台、系统、连接协议的开发需求,一次设备开发,可以在不同的芯片平台上使用。
2
低代码
统一的业务框架、驱动框架,无需关心具体的实现原理,调用接口函数即可快速开发设备功能。同时提供了丰富的演示、测试程序,开发者仅需基于演示程序进行简单的改动,即可快速实现设备接入。
3
低资源
在有限的资源上实现了丰富的功能,通过专有的 OTA 技术实现了极高的 Flash 利用率,甚至在 2M Flash 和 256K RAM也能实现完整功能。
4
组件丰富
提供基础服务、安全、网路服务中间件、丰富的物联网业务功能组件,满足物联网领域各种应用场景需求。完全融入涂鸦智能设备生态,接入涂鸦 App、云端。
TuyaOpen具备稳定可靠、互联互通和安全合规等特性,支持设备间的互相发现和连接,实现云端及本地场景联动,同时在安全性和隐私保护方面满足全球各地法规要求,适合全球化商业设备出货。
Tuya T5 开发板芯片介绍
T5 芯片核心能力
音频+视频多模态
支持语音识别、视觉识别和多模态融合,提供全方位的交互能力
大模型交互能力
无缝连接涂鸦云端大模型,让设备具备强大的AI能力
硬件灵活扩展
丰富的接口支持多种外设连接,满足不同应用场景需求
涂鸦 T5AI-Board 开发板采用涂鸦智能开发的 Wi-Fi 和蓝牙双模模组 T5-E1-IPEX,搭载 2 路 MIC 和 1 路 Speaker,支持语音识别和播放。通过开发板上 IO 口连接器,可搭配 LCD 显示子板,实现触摸屏和摄像头捕捉功能。
开发板硬件规格
  • Tuya T5 MCU Module (Wi-Fi 2.4G + BLE 5.4)
  • 8 MB Flash Memory
  • 16 MB RAM
二次开发硬件
AI硬件开发步骤
需求AI确定(产品定义)
  • 需要通过AI解决什么问题?
  • 硬件端改造or应用端改造?
在这一阶段,明确产品目标和AI功能需求,确定产品形态和主要应用场景,选择合适的技术路线。
智能体开发(云配置)
  • 根据功能定义智能体(必要)
  • 知识库准备(按需)
  • 工具、工作流配置(按需)
配置云端智能体能力,根据产品特点定制智能体行为模式,上传专业领域知识库提升理解能力。
硬件开发
  • 选择开源硬件载体:如T5、T系列开发板、野火、地瓜、正点开发板
  • 基于开发硬件平台移植Tuyaopen开发应用固件
选择合适的硬件平台,移植TuyaOpen框架,开发适配产品功能的应用固件,完成硬件功能调试。
产品关联智能体
  • 关联云服务AI能力到硬件载体
将开发的硬件与云端智能体关联,完成端云协同配置,实现完整的AI产品功能,进行整体测试和优化。
涂鸦AI产品方案开发流程支持客户以更高效率、更低成本、更灵活的端云策略创新AI硬件产品。完整的开发指南可参考:https://developer.tuya.com/cn/docs/iot/AI-feature?id=Keapy1et1fc63
通过这套完整的开发流程,开发者可以快速将创意转化为实际产品,大幅缩短从概念到上市的时间,同时保证产品的技术质量和用户体验。
方案介绍-激发创意
TuyaOpen平台提供多样化的解决方案,旨在激发开发者的创新思维和产品创意。通过我们的开放生态系统,您可以快速将概念转化为实际产品,打破传统开发的限制。
我们的方案涵盖智能家居、儿童教育、健康医疗及工业智能等多个领域,为开发者提供丰富的技术支持和资源,帮助您探索AIoT领域的无限可能。
接下来,我们将展示几个典型案例,这些创新方案不仅展示了技术的应用,更体现了如何通过AI与IoT的结合创造独特的用户体验与商业价值。
落地量产方案
TuyaOpen平台不仅提供了开发环境和技术框架,更重要的是支持从概念原型到规模化量产的完整解决方案。以下是几个具有巨大市场潜力的AI硬件产品落地方向,希望能激发开发者的产品思路和创新灵感。
智能家居
从智能音箱到AI管家,从智能家电到全屋智能控制中心,大模型时代的智能家居产品将具备更强的语义理解能力和情境感知能力,带来真正的"懂你"的智能体验。
儿童教育
AI陪伴机器人、智能学习设备、互动式教育玩具等产品,利用大模型的知识库和个性化交互能力,创造沉浸式学习体验,培养孩子的探索精神和学习兴趣。
健康医疗
智能健康监测设备、老人陪护机器人、药物提醒器等产品,结合AI的分析能力和情感交互,提供更人性化的健康管理和生活照料服务。
工业智能
工业设备监控、智能检测系统、预测性维护平台等,借助AI视觉和分析能力,提高生产效率,降低维护成本,创造更安全高效的工业环境。
通过TuyaOpen平台,这些创新产品从概念到量产的周期可以大幅缩短,成本显著降低,同时保证稳定性和可靠性。涂鸦全球生态系统提供从芯片、模组到应用开发的全链路支持,帮助开发者快速将创意转化为市场竞争力。
鸟类-喂食机
AI鸟类识别喂食系统
智能鸟类喂食机结合涂鸦AI视觉识别技术,能够精确识别不同种类的鸟类,根据鸟类种类提供个性化的食物配方。系统还能记录鸟类访问数据,帮助用户了解本地生态环境。
生态数据分析平台
1
自研算法训练&推理平台
基于涂鸦自研的算法训练和推理平台,可以快速支持新增鸟类品种的识别,适应不同地区的生态环境需求。
2
生态产品无缝集成
与涂鸦硬件生态产品无缝打通集成,可以与智能摄像头、环境监测设备等产品联动,构建完整的生态监测系统。
3
垂直领域数据训练
针对鸟类识别这一垂直领域,提供专业的数据训练服务,不断优化识别准确率,支持稀有鸟类的识别能力。
4
开源大模型微调
利用开源大模型进行行业微调,将鸟类学知识融入AI系统,提供专业的鸟类信息和保护建议。
这款产品不仅为鸟类爱好者提供了观察和研究工具,也为生态保护机构提供了珍贵的野生鸟类数据。通过TuyaOpen平台,开发者可以快速构建并迭代这类专业AI硬件产品,将创新理念转化为实际应用。
AI视频/图像多模态
儿童智能学习设备
利用涂鸦AI+IoT技术,我们可以打造一系列寓教于乐的儿童智能设备,如儿童天文镜、儿童相机和儿童投影仪。这些设备不仅拥有硬件功能,更结合了大模型的强大知识库和交互能力,为孩子创造沉浸式学习体验。
儿童天文镜
结合光学望远镜与AI识别,能够自动识别天体,提供相关知识讲解,激发孩子对宇宙的好奇心。
儿童相机
具备物体识别功能,拍摄后可以解释照片中的动植物、建筑等,变普通拍照为探索学习的过程。
儿童投影仪
支持互动故事和教育内容投影,根据孩子的反应和提问调整内容深度,打造个性化的学习体验。
学习平板
基于大模型生成个性化学习内容,适应孩子的学习进度和兴趣,提供丰富多样的互动学习活动。
1
稳定可靠的跨端传输
涂鸦平台提供稳定可靠的数据传输能力,确保设备与云端、设备与移动应用之间的无缝通信,即使在网络条件不佳的情况下也能保持良好的用户体验。
2
安全合规的云边协同
严格遵循儿童隐私保护法规,采用端侧处理与云端协同的方式,最大限度保护儿童数据安全,同时提供高质量的AI服务体验。
3
寓教于乐的儿童互动
基于对儿童认知和学习特点的深入理解,设计趣味性与教育性兼备的交互模式,通过游戏化设计激发学习兴趣,提高知识吸收效率。
4
大模型驱动的内容生成
利用大模型的知识生成能力,根据孩子的年龄、兴趣和学习进度,创建个性化的教育内容,使每个孩子都能获得最适合自己的学习材料。
AI咖啡机
智能咖啡机不仅仅是一台能泡咖啡的机器,它是集成了AI技术的智能助手,能够理解用户需求,提供个性化服务,甚至主动学习用户偏好,创造完美的咖啡体验。
通过涂鸦平台的AI能力,咖啡机可以与用户进行自然语言交互,了解用户当天的状态和需求,推荐最适合的咖啡配方。系统还能记录用户的反馈,不断优化个性化推荐算法。
语音控制
用户可以通过自然语言指令控制咖啡机,如"给我做一杯适合提神的咖啡",系统会理解意图并执行相应操作。
故障自检
AI系统能够监测设备运行状态,预测可能的故障,提供维护建议,甚至在某些情况下进行自我修复。
食谱推荐
基于大模型的知识库,系统可以推荐专业咖啡配方,学习世界各地达人的咖啡制作技巧,并根据用户反馈调整。
场景联动
咖啡机可以与其他智能设备联动,如闹钟响起后自动开始煮咖啡,或根据用户日程安排智能提醒补充咖啡豆。
这种智能咖啡机不仅提升了用户体验,还通过数据分析帮助咖啡品牌了解用户偏好,优化产品设计。通过TuyaOpen平台,开发者可以快速构建这类智能家电产品,实现从概念到量产的高效转化。
值得注意的是,这类产品的成功关键在于AI与硬件的深度融合,而不仅仅是在传统产品上叠加智能功能。涂鸦平台提供的端云协同架构,正是实现这种深度融合的理想解决方案。
AI管家
全场景智能管家
AI管家是一种集成了涂鸦全屋智能控制能力的智能终端,可以通过语音、手势等自然交互方式,控制家中所有智能设备,实现真正的智能家居体验。它不仅是一个设备控制中心,更是具备情感交互能力的家庭助手。
更好的理解能力
一次操作多个智能设备,一句指令执行多个任务,能理解磕巴口误,有记忆的多轮对话更自然
个性化体验
能听懂更多方言和口音,可以说更多方言和口音,支持18种新的音色,提供多种助手性格
海量知识
全领域的百科问答,设备知识答疑,故障排查,提供专业准确的信息服务
教育与陪伴
提供百科问答,角色扮演故事,成为家庭成员的知识伙伴和情感依靠
个性化智能服务
AI管家能够识别家庭中的不同成员,记住他们的喜好和习惯,提供真正个性化的服务。例如,它能根据不同家庭成员的音乐口味播放不同的音乐,或者根据每个人的温度偏好调整空调。
AI管家通过持续学习用户行为模式,不断优化其服务,真正做到"懂你"的智能体验。这种深度个性化是大模型时代AI产品的核心竞争力。
AI温控器
智能温控系统特点
动态智能调温
通过语音控制,用户可以使用自然语言指令调节温度,如"我有点冷"或"帮我设置舒适的睡眠温度",系统会智能理解并作出相应调整。
能源管理
AI系统会分析用户习惯、室外天气和建筑特性,自动优化温控策略,在保证舒适度的同时最大限度节约能源,降低运营成本。
AI日程规划
系统能够学习家庭成员的作息规律,自动配置温控计划,甚至可以与日历应用联动,根据家庭活动安排预调节温度。
场景联动
温控器可以与其他智能设备联动,如根据窗帘开合状态调整温度,或者与空气净化器协同工作,创造最佳室内环境。
技术实现原理
AI温控器基于涂鸦T5开发板构建,利用涂鸦云端大模型处理自然语言指令,结合本地传感器数据和历史使用模式,实现智能温度控制。系统采用端云协同架构,确保即使在网络中断情况下也能正常工作。
30%
能源节省
与传统温控器相比,AI温控器平均可节省30%的能源消耗,显著降低用户的能源支出。
95%
指令理解率
系统对自然语言指令的理解准确率达到95%,即使是复杂、模糊的表达也能准确理解用户意图。
85%
用户满意度
使用AI温控器的用户中,85%表示室内温度舒适度显著提升,家庭生活质量得到改善。
这款AI温控器不仅是一个智能家居设备,更是一个家庭能源管理中心,通过智能算法优化能源使用,既环保又经济。它展示了如何将大模型AI能力应用于传统家电,创造全新的用户价值。
情感交互机器人
情感交互机器人
Emoji Robot是一款基于涂鸦T5平台开发的情感交互机器人,它拥有可动态变化的表情显示屏,能够表达丰富的情绪状态,实现自然流畅的情感交互。这款机器人不仅能理解用户的语言指令,还能识别用户的情绪状态,做出相应的情感反馈。
通过涂鸦云端大模型的支持,Emoji Robot拥有强大的对话能力和知识库,可以担任家庭助手、教育伙伴或情感陪伴的角色。它的设计理念是创造一个有"情感温度"的AI伙伴,而不仅仅是冰冷的机器。
1
AI语音交互 - 智能助手功能强大
  • 支持语音识别,理解并回应用户指令
  • 提供前进、后退、左转、右转等多种运动控制
  • 通过 TTS 技术实现语音合成,生动表达
  • 支持个性化设置,满足用户独特需求
2
远程掌控 - 轻松操控设备
  • 通过手机 APP 实现远程遥控
  • 流畅的移动控制,尽在掌握
  • 未来支持视频流P2P
核心技术特点
情绪识别
通过语音音调分析和摄像头面部表情识别,实时检测用户情绪状态
情感对话
根据用户情绪调整对话策略和语气,创造更自然的交流体验
表情生成
动态生成符合对话语境的表情动画,增强情感表达的丰富度
情感记忆
记录用户喜好和交互历史,提供个性化的情感陪伴服务
应用场景
  • 儿童教育陪伴:提供互动学习体验,鼓励孩子积极探索知识
  • 老年人陪护:提供情感交流和日常提醒,减轻老年人孤独感
  • 家庭娱乐中心:作为家庭智能设备的控制中心,提供娱乐服务
  • 情绪健康助手:帮助用户觉察和管理情绪,提供心理舒缓服务
Emoji Robot展示了如何将情感计算与AI硬件相结合,创造更具人性化的交互体验。通过TuyaOpen平台,开发者可以快速构建类似的情感交互产品,为用户带来全新的AI体验。在现场演示中,我们将展示Emoji Robot如何识别不同情绪,如何通过表情和语言做出自然反应,以及如何在多轮对话中保持情感连贯性。
现场资源
避免资源滥用,优先支持有明确idea团队领取/使用。也非常建议团队带自己熟悉的工具。
开发板必须选用大赛指定 T5 或是 RDX+T5。但是其他外设器件/ying'j和产品形态是非常鼓励自备携带参赛。
开发板
  • 涂鸦T5 mini开发板 x10
  • 地瓜机器人RDK X5 x20
外设配件
  • 喇叭(3020 4欧3瓦) x20
  • 显示屏(1.54寸ST7789 ) x10
  • 电池包(2000mAh) x10
  • 舵机(MG90S) x40
  • 传感器套件(手势、触摸、光敏、空气、温湿度、超声波等10多种)x4套
  • 杜邦线/数据线 若干
工具
  • 正点原子HP15智能加热台 2台
  • 正点原子DM40数字万用表 2台
  • 正点原子T80/T80P智能电烙铁 2台
  • 正点原子逻辑分析仪 2台
  • 可调直流电源(Max 60V/5A) 1台
  • 热风枪 1台
  • 热胶枪 1台
  • 螺丝刀 1套
  • 3D打印机(拓竹 P1S+AMS)5台
Q&A
欢迎大家提出关于TuyaOpen平台、AI硬件开发、涂鸦生态或任何相关技术问题。我们的技术团队将为您提供专业解答,帮助您更好地理解平台能力和开发流程。
1
技术支持
如果您在开发过程中遇到任何技术问题,可以通过以下渠道获取支持:
2
常见问题
以下是一些开发者经常提问的问题:
  • 如何获取开发板和开发资源?
  • 涂鸦开发者账号如何申请?
  • 如何配置云端智能体?
  • 如何进行本地调试和测试?
  • 如何从原型转向量产?
开发资源
我们为参赛者提供丰富的开发资源,包括:
  • T5开发板及配件 + 现场提供硬件模块
  • 开发文档和API参考
  • 示例代码和项目模板
  • 视频教程和开发指南
  • 技术顾问一对一指导
参赛建议
基于我们的经验,以下是一些参赛建议:
  • 聚焦于解决实际问题,场景化,目标产品反推技术
  • 充分利用涂鸦平台的AI能力,避免重复造轮子
  • 注重用户体验和交互设计
  • 考虑产品的商业可行性和落地路径
  • 善用团队成员的多元背景和专长
我们期待看到大家基于TuyaOpen平台创造的创新作品!在比赛过程中,我们的技术团队将全程提供支持,帮助您克服技术挑战,实现创意构想。祝大家参赛顺利!
Tuya Open 开发上手 - 核心命令指南
本指南提炼了TuyaOpen开发环境搭建、项目配置、编译烧写及测试的核心命令,帮助您快速掌握开发流程。
环境搭建
# 克隆仓库 git clone https://github.com/tuya/TuyaOpen.git # 或使用国内镜像 git clone https://gitee.com/tuya-open/TuyaOpen.git cd TuyaOpen # 激活工具环境 . ./export.sh # Linux/Mac .\export.bat # Windows # 验证安装 tos.py version tos.py check
项目操作
# 进入示例项目目录 cd apps/tuya_cloud/switch_demo # 选择硬件配置 tos.py config choice # 根据提示选择对应的开发板配置(如T5AI.config) # 编译项目 tos.py build # 清理编译缓存 tos.py clean # 基础清理 tos.py clean -f # 深度清理
烧录与测试
# 烧录固件 tos.py flash # 根据提示选择串口 # 查看设备日志 tos.py monitor # 根据提示选择串口 # 设备授权 tos.py monitor -b 115200 auth uuid密钥 authkey密钥 # 退出日志查看 Ctrl+c 然后按回车
常见问题快速解决
环境相关
  • Linux/Mac串口权限: sudo usermod -aG dialout $USER 并重启系统
  • 工具验证失败: 手动执行 git submodule update --init
  • MAC烧录失败: 可能需要安装CH34X驱动
操作相关
  • 烧录失败: 操作系统检查 USB 连接 和驱动是否正常,并且重试测试烧写
  • 设备不支持命令授权: 修改项目tuya_config.h文件中的授权信息
  • 命令帮助: 使用tos.py --help查看详细命令说明
开发流程总结
通过掌握这些核心命令,您可以快速完成TuyaOpen开发环境的搭建、项目配置与测试。更详细的技术文档和API参考可在涂鸦Open开发者中心(tuyaopen.ai)获取,如遇技术问题,请通过开发者社区或技术支持邮箱联系我们的专家团队。祝开发顺利!