by Hsuan Han Lai

资源链接：
TuyaOpen 开发者 资源统一入口
参赛咨询群
1. 🔥100天打造未来AI爆款硬件 （大赛全景解析）
2. 🚀 重磅预警！全新开源生态即将解锁（首发预告）
3. ⚡ AI Coding 神助攻：硬件开发效率狂飙指南
4. 🎯 犀利Q&A问答局
TuyaOpen 是什么
大模型时代的AI硬件开发平台
涂鸦AI云平台+Tuya Open提供完整解决方案，帮助开发者一套方案搞定全球（视觉、听觉、触觉）AI硬件出货，让硬件真正拥有智能。
基于T系列开发板的产品创新
通过Tuya T系列推出的开发板，让开发者能够轻松DIY AI硬件，降低创新门槛，加速产品开发周期，让创意快速变为现实。
开源社区生态
Tuya Open已正式发布，支持涂鸦T5芯片和ESP32，未来将支持树莓派等三方平台。开源代码让开发者能深入学习AI+IoT核心技术。
我们正在积极建立模块、开发板渠道和拓展海外市场，同时通过高校开发者比赛、教程编写等活动扩大平台影响力，为开发者创造更多机会和SS资源。Tuya Open代表了一个新时代的开始，让AI与硬件的融合变得简单而强大。
开源共创社区生态
Tuya Open生态已经吸引了众多行业领先的合作伙伴，共同打造开放、创新的AI+IoT开发环境。这些合作伙伴涵盖芯片厂商、模组制造商、方案提供商及教育机构，形成了完整的产业链支持。
芯片合作伙伴
提供底层硬件支持，确保Tuya Open在不同处理能力和价位的硬件上都能高效运行，满足不同应用场景需求。
模组厂商
基于涂鸦T系列芯片开发各类通信模组，简化硬件集成过程，帮助开发者快速实现产品联网功能。
方案提供商
提供垂直行业解决方案，结合Tuya Open框架打造特定场景下的AI+IoT应用，加速市场落地。
教育机构
通过课程设计、实验室合作等方式培养AI+IoT人才，推动技术创新和知识传播，壮大开发者社区。
通过这个强大的开源共创社区，我们共同推动AI+IoT技术的普及和创新，为开发者提供更丰富的资源和更广阔的发展空间。加入Tuya Open生态，与全球伙伴一起定义AI硬件的未来！
Tuya Wukong AI 框架
多模态输入与输出系统
多模态输入是指设备通过多种形式，如文本、语音、视频等与大模型进行交互，大模型识别后返回信息。这种多维度的交互方式大幅提升了人机交互的自然度和效率。
交互协议是为了确保不同实体（如设备、系统、用户与AI等）之间能够准确、高效、可靠地进行信息交互而制定的一系列规则和约定。这些协议确保了整个生态系统的兼容性和互操作性。
设备配网
用户首先需要完成设备配网，将设备连接到网络环境中
信息上传
设备上传多模态信息，如语音、视频、文本、文件、图片等
大模型识别
云端通过大模型对上传的信息进行处理和分析
返回交互信息
大模型处理后返回相应的交互信息给设备
涂鸦AI+IoT云平台提供了完整的端到云解决方案，让设备能够充分利用云端大模型的强大能力，同时保持低延迟和高可靠性，为用户带来智能、自然的交互体验。
情绪感知技术提升交互体验
情绪感知技术是人工智能领域的一个关键挑战，它旨在通过和用户交互，自动检测和识别人类的情绪状态，如快乐、悲伤、愤怒等。这种技术通过分析用户的语音、面部表情、文本内容等多种信号，综合判断用户当前的情绪状态。
准确的情绪识别可以帮助系统做出更加恰当的响应，提高用户体验。例如，当检测到用户情绪低落时，系统可以提供安慰或积极的内容；当检测到用户兴奋时，系统可以相应地提高互动的活跃度。
情绪类型识别
系统能够识别多种情绪类型，包括喜悦、悲伤、愤怒、惊讶、恐惧、厌恶等基本情绪，以及更为复杂的情绪状态。
个性化表情反馈
开发者可以根据识别到的情绪类型，实现自定义的表情、动作等反馈，使设备的响应更具人性化。
交互体验优化
通过情绪感知，设备可以调整交互策略，如语速、音调、内容选择等，创造更加自然和愉悦的用户体验。
Wukong AI硬件开发框架全面支持情绪感知技术，开发者可以获取每次交互的情绪数据，并根据情绪的类型，实现各种个性化的表情、动作和反馈，大幅提升设备的交互体验，使AI设备更具情感共鸣能力。
交互流程
硬件与涂鸦云的多模态交互逻辑
用户输入
用户通过语音、触摸、手势等方式与设备进行交互，设备捕获这些输入信号
数据上传
设备将捕获的图像、视频、文本或语音等多模态数据通过安全通道上传至涂鸦云
云端处理
涂鸦云平台利用大模型对上传的多模态数据进行处理、分析和理解，提取核心意图
响应返回
处理结果以适当的形式（语音、文本、控制指令等）返回给设备
设备执行
设备根据返回的指令执行相应操作，如播放语音回复、展示信息或控制其他功能
这种多模态交互流程使设备能够理解更复杂的用户意图，提供更自然、更智能的用户体验。涂鸦云平台的强大处理能力和优化的通信协议确保了整个交互过程的流畅性和响应速度，即使在网络条件不佳的情况下也能保持良好的体验。
开发者可以根据产品特点和应用场景，灵活选择和组合不同的交互模态，打造差异化的产品体验。无论是语音优先的智能音箱，还是以视觉交互为主的智能显示设备，都能通过这一框架实现丰富的交互功能。
Tuya Open SDK介绍
TuyaOpen VS. TuyaOS 对比
TuyaOpen 是从行业领先的 TuyaOS 架构开源的。经过全球 130 万开发者的验证，它提供了一个定义良好的 API，用于开发支持不同 MCU 的 C/C++ 应用程序。抽象了外设连接、云连接和安全性的复杂性。此框架通过简单的编码体验加速您的开发过程，使您能够更快、更轻松地构建 AI+IoT 产品。
1
跨平台
标准化的 TuyaOpen Kernel Layer API（TKL）设计，满足不同芯片平台、系统、连接协议的开发需求，一次设备开发，可以在不同的芯片平台上使用。
2
低代码
统一的业务框架、驱动框架，无需关心具体的实现原理，调用接口函数即可快速开发设备功能。同时提供了丰富的演示、测试程序，开发者仅需基于演示程序进行简单的改动，即可快速实现设备接入。
3
低资源
在有限的资源上实现了丰富的功能，通过专有的 OTA 技术实现了极高的 Flash 利用率，甚至在 2M Flash 和 256K RAM也能实现完整功能。
4
组件丰富
提供基础服务、安全、网路服务中间件、丰富的物联网业务功能组件，满足物联网领域各种应用场景需求。完全融入涂鸦智能设备生态，接入涂鸦 App、云端。
TuyaOpen具备稳定可靠、互联互通和安全合规等特性，支持设备间的互相发现和连接，实现云端及本地场景联动，同时在安全性和隐私保护方面满足全球各地法规要求，适合全球化商业设备出货。
Tuya T5 开发板芯片介绍
T5 芯片核心能力
音频+视频多模态
支持语音识别、视觉识别和多模态融合，提供全方位的交互能力
大模型交互能力
无缝连接涂鸦云端大模型，让设备具备强大的AI能力
硬件灵活扩展
丰富的接口支持多种外设连接，满足不同应用场景需求
涂鸦 T5AI-Board 开发板采用涂鸦智能开发的 Wi-Fi 和蓝牙双模模组 T5-E1-IPEX，搭载 2 路 MIC 和 1 路 Speaker，支持语音识别和播放。通过开发板上 IO 口连接器，可搭配 LCD 显示子板，实现触摸屏和摄像头捕捉功能。
开发板硬件规格
  • Tuya T5 MCU Module (Wi-Fi 2.4G + BLE 5.4)
  • 8 MB Flash Memory
  • 16 MB RAM
二次开发硬件
AI硬件开发步骤
需求AI确定（产品定义）
  • 需要通过AI解决什么问题？
  • 硬件端改造or应用端改造？
在这一阶段，明确产品目标和AI功能需求，确定产品形态和主要应用场景，选择合适的技术路线。
智能体开发（云配置）
  • 根据功能定义智能体（必要）
  • 知识库准备（按需）
  • 工具、工作流配置（按需）
配置云端智能体能力，根据产品特点定制智能体行为模式，上传专业领域知识库提升理解能力。
硬件开发
  • 选择开源硬件载体：如T5、T系列开发板、野火、地瓜、正点开发板
  • 基于开发硬件平台移植Tuyaopen开发应用固件
选择合适的硬件平台，移植TuyaOpen框架，开发适配产品功能的应用固件，完成硬件功能调试。
产品关联智能体
  • 关联云服务AI能力到硬件载体
将开发的硬件与云端智能体关联，完成端云协同配置，实现完整的AI产品功能，进行整体测试和优化。
涂鸦AI产品方案开发流程支持客户以更高效率、更低成本、更灵活的端云策略创新AI硬件产品。完整的开发指南可参考：https://developer.tuya.com/cn/docs/iot/AI-feature?id=Keapy1et1fc63
通过这套完整的开发流程，开发者可以快速将创意转化为实际产品，大幅缩短从概念到上市的时间，同时保证产品的技术质量和用户体验。
AI 应用Demo创新
Tuya AI 2.0升级
  • 硬件自控能力
  • 语音/视频多模态交互速度提升
  • 支持关键词唤醒与打断
  • 更自然的人机对话体验
双眼屏-情绪渲染
  • TuyaOpen 开发套件上新
  • 情感表达与交互
  • 面部表情实时渲染
OTTO 开源双足机器人
  • 平衡控制系统
  • 多种行走姿态
  • 互动行为模式
情感陪伴-桌面机器人
  • Emoji Robot桌面陪伴
  • 机器狗情感交互
  • AI驱动的行为模式
情感交互机器人
情感交互机器人
Emoji Robot是一款基于涂鸦T5平台开发的情感交互机器人，它拥有可动态变化的表情显示屏，能够表达丰富的情绪状态，实现自然流畅的情感交互。这款机器人不仅能理解用户的语言指令，还能识别用户的情绪状态，做出相应的情感反馈。
通过涂鸦云端大模型的支持，Emoji Robot拥有强大的对话能力和知识库，可以担任家庭助手、教育伙伴或情感陪伴的角色。它的设计理念是创造一个有"情感温度"的AI伙伴，而不仅仅是冰冷的机器。
1
AI语音交互 - 智能助手功能强大
  • 支持语音识别,理解并回应用户指令
  • 提供前进、后退、左转、右转等多种运动控制
  • 通过 TTS 技术实现语音合成,生动表达
  • 支持个性化设置,满足用户独特需求
2
远程掌控 - 轻松操控设备
  • 通过手机 APP 实现远程遥控
  • 流畅的移动控制,尽在掌握
  • 未来支持视频流P2P
核心技术特点
情绪识别
通过语音音调分析和摄像头面部表情识别，实时检测用户情绪状态
情感对话
根据用户情绪调整对话策略和语气，创造更自然的交流体验
表情生成
动态生成符合对话语境的表情动画，增强情感表达的丰富度
情感记忆
记录用户喜好和交互历史，提供个性化的情感陪伴服务
应用场景
  • 儿童教育陪伴：提供互动学习体验，鼓励孩子积极探索知识
  • 老年人陪护：提供情感交流和日常提醒，减轻老年人孤独感
  • 家庭娱乐中心：作为家庭智能设备的控制中心，提供娱乐服务
  • 情绪健康助手：帮助用户觉察和管理情绪，提供心理舒缓服务
Emoji Robot展示了如何将情感计算与AI硬件相结合，创造更具人性化的交互体验。通过TuyaOpen平台，开发者可以快速构建类似的情感交互产品，为用户带来全新的AI体验。在现场演示中，我们将展示Emoji Robot如何识别不同情绪，如何通过表情和语言做出自然反应，以及如何在多轮对话中保持情感连贯性。
🔥100天打造未来AI爆款硬件 （大赛全景解析）
“AI觉醒计划”
本次大赛由杭州文化投资联合涂鸦智能发起，旨在挖掘全球开发者的创新力量，更好地布局文化+科技的深度融合，孵化下一代融合文化与科技的“AI新物种”。
激发潜能
通过100天的深度共创，激发开发者潜力，推动新质生产力发展。
创新活力
展现杭州作为数字之都的创新活力与开放生态。
共建生态
连接创新成果与产业需求，共同构建有竞争力的AI硬件产业生态。
口号
“为热AI·敬创新·造未来”
主办与承办单位
主办单位：杭州文化投资发展有限公司、杭州涂鸦信息有限公司
承办单位：杭州观盛文化传播有限公司
大赛时间表
报名开启
2025年8月8日 - 9月10日
在此期间提交您的报名信息，并可加入大赛咨询群。
初筛作品提交
2025年9月30日
请将作品上传到GitHub开发者作品仓库区以及红书/站等社交媒体。
线上评审与路演
（选20个作品）
入围团队将进行10-15分钟的线上路演，展示作品并分享设计理念和技术亮点。
作品最终评审
2025年10月8日 - 10月13日
专家评委将对所有入围作品进行最终评审。
公布获奖作品
2025年10月15日（暂定）
大赛结果将在官方渠道公布。
作品颁奖典礼
2025年10月21日（暂定）
为获奖作品和团队举行颁奖仪式。
请关注官方公告，获取大赛的最新进展和详细信息。
大赛赛道
本次大赛提供多元化的赛道选择，鼓励参赛者基于 TuyaOpen 原生开源包 或 TuyaOpen 版本开源包 开发创新产品：
AI 硬件赛道
可以是AI玩具、机器人、AI智能家居等各类创新硬件设备。
AI 行业解决方案赛道
如智慧办公、智慧工业、智慧农业等领域的AI应用解决方案。
AI+IP 赛道
结合文化IP，如文物、宠物、二次元方向，创造独特的AI产品。
入门级：AI Agent 赛道
专注于AI Agent的开发与应用，探索智能体的更多可能性。
无论您是硬件高手、行业专家、IP创作者还是AI Agent爱好者，都能在这里找到施展才华的舞台，共同打造AI硬件的未来。
作品提交要求
作品发布
  • 上传至 OSChina 开源社区
  • 源代码提交 GitHub 或 Gitee (涵盖软硬件资料)
  • 项目整体呈现将作为评分项
文档要求
提交项目计划书 (可下载模板) 或 PPT。
模板链接: 查看模板
视频要求
  • 至少 1 分钟，演示完整产品功能
  • 配合介绍作品亮点及使用场景
  • 发布至小红书/抖音/视频号/B站等社交媒体
  • @涂鸦开发者，带话题 #TuyaOpen #TuyaAI #挑战100天开发AI硬件
  • 有机会获得人气加分
提交方式
作品发布地址与文档通过邮件发送至 [email protected]
邮件命名规则：「队名+作品名+所属赛道」
通用要求
  • 作品内容须遵守国家法律法规，积极健康。
  • 涂鸦资深物联网工程师将对所有作品进行公平公正评审。
参赛资源获取
自购开发板
报名选手进群可 5 折购买 T5AI 开发板套件。
赠送开发板
限量！根据创意筛选优秀开发者赠送 T5 开发板。
申请要求：
  • 有 GitHub 历史项目链接
  • 有相关硬件开发背景
云服务支持
免费使用涂鸦云服务，包括语音合成、声音复刻、语音识别等 AI 能力。
大赛报名成功后可进群申请相关资源。
🚀 重磅预警！全新开源生态即将解锁（发布预告）
更易上手，更加专业 - TuyaOpen 官网 全新上线！
我们很高兴地宣布，TuyaOpen 官网已全面升级并全新上线！
新官网秉承“更易上手，更加专业”的设计理念，致力于为开发者提供前所未有的流畅体验，助您轻松开启AI硬件创新之旅。
无论您是初次接触AI硬件开发，还是经验丰富的资深开发者，新官网都将是您不可或缺的伙伴。在这里，您将找到更直观的开发流程、更丰富的学习资源和更便捷的技术支持，让您的每一个创意都能高效落地。
立即访问新版官网 tuyaopen.ai，探索更多精彩内容，共同加速AIoT时代的产品创新！
全新开源！！AI硬件预告
涂鸦智能即将为您揭示全新开源AI硬件，助力极客和玩家打造AI与与硬件的深度融合的硬件，为您提供更广阔的创新空间，共同加速智能世界的到来。玩转; 音/视频/LLM和硬件外设深度融合的一体机！
原创开源硬件 - 涂鸦AI掌机
探索下一代多模态 AI 口袋机，专为开源极客打造！释放T5全部能力！✨✨
优势
  • 涂鸦原创-软硬件全开源
  • 铝外壳高质感机身，轻薄卡片机，仅1CM厚
  • 核心部件全部展示，科技感十足
  • 游戏手柄交互逻辑，二次开发可玩性高
  • 高度模块化，拓展能力强
硬件能力
  • 集结T5的极致硬件能力
  • T5-E1芯片模组
  • 低功耗，高分辨率屏幕
  • 5D手柄+游戏手柄操控逻辑
  • 双Mic+喇叭，专属 AI按键
  • 内建4G模块联网
  • 后置摄像头，SD外部存储，内置电池，9轴加速度传感，丰富的拓展I/O接口
口袋机 Demo 应用场景
口袋电子宠物
涂吖吖AI宠物，支持语音+视频互动，结合GPS实现类宝可梦Go玩法，打造沉浸式体验
健身AI分析
利用9轴传感器和绑带配件，实时分析运动姿态，提供专业健身指导和数据分析
模块化教育机器人
快速吸附到机器人运动平台，实现一体化教学体验，激发青少年编程和机器人学习兴趣
AI赛博求签
选择困难症解决方案，AI智能分析用户问题，提供个性化建议，实现趣味性与实用性结合
AI 编程演示时间
准备好见证 AI 如何将您的创意变为现实！
使用 Cursor 和 豆包 实现创意落地
在此环节，我们将展示如何利用先进的 AI 编码工具 Cursor 和由字节跳动开发的智能助手豆包（Doubao），帮助您将创意思维转化为实际的 AI 硬件应用。这两个工具将作为强大的辅助，优化您的开发流程，加速项目落地。
AI赋能,创造无限可能!
代码编辑AI工具
Cursor、GitHub Copilot、通义灵码、CodeWhisperer、CodeGeeX、Cody、CodeFuse、Codeium、CodeBuddy等,为开发者提供智能化、高效的编码助手。
AI多模态问答
豆包、ChatGPT、Gemini、文心一言、通义千问、华为盘古大模型等,让人机交互更加自然流畅。
请注意，本次演示及所有相关内容仅供学习和交流用途。
AI 如何助力“硬件”开发？
AI 读原理图​，读规格书​，分析软件协议要求。设计建议，和硬件问题排查
AI硬件开发中，掌握以下核心技术和实践至关重要：
  • 原理图分析与排查：深入理解硬件原理图，结合AI工具高效定位和解决故障，确保系统稳定。
  • 芯片规格书解读：准确解读芯片规格书，是实现芯片功能和优化性能的关键。
  • 原理图调试与优化：严谨调试原理图，验证电路功能并持续优化，以达到最佳性能和可靠性。
AI 软件开发工作流
1
需求分析
深入理解用户需求和产品目标，明确软件功能和性能指标。
2
AI Coding 生成基础代码框架
借助AI编码工具（如Cursor、GitHub Copilot），快速生成项目的基础代码框架和常用模块，大幅缩短开发周期。
3
功能测试 烧录代码
代码可编译后和上机实测，遇到问题和bug。可以把Log和现象反馈给到 AI 分析，写测试代码。协助排查
4
持续迭代优化
生成/Debug/生成/Debug，依照期望功能反复迭代
通过将AI工具融入软件开发的各个阶段，我们能够构建更智能、更高效、更可靠的AI硬件产品。
Q&A 时间
感谢您的聆听！现在是问答环节，欢迎提出任何疑问。
技术问题
关于 TuyaOpen 平台、AI 框架和开发板的深入技术细节。
应用场景
如何将 AI 硬件应用于不同行业或解决具体痛点。
我们期待与您交流，共同探索 AI 硬件的无限可能！
Q&A
欢迎大家提出关于TuyaOpen平台、AI硬件开发、涂鸦生态或任何相关技术问题。我们的技术团队将为您提供专业解答，帮助您更好地理解平台能力和开发流程。
1
技术支持
如果您在开发过程中遇到任何技术问题，可以通过以下渠道获取支持：
2
常见问题
以下是一些开发者经常提问的问题：
  • 如何获取开发板和开发资源？
  • 涂鸦开发者账号如何申请？
  • 如何配置云端智能体？
  • 如何进行本地调试和测试？
  • 如何从原型转向量产？
开发资源
我们为参赛者提供丰富的开发资源，包括：
  • T5开发板及配件 + 现场提供硬件模块
  • 开发文档和API参考
  • 示例代码和项目模板
  • 视频教程和开发指南
  • 技术顾问一对一指导
参赛建议
基于我们的经验，以下是一些参赛建议：
  • 聚焦于解决实际问题，场景化，目标产品反推技术
  • 充分利用涂鸦平台的AI能力，避免重复造轮子
  • 注重用户体验和交互设计
  • 考虑产品的商业可行性和落地路径
  • 善用团队成员的多元背景和专长
我们期待看到大家基于TuyaOpen平台创造的创新作品！在比赛过程中，我们的技术团队将全程提供支持，帮助您克服技术挑战，实现创意构想。祝大家参赛顺利！
Tuya Open 开发上手 - 核心命令指南
本指南提炼了TuyaOpen开发环境搭建、项目配置、编译烧写及测试的核心命令，帮助您快速掌握开发流程。
环境搭建
# 克隆仓库
git clone https://github.com/tuya/TuyaOpen.git
# 或使用国内镜像
git clone https://gitee.com/tuya-open/TuyaOpen.git

cd TuyaOpen

# 激活工具环境
. ./export.sh  # Linux/Mac
.\export.bat   # Windows

# 验证安装
tos.py version
tos.py check
项目操作
# 进入示例项目目录
cd apps/tuya_cloud/switch_demo

# 选择硬件配置
tos.py config choice
# 根据提示选择对应的开发板配置(如T5AI.config)

# 编译项目
tos.py build

# 清理编译缓存
tos.py clean      # 基础清理
tos.py clean -f   # 深度清理
烧录与测试
# 烧录固件
tos.py flash
# 根据提示选择串口

# 查看设备日志
tos.py monitor
# 根据提示选择串口

# 设备授权
tos.py monitor -b 115200
auth uuid密钥 authkey密钥

# 退出日志查看
Ctrl+c 然后按回车
常见问题快速解决
环境相关
  • Linux/Mac串口权限： sudo usermod -aG dialout $USER 并重启系统
  • 工具验证失败： 手动执行 git submodule update --init
  • MAC烧录失败： 可能需要安装CH34X驱动
操作相关
  • 烧录失败： 操作系统检查 USB 连接 和驱动是否正常，并且重试测试烧写
  • 设备不支持命令授权： 修改项目tuya_config.h文件中的授权信息
  • 命令帮助： 使用tos.py --help查看详细命令说明
开发流程总结
通过掌握这些核心命令，您可以快速完成TuyaOpen开发环境的搭建、项目配置与测试。更详细的技术文档和API参考可在涂鸦Open开发者中心(tuyaopen.ai)获取，如遇技术问题，请通过开发者社区或技术支持邮箱联系我们的专家团队。祝开发顺利！