面向边缘设备的离线嵌入式哭声检测
* --- ## 哭声识别的价值（场景、流程） 婴幼儿的哭声既是表达需求的主要方式，也是健康状况的直接反映。核心需求是**实时哭声监测与报警/反馈机制**——在婴儿哭闹的第一时间通知父母，并支持及时安抚。婴儿哭声识别在摄像头本地离线完成，音频不出设备；夜间与短暂离开时的监测需求尤为迫切。 典型产品形态：婴儿监视器、智能摄像头、智能婴儿床、车载儿童遗留检测（CPD）。如今市面上的婴儿监视器在拼 2K 分辨率、云台与夜视，但几乎都是被动的——只是把视频传到父母面前，等待人来盯着看。加入设备端哭声检测后，被动摄像头变成主动报警设备，吊扇、窗帘、路过的家人都不再触发无效告警。 ## 哭声的特点（时域与频域）  *图：基频-共振峰结构 vs 断续说话声 vs 无结构噪声* 这是一条真实哭声音频——上为波形图、下为梅尔频谱图，与模型在设备端使用的 16kHz 预处理一致；清晰的起—落包络与谐波结构一目了然：  *图：真实婴儿哭声示例：波形（上）+ 梅尔频谱（下）* 试听素材（真实样本，点击播放）： > 🔊 音频试听：[真实婴儿哭声](https://51tage.com/zh/audio/?f=cry-1.wav&s=t.audio "真实婴儿哭声") > 🔊 音频试听：[猫叫——与哭声频谱最接近的易混淆声](https://51tage.com/zh/audio/?f=cry-2.wav&s=t.audio "猫叫——与哭声频谱最接近的易混淆声") 从频谱上看，哭声的特征非常明显：呈现清晰的**基频—共振峰结构**，谐波像乐谱上的音符一样排列，基频大约在 **300–500Hz**，并伴随一个"起—落"的能量包络，持续相对较长的一小段时间。相比之下，说话声断续、停顿频繁；环境声（电视/谈话/家电）则没有稳定的基频结构。 因此哭声识别**以频域特征为主**：谐波结构是把哭声与其他声音分开的核心证据。 ## 识别方法：预处理 → 特征提取 → 算法 ### 信号预处理 - **自适应降噪**——实际场景存在电视声、谈话声等复杂噪声，系统实时估计并抑制背景噪声，在典型家庭噪声下信噪比提升约 **5–10dB** - **端点检测与分帧**——先定位候选事件再进入分析 - **数据增强（训练阶段）**——变速、加噪、房间冲激响应卷积，提升泛化能力 ### 特征提取 - **频域**——FFT 变换后提取 Mel 频谱（低频滤波器密集、高频稀疏，匹配人耳听觉特性）→ 倒谱分析得到 MFCC（取 DCT 第 2–13 个系数）；深度模型则直接使用 FBank 特征充分学习细节 - **时域**——短时能量、过零率、能量熵、chroma 等，并可叠加 delta / delta-delta 动态特征 ### 识别算法 SVM 在小样本高维数据上表现稳健；随机森林抗过拟合、适合含噪数据；CNN 自动学习局部时频特征。对比实验显示，**CNN + LSTM 混合模型**在保持高准确率的同时具备良好实时性。此外，借助预训练模型的迁移学习加速收敛；集成学习（SVM + 随机森林 + CNN 投票/加权）进一步提升鲁棒性；用户反馈机制持续优化模型参数。 ### 算法横向对比（2026 基准测试） 我们在 5 种真实噪声条件（安静/电视背景/白噪声/对话/街道噪声）下评估了主流方法（测试集 12,000+ 片段）： | 方法 | 准确率 | 模型大小 | 延迟 | | --- | --- | --- | --- | | MFCC + 轻量 CNN | 97.2% | 0.9 MB | #ifdef __cplusplus extern "C" { #endif /* 识别事件 (报警策略输出, 用于事件结束回调) */ typedef struct { float start_time; /* 事件开始时间 (秒) */ float end_time; /* 事件结束时间 (秒) */ float confidence; /* 事件置信度 */ float max_confidence; /* 事件内最大帧置信度 */ int frame_count; /* 事件持续帧数 */ } cry_detect_event_t; /* 帧级回调: 每帧识别结果 (模型线程内执行) */ typedef void (*cry_detect_frame_cb_t)(float cry_prob, float timestamp, void *user_data); /* 事件开始回调: 策略判定哭声开始, 只有开始时间 */ typedef void (*cry_detect_onset_cb_t)(float start_time, void *user_data); /* 事件结束回调: 策略判定哭声结束 (或停止识别时未结束的事件), 完整事件信息 */ typedef void (*cry_detect_offset_cb_t)(const cry_detect_event_t *event, void *user_data); typedef struct cry_detect_s cry_detect_t; /* 创建/销毁; alarm_name/alarm_params 可传 NULL (用默认策略及参数) */ cry_detect_t *cry_detect_create(const char *mgk_path, /* 模型文件路径 (必填) */ const char *alarm_name, /* 报警策略名, NULL=默认 */ const char *alarm_params); /* 策略参数 key=val,key=val, NULL=默认 */ void cry_detect_destroy(cry_detect_t *det); /* 设置事件回调 (create 后调用, 也可在运行中调整); 不需要的回调传 NULL */ void cry_detect_set_listener(cry_detect_t *det, cry_detect_frame_cb_t on_frame, cry_detect_onset_cb_t on_onset, cry_detect_offset_cb_t on_offset, void *user_data); /* 启动/停止识别: 启动内部模型消费线程 / 排空缓冲后停止线程 */ int cry_detect_start(cry_detect_t *det); void cry_detect_stop(cry_detect_t *det); int cry_detect_is_running(cry_detect_t *det); /* 设置事件识别策略 (可在运行中调整) */ int cry_detect_set_alarm(cry_detect_t *det, const char *alarm_name, const char *alarm_params); /* 送入 PCM 数据 (16bit 单声道 16kHz), 线程安全, 任意数据大小 */ int cry_detect_feed(cry_detect_t *det, const int16_t *pcm, int num_samples); #ifdef __cplusplus } #endif #endif /* CRY_DETECT_H */ ``` 最简 wav 推理示例（节选，完整文件位于 SDK 的 `src/cryDetect/c/main.c`）： ```bash #include #include #include #include "cry_detect.h" #define DEFAULT_MGK "cry_detect.mgk" /* 模型文件 */ #define DEFAULT_WAV "test_cry.wav" /* 16kHz 单声道 16bit PCM */ #define FEED_CHUNK 16000 /* 每次送入 1 秒音频 */ /* 帧级回调: 每帧输出哭声概率 (约 1 秒一帧) */ static void on_frame(float cry_prob, float timestamp, void *user_data) { (void)user_data; printf("%8.2fs cry=%.4f\\n", timestamp, cry_prob); } /* 事件开始回调: 策略判定哭声事件开始 */ static void on_onset(float start_time, void *user_data) { (void)user_data; printf("[EVENT] cry start at %.2fs\\n", start_time); } /* 事件结束回调: 应用层可据此做后续统计或分级响应 */ static void on_offset(const cry_detect_event_t *ev, void *user_data) { (void)user_data; printf("[EVENT] cry end at %.2fs (dur=%.2fs, conf=%.3f, frames=%d)\\n", ev->end_time, ev->end_time - ev->start_time, ev->confidence, ev->frame_count); } static int read_wav_pcm(const char *path, int16_t **pcm, int *n, int *sr); /* 完整实现见源文件 */ int main(void) { cry_detect_t *det; int16_t *pcm = NULL; int num_samples = 0, sample_rate = 0; int pos; if (read_wav_pcm(DEFAULT_WAV, &pcm, &num_samples, &sample_rate) != 0) return 1; /* 1. 创建识别器: 模型文件 + 默认报警策略 (NULL) */ det = cry_detect_create(DEFAULT_MGK, NULL, NULL); if (!det) return 1; /* 2. 注册回调 (均为可选) */ cry_detect_set_listener(det, on_frame, on_onset, on_offset, NULL); /* 3. 启动内部模型消费线程 */ cry_detect_start(det); /* 4. 分块送入 PCM; 实时录音时改在录音回调里 feed */ for (pos = 0; pos FEED_CHUNK) n = FEED_CHUNK; cry_detect_feed(det, pcm + pos, n); } /* 5. 停止并销毁 */ cry_detect_stop(det); cry_detect_destroy(det); free(pcm); return 0; } ``` 编译与运行（示例）： ```bash $(CC) main.c -I. -L. -lcrydetect -lpthread -lm -o cry_detect ./cry_detect ``` 结语 哭声识别让婴儿产品从"摄像头"变成"照看者"。做婴儿监视器、智能摄像头或车载 CPD 的团队，可以直接上传自己的录音，先在线验证离线哭声检测在真实噪声下的表现。 在线验证：[上传自己的录音，在线哭声识别测试](https://51tage.com/zh/demo?s=t.a) ---
