当前位置:网站首页>用皮肤“听”音乐,网友戴上这款装备听音乐会:仿佛住在钢琴里
用皮肤“听”音乐,网友戴上这款装备听音乐会:仿佛住在钢琴里
2022-08-09 11:55:00 【QbitAl】
羿阁 发自 凹非寺
量子位 | 公众号 QbitAI
贝多芬失聪后继续创作的故事相信大家都听过。
《致爱丽丝》、《英雄交响曲》、《田园交响曲》等等作品都堪称经典。
那你有没有想过,他究竟是如何做到的?
初中物理课上,老师告诉我们:失去听力的贝多芬,用牙咬住木棒一端,另一端顶在钢琴上,以此感受钢琴的震动,坚持创作。
而现在,科学家的最新研究恰好也证实了这一点:音乐不仅可以听,还能摸!
甚至,聋人音乐家们还能通过触觉,理解音乐传递的复杂情感。
听不见也能享受音乐
对于听力正常的人来说,当特定频率的振动(20Hz-20000Hz)通过空气传播,并被耳蜗中的微小感官细胞捕获时,我们就能听到声音。
但其实,声音也可以通过触觉来感受。
如果你去过狂热的音乐会现场,就能感觉到:那些刺激的音乐不仅冲击着你的耳膜,甚至能带动你身体跟着摇摆。
没错,皮肤能直接感受到声波产生的压力,同时声波也能通过吉他拨片、舞台地板等中介,传递到人的手、脚、身体,甚至可以深入骨骼和内腔壁(如肺和胸部)之间的膜。
因此,有些听障人士在听音乐会时,会用手扣紧气球表面,通过薄橡胶的震动更好地感受音乐。
多伦多城市大学心理学教授、音乐家Frank Russo在研究中还发现:耳朵听不到的人触觉往往更敏感。
在听障人士的大脑中,听觉皮层经常以另外的方式被重新利用,它会重新连接来自其他感官的信号,比如触觉和视觉。
尤其对于那些后天性耳聋的人来说,整个大脑会重新调整,以适应听力损失。例如,一个涉及注意力的神经网络被发现与协调运动反应、视觉系统和记忆力的神经网络联系更紧密。
而通过触觉感受音乐的好处是,触觉能有效地传递节奏。Russo通过脑电图的对比发现,无论是通过耳朵听还是触觉摸,两者感受到的音乐节奏都是基本相同的。
不仅如此,触摸还可以感受到音乐中的其他信息,比如可以通过振幅大小感受音量变化。
至于能否感受到音乐中的复杂情感,Russo表示:绝大部分可以感受到。具体来说,低频振动传递的情感更多,高频振动则听上去没什么情感。
来自马拉加大学的Byron Remache-Vinueza形象地描述了这一感觉:
把音乐从声音切换到振动,就像把一道妈妈做的最好吃的菜换成了汤,两者只是一种不同的体验罢了。
值得一提的是,截至目前,用触觉感受音乐的方法已经改变了很多听障人士的生活。
改变人生的技术
利物浦大学的音乐振动项目(Musical Vibrations)是一个专门提供将音乐转化为振动的设备的组织,该组织曾把他们的技术提供给聋哑说唱歌手SignKid。
研究团队将他的一首歌曲导入设备中,将吉他、踢踏鼓和小军鼓的声音转换为振动,让SignKid光脚踩在两个振动器上,通过他的脚跟和前脚来感受音乐。
“我喜欢这个,”SignKid告诉音乐振动团队,“这真的能给我自信。”
最后,SignKid用该团队借给他的设备,制作了他的个人EP《视觉体验》。
震动器还只是简单的操作,一家医疗保健公司设计了一款可穿戴设备——把一系列传感器绑在人的背部、肩膀、腰部、脚踝以及手腕处,外表看起来像安全带和背包的组合,可以用于放大和传输不同频率的振动。
这套装备已经在拉斯维加斯市中心的一场音乐会上进行过测试,参加测试的听障人士都表示,他们感觉身体变成了乐器,音乐正在通过这些乐器被演奏出来。
△图注:来自[email protected] Impossible
一位听障人士在佩戴设备体验了贝多芬的《月光奏鸣曲》第三乐章后,说自己就像是“住在钢琴里”。
但是,尽管通过触觉感受音乐已经得到了验证,在这个过程中还是遇到了一些问题。
仍需改进
想要用触觉感受音乐,遇到的第一个问题是:音乐的频率和振动的频率并不能完全对应。
相比于我们的耳朵对2000Hz-5000Hz的声音最敏感,振动传递的声音范围却通常在5Hz-1000Hz之间。
这意味着,许多耳朵能听到的高音不能被触觉捕捉到,或者说不能被精确地识别。相反,我们可以用触觉感觉到某些低音,即使我们听不到它们。
而将现有音乐转换成振动的第二个障碍是如何区分不同的声音。
南安普顿大学声音与振动研究所的Mark Fletcher表示,目前的许多技术只能处理已被划分成不同乐器的独立音轨的音乐,而很难很好地“分解”复杂音乐。
即使是最先进的算法,现在也难以解决更强烈的振动会掩盖其他振动 ,以及不同的乐器在一首歌中音量会随时变化等问题。
如果没有强有力的方法将不同的乐器分开,并以振动的形式编译出平衡的信号,将无法仅从振动中识别音乐的细微差别。
有一说一,尽管这些技术上的难题仍待解决,但这项技术的发明给听障人士生活带来的变化是实打实的。
利物浦大学的研究团队曾把他们的振动设备带到了一所聋哑学校。
老师们这样回馈道:
学生们在音乐课上更投入了,孩子们真的很喜欢,一个男孩总是在休息时间回来敲门问:“我可以再玩一次吗?”
参考链接:
[1]https://nautil.us/how-the-brain-allows-the-deaf-to-feel-music-22197/
[2]https://direct.mit.edu/jocn/article-abstract/33/4/635/97411/Neural-and-Behavioral-Evidence-for-Vibrotactile?
[3]https://www.sohu.com/a/277841760_100163655
[4]https://www.musicalvibrations.com/signkid/
[5]https://www.researchgate.net/publication/348669717_Neural_and
[6]https://www.youtube.com/channel/UCeBCj0wtkliFdOqEN4jC_4Q
边栏推荐
- 抗积分饱和 PID代码实现,matlab仿真实现
- [现代控制理论]5_系统的可控性_controllability
- 箭头函数和普通函数的常见区别
- "Digital Economy Panorama White Paper" Special Analysis of Banking Industry Intelligent Marketing Application Released
- goalng-sync/atomic原子操作
- Information system project managers must memorize the core test sites (63) The main process of project portfolio management & DIPP analysis
- 香港服务器如何进行加密?
- buck型三相PFC
- 结构体变量的首地址获取注意事项
- Summary of learning stages (knapsack problem)
猜你喜欢
C# Get system installed .NET version
ARP协议原理
C# 获取系统已安装的.NET版本
win10右键文件,一直转圈
京东架构师呕心整理:jvm与性能调优有哪些核心技术知识点
[Essence] Analysis of the special case of C language structure: structure pointer / basic data type pointer, pointing to other structures
Senior told me that the giant MySQL is through SSH connection
F280049库函数API编程、直接寄存器控制编程和混合编程方法
Win10调整磁盘存储空间详解
Byte Qiu Zhao confused me on both sides, and asked me under what circumstances would the SYN message be discarded?
随机推荐
从零开始Blazor Server(9)--修改Layout
HAproxy: load balancing
MySQL查询性能优化七种武器之索引潜水
【面试高频题】可逐步优化的链表高频题
2022 全球 AI 模型周报
ClickHouse物化视图(八)
ClickHouse之MaterializeMySQL引擎(十)
读写分离后,性能居然提升100%了呀
【重要】C语言进阶 -- 自定义类型:结构体、枚举、联合
Redis的常用数据结构和底层实现方式
[现代控制理论]2_state-space状态空间方程
Shell正则表达式,三剑客之grep命令
C# async 和 await 理解
PAT1004
Visual Studio 2017 ASP.NET Framework MVC 项目 MySQL 配置连接
Redis高可用部署
阿里高工带来的20022最新面试总结太香了
京东架构师呕心整理:jvm与性能调优有哪些核心技术知识点
C# 获取系统已安装的.NET版本
微信支付开发流程