本公开内容的实施方案涉及用于音频回放的方法、装置和系统，具体地，涉及用于在生物测定处理之后经由个人音频设备进行音频回放的方法、装置和系统。
背景技术：
众所周知，无论是用户耳朵的外部部分(称为耳廓或外耳)的声学特性还是耳道的声学特性或者二者的声学特性在个体之间都存在很大差异，因此可以用作识别用户的生物测定。位于耳朵附近或内部的一个或多个扬声器或类似换能器生成声学刺激，且类似地位于耳朵附近或耳朵内部的一个或多个麦克风检测耳朵对声学刺激的声学响应。可以从响应信号中提取一个或多个特征，且将其用于表征个体。
例如，耳道是共振系统，因此可以从响应信号所提取的一个特征是耳道的共振频率。如果经测量的共振频率(即，在响应信号中)与所存储的用户共振频率不同，则生物测定算法(生物测定算法被耦合以接收和分析响应信号)可能返回负的结果。响应信号的其他特征可以类似地被提取且用于表征个体。例如，所述特征可包含一个或多个梅尔频率倒谱系数。更一般地，可以确定声学刺激与经测量的响应信号之间的传递函数(或传递函数的特征)，且将其与所存储的作为用户的特性的传递函数(或所存储的传递函数的特征)进行比较。
技术实现要素：
耳朵生物测定认证具有一些有用的属性。例如，诸如通过检测和验证人的语音或指纹，常规的生物测定认证可以将请求认证的人告知电子设备；但是，它可能不能够提供有关在认证之后谁继续使用该设备的信息。一旦将用户的手指从指纹传感器移除，指纹认证将不再提供更多信息。语音生物特征认证即使持续进行，也不会提供任何信息，除非用户实际在讲话。耳朵生物特征认证唯一地告知电子设备谁正在收听来自电子设备的音频回放。
因此，本公开内容的实施方案利用在将用户成功认证为授权用户之后来实施针对该授权用户的一个或多个音频回放设置这一概念。因此，可以利用个人音频设备(例如，上面相对于图1a至图1e所描述的那些)来获得耳朵模型数据，以用于经由耳朵生物测定认证系统(以及潜在的其他认证机制，见下文)对用户进行认证。由于认证成功，所以电子设备被告知正在收听来自该设备的音频回放的人。因此，该设备可以实施针对该授权用户的一个或多个回放设置(例如，通过个人音频设备所回放的可听的安全消息；针对该授权用户的eq设置等)。
根据另一些实施方案，可以在确定成功认证之后个人音频设备保持施加至用户耳朵的情况下进一步实施针对用户的回放设置。如果检测到自认证之后已将个人音频设备从用户耳朵移除，则可能不应用针对用户的回放设置，和/或替代地应用一个或多个默认回放设置。
本公开内容的一个方面提供了一种电子系统中的方法。该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用个人音频设备对用户进行认证。该方法包括：在基于所测量的响应利用认证系统成功认证用户之后，实施针对已认证用户的一个或多个回放设置，以经由个人音频设备回放至已认证用户。
另一方面提供了一种电子系统中的方法。该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用个人音频设备对用户进行认证。该方法包括：使用认证系统，基于所测量的用户耳朵的响应，将用户认证为授权用户；以及，基于对用户的认证，实施针对授权用户的一个或多个回放设置，以经由所述个人音频设备回放至用户。
另一方面提供了一种电子系统中的方法。该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用个人音频设备对用户进行认证。该方法包括：响应于检测到需要音频回放的事件，使用认证系统，基于所测量的用户耳朵的响应来将用户认证为授权用户；以及，基于对用户的认证，实施针对授权用户的一个或多个回放设置，以经由所述个人音频设备向用户回放音频。
另一方面提供了一种电子系统中的方法。该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用个人音频设备对用户进行认证。该方法包括：使用认证系统，基于所测量的用户耳朵的响应来将用户认证为授权用户；以及，在检测到需要音频回放的事件之后，响应于确定自认证之后用户已经连续佩戴所述个人音频设备，实施针对授权用户的一个或多个回放设置，以经由所述个人音频设备向用户回放音频。
另一方面提供了一种用于控制电子系统中的回放设置的方法。该电子系统包括用于回放至用户耳朵中的个人音频设备。该方法包括：向用户耳朵施加声学刺激；测量用户耳朵对声学刺激的声学响应；基于所测量的声学响应，尝试对用户进行认证；如果认证成功，则实施针对已认证用户的一个或多个回放设置，以控制经由个人音频设备向用户的回放。
另一方面提供了一种用于控制从电子系统回放至用户耳朵中的方法。该方法包括：针对特定用户应用一个或多个回放设置，其中应用设置的条件是基于所测量的用户耳朵对声学刺激的声学响应而将用户成功认证为特定用户。
本公开内容的另一方面提供了一种电子系统中的方法。该电子系统包括用于向用户回放音频信号的个人音频设备。该个人音频设备包括第一扬声器和第二扬声器，用于单独向用户的每只耳朵回放音频信号，其中音频信号包括用于向用户的左耳回放的左声道和用于向用户的右耳回放的右声道。该方法包括：使用第一扬声器生成声学刺激；以及测量使用者的一只耳朵对声学刺激的响应；将用户的该只耳朵标识为用户的左耳或右耳；根据对用户的该只耳朵的标识，将左声道或右声道输出至第一扬声器。
其他方面提供了用于执行以上阐述的任何方法的装置和计算机可读介质。例如，在一个方面，一种电子设备包括处理电路和存储指令的非暂时性机器可读介质，在处理电路执行所述指令时使该电子设备实施上述任何方法。另一方面提供了一种存储指令的非暂时性机器可读介质，当电子设备的处理电路执行所述指令时使得该电子设备实施上述任何方法。
在一个特定方面，一种用于向用户提供音频回放的装置包括：耳朵生物测定模块，被配置为获得用户的耳朵生物测定数据，且基于耳朵生物测定数据尝试对用户进行认证；以及，控制模块，被配置为如果认证成功，则实施针对已认证用户的一个或多个回放设置，以控制经由个人音频设备向用户的音频回放。
另一方面提供了一种用于向用户提供音频回放的装置。该装置包括：耳朵生物测定模块，被配置为获得用户的耳朵生物测定数据，且基于耳朵生物测定数据对用户进行认证；以及，控制模块，被配置为在通过耳朵生物测定模块成功认证用户之后，实施针对已认证用户的一个或多个回放设置，以回放至已认证用户。
附图说明
为了更好地理解本公开内容的实施例，且更清楚地示出如何实施这些实施例，现将仅通过实施例的方式参考下列附图，在附图中：
图1a-1e示出了个人音频设备的多个实施例；
图2示出了根据本公开内容的多个实施方案的装置；
图3示出了根据本公开内容的多个实施方案的系统；
图4是根据本公开内容的多个实施方案的方法的流程图；以及
图5是根据本公开内容的另一些实施方案的方法的流程图。
具体实施方式
如上文所述，可以通过生成声学刺激以及检测耳朵对该声学刺激的声学响应来获取耳朵生物测定数据。可以从响应信号中提取一个或多个特征，且将其用于表征个体。
可以使用个人音频设备来生成声学刺激且测量响应。如本文使用的，术语“个人音频设备”是适合于或可配置为大体上仅向单个用户提供音频回放的任何电子设备。在图1a至图1e中示出了合适的个人音频设备的一些实施例。
图1a示出了用户耳朵的一个示意图，用户耳朵包括(外部)耳廓或外耳12a和(内部)耳道12b。用户将包括环耳式耳机的个人音频设备20戴在耳朵上。耳机包括外壳，该外壳大体上围绕且包围外耳12a，从而在用户耳朵与外部环境之间提供物理屏障。可以在外壳的边缘处设置缓冲或衬垫，以增加用户的舒适度，且还增加了耳机与用户皮肤之间的声学耦合(即，在外部环境与用户耳朵之间提供更有效的屏障)。
耳机包括一个或多个扬声器22，扬声器22位于耳机的内表面上，且被布置成朝向用户耳朵尤其是耳道12b产生声学信号。耳机还包括一个或多个麦克风24，麦克风24也位于耳机的内表面上，被布置成检测由耳机、外耳12a和耳道12b所限定的内部容积内的声学信号。
耳机可能能够执行有源噪声消除，以减少耳机用户所遭受的噪声量。通过检测噪声(即，使用麦克风)且生成与噪声信号幅度相同但相位相反的信号(即，使用扬声器)来进行有源噪声消除。因此，所生成的信号对噪声产生破坏性干扰，从而减轻了用户所遭受的噪声。有源噪声消除可以基于反馈信号、前馈信号或二者的组合来进行。前馈有源噪声消除利用耳机外表面上的一个或多个麦克风，可在环境噪声到达用户耳朵之前对环境噪声进行检测。所检测的噪声被快速处理，且生成消除信号，以便在传入噪声到达用户耳朵时匹配该噪声。反馈有源噪声消除利用位于耳机内表面上的一个或多个误差麦克风，操作以检测噪声和由一个或多个扬声器所生成的音频回放信号的组合。此组合与音频回放信号的知识一起用于反馈环路中，以调整扬声器所生成的消除信号，从而降低噪声。因此，图1a中所示的麦克风24可以构成有源噪声消除系统的一部分，例如作为误差麦克风。
图1b示出了替代的个人音频设备30，包括贴耳式耳机。贴耳式耳机不环绕或包围用户耳朵，而是位于外耳12a上。耳机可以包括垫子或衬垫以减轻环境噪声的影响。如同图1a所示的环耳式耳机一样，贴耳式耳机包括一个或多个扬声器32和一个或多个麦克风34。扬声器32和麦克风34可以构成有源噪声消除系统的一部分，其中麦克风34用作误差麦克风。
图1c示出了另一替代的个人音频设备40，包括外耳内耳机(intra-conchaheadphone)(或耳塞)。在使用中，外耳内耳机位于用户的外耳腔内。外耳内耳机可以松动地适配在腔内，从而允许空气流入和流出用户的耳道12b。
与图1a和1b所示的设备一样，外耳内耳机包括一个或多个扬声器42和一个或多个麦克风44，它们可以构成有源噪声消除系统的一部分。
图1d示出了另一替代的个人音频设备50，包括入耳式耳机(或耳塞)、插入式耳机或受话器。该耳机被配置为部分地或全部地插入耳道12b内，且可以在耳道12b与外部环境之间提供相对紧密的密封(即，它可以在声学上封闭或密封)。该耳机可以包括一个或多个扬声器52和一个或多个麦克风54，与上述其他设备一样，这些部件可以构成有源噪声消除系统的一部分。
由于入耳式耳机可以在耳道12b周围提供相对紧密的声学密封，因此由麦克风54所检测的外部噪声(即，来自外部环境)可能地很小。
图1e示出了另一替代的个人音频设备60，其是移动或蜂窝电话或手机。手机60包括：一个或多个扬声器62，用于向用户回放音频；以及一个或多个类似定位的麦克风64。
在使用中，手机60被保持靠近用户耳朵，以便提供音频回放(例如，在通话期间)。尽管在手机60和用户耳朵之间没有实现紧密的声学密封，但是手机60通常保持足够近，使得经由一个或多个扬声器62施加至耳朵的声学刺激生成来自耳朵的响应，该响应可被一个或多个麦克风64检测到。与其他设备一样，扬声器62和麦克风64可构成有源噪声消除系统的一部分。
因此，上述所有个人音频设备在使用中大体上向单个用户提供音频回放。每个设备包括一个或多个扬声器和一个或多个麦克风，它们可用于生成与用户耳朵的频率响应有关的生物测定数据。扬声器可操作以朝向用户耳朵生成声学刺激或声探测波，而麦克风可操作以检测和测量用户耳朵对声学刺激的响应，例如，测量从耳道或耳廓所反射的声波。声学刺激可以是声音的(例如，在如20hz至20khz的音频范围内)或超声的(例如，大于20khz或在20khz至50khz的范围内)或接近超声的(例如，在15khz至25khz的范围内)。在一些实施例中，可以处理麦克风信号，以测量频率与发送的频率相同的接收信号。
另一生物测定标记可以包括耳蜗响应于声学刺激波形而发出的耳声噪声。耳声响应可以包括输入波形中频率的混合。例如，如果输入声学刺激由频率为f1和f2的两个音调组成，则耳声发射可包括频率为2*f1－f2的分量。已经显示，发射波形的频率分量的相对功率是有用的生物测定指示符。因此，在一些实施例中，声学刺激可以包括两个或更多个频率的音调，且可以测量由来自耳蜗的耳声发射所生成的整数倍频率的和或差的混合乘积的幅度。替代地，可以通过使用包括快速瞬变的刺激波形来刺激和测量耳声发射，所述快速瞬变例如是滴答声。
取决于个人音频设备的构造和用途，经测量的响应可以包括与外耳12a、耳道12b或外耳12a和耳道12b的组合有关的用户特定的分量，即生物测定数据。例如，图1a中所示的环耳式耳机通常将获取与外耳12a以及可能还与耳道12b相关的数据。图1d所示的插入式耳机通常将仅获取与耳道12b有关的数据。
上述一个或多个个人音频设备(或这些设备中的麦克风)可操作以检测来自用户的骨传导语音信号。也就是说，随着用户的讲话，声音通过空气从用户的口部中发出。但是，声学振动还将通过用户的骨骼或头骨的一部分(例如，颌骨)传播。这些声学振动可以通过颌骨或用户的骨骼或头骨的某一其他部分而被耦合至耳道12b，且被麦克风检测到。相比于较高频率的声音，频率较低的声音趋向于经历更强的耦合，且浊话音(即，在声带振动时所生成的话音或那些音素)通过骨骼传导的耦合比清话音(即，在声带没有振动时所生成的话音或那些音素)强。由于耳道12b周围的声学耦合紧密，因此入耳式耳机50可能特别适合于检测骨传导话音。
图1a至1e中示出且如上所述的所有设备可以用于实施本公开内容的多个方面。
图2示出了根据本公开内容的实施方案的装置200。装置200包括个人音频设备202、生物测定认证系统204和主机电子设备206。
个人音频设备202可以是适合于或配置为大体上向单个用户提供音频回放的任何设备。个人音频设备202通常包括一个或多个扬声器和一个或多个麦克风，在使用中，所述扬声器和麦克风位于用户耳朵附近或内部。个人音频设备202可以是可佩戴的，且包括用于用户每个耳朵的耳机。替代地，个人音频设备202可以可操作地由用户携带，且在使用期间被保持邻近用户的一个或两个耳朵。如同以上关于图1a至图1e中的任何一个所描述的，个人音频设备可以包括耳机或移动电话手机。
主机电子设备206可以包括任何合适的音频回放设备，可被配置为生成待经由个人音频设备202向用户播放的音频回放信号。应理解，例如在个人音频设备202包括蜂窝电话或类似设备的情况下，主机设备206和个人音频设备202可以是相同的。
生物测定系统204被耦合至个人音频设备202和主机电子设备206。在一些实施方案中，生物测定系统204被设置在个人音频设备202本身中。在其他实施方案中，生物测定系统204被设置在主机电子设备206中。在其他实施方案中，生物测定设备204的操作被分布在个人音频设备202和主机电子设备206之间。
生物测定系统204被耦合至个人音频设备202，且可操作以控制个人音频设备202，从而获取指示使用个人音频设备202的个体的生物测定数据。
因此，个人音频设备202生成用于施加至用户耳朵的声学刺激，且检测或测量耳朵对声学刺激的响应。例如，声学刺激可以在声音范围内，或在超声范围内。在一些实施方案中，声学刺激可以具有平坦的频谱，或者可以进行预处理，以强调那些可以对个体进行良好区分的频率(即，振幅比其他频率高)。经测量的响应对应于在一个或多个麦克风处所接收的反射信号，由于用户耳朵的特定响应，某些频率比其他频率以更高的幅度反射。
生物测定系统204可以将适当的控制信号发送至个人音频设备202，以便发起生物测定数据的获取，且从个人音频设备202接收与经测量的响应相应的数据。生物识别系统204可操作以从经测量的响应提取一个或多个特征，且将那些特征用作生物测定处理的一部分。
合适的生物测定处理的一些实施例包括生物测定登记和生物测定认证。登记包括作为个体特性的生物测定数据的获取和存储。在当前情况下，这种所存储的数据可以称为“耳纹”。认证(替代地称作验证或识别)包括从个体获取生物测定数据，且将该数据与所存储的一个或多个已登记或授权用户的耳纹进行比较。肯定比较(即，确定所获取的数据与所存储的耳纹相匹配或足够接近)使得该个体被认证。例如，可以允许该个体执行受限动作，或被授予访问受限区域或设备的权限。否定比较(即，确定所获取的数据与所存储的耳纹不匹配或不是足够接近)使得该个体未被认证。例如，可能不允许该个体执行受限操作，或不被授予访问受限区域或设备的权限。
因此，生物测定系统204向主机电子设备206提供认证结果，如果该生物测定结果是肯定的且将用户识别为授权用户，则主机电子设备206被配置为实施针对经识别的授权用户的一个或多个音频回放设置，以经由个人音频设备202向用户回放。
图3示出了根据本公开内容的实施方案的系统300。
系统300包括处理电路322，处理电路322可以包括一个或多个处理器，例如，中央处理单元或应用处理器(ap)或数字信号处理器(dsp)。
一个或多个处理器可以基于存储在存储器324中的数据和程序指令来执行本文所述的方法。存储器324可以被设置为单个部件或多个部件或者与处理电路322中的至少一些共同集成。具体地，可以通过执行以非瞬态形式存储在存储器324中的指令来在处理电路322中执行本文描述的方法，其中在制造系统300或个人音频设备202期间存储程序指令或在使用系统或设备时通过上传来存储程序指令。
处理电路322包括刺激生成器模块303，刺激生成器模块303直接地或间接地被耦合至放大器304，放大器304转而被耦合至扬声器306。
刺激生成器模块303生成电音频信号，且将电音频信号提供至放大器304，该放大器304将电音频信号放大且将经放大的信号提供至扬声器306。扬声器306生成相应的声学信号，该声学信号被输出至用户的一个或两个耳朵。音频信号例如可以是声音的或超声的。音频信号可以具有平坦的频谱，或者可以进行预处理，以强调那些可以对个体进行良好区分的频率(即，振幅比其他频率高)。
如上所述，音频信号可以被输出至用户耳朵的全部或一部分(即，耳廓12a或耳道12b)。音频信号从耳朵反射，且反射信号(或回声信号)被麦克风308检测和接收。因此，反射信号包括作为个体耳朵的特性且适合用作生物测定的数据。
反射信号从麦克风308传递至模数转换器(adc)310，在模/数转换器(adc)中，反射信号从模拟域转换至数字域。当然，在替代实施方案中，麦克风308可以是数字麦克风且产生数字数据信号(因此不需要转换至数字域)。
麦克风308在时域中检测到该信号。但是，出于生物测定处理目的而提取的特征可能在频域中(因为用户耳朵的频率响应是特性)。因此，系统300包括傅里叶变换模块312，将反射信号转换为频域。例如，傅里叶变换模块312可以实现快速傅里叶变换(fft)。
然后，经变换的信号被传递至特征提取模块314，特征提取模块314提取经变换的信号的一个或多个特征，以用于生物测定处理(例如，生物测定登记、生物测定认证等)。例如，特征提取模块314可以提取用户耳朵的共振频率。例如，特征提取模块314可以提取一个或多个梅尔频率倒谱系数。替代地，特征提取模块可以确定用户耳朵在一个或多个预定频率处或在一个或多个频率范围内的频率响应。
所提取的特征被传递至生物测定模块316，生物测定模块316对所提取的特征执行生物测定处理。例如，生物测定模块316可以执行生物测定登记，其中所提取的特征(或从所提取的特征导出的参数)被存储为作为个体特性的生物测定数据318的一部分。生物测定数据318可以存储在系统300内或远离系统300(且可以由生物测定模块316安全地访问)存储。这样存储的数据318可以被称为“耳纹”。在另一实施例中，生物测定模块316可以执行生物测定认证，且将一个或多个所提取的特征与所存储的耳纹318(或多个所存储的耳纹)中的对应特征进行比较。
生物测定模块316然后可以生成生物测定结果(即，认证成功或认证不成功)，且将结果输出至控制模块302。
在一些实施方案中，刺激波形可以是预定频率和幅度的音调。在其他实施方案中，刺激生成器可以被配置为将音乐施加至扬声器，例如，正常回放操作，且特征提取模块可以被配置为从刺激波形所包含的任何信号分量提取响应或传递函数。
因此，在一些实施方案中，特征提取模块可以被设计为具有对刺激的性质的预知，例如知晓所施加的刺激信号的频谱，从而可以对响应或传递函数进行适当地归一化。在其他实施方案中，特征提取模块可以包括第二输入以监视刺激(例如，回放音乐)，且因此向特征提取模块提供关于刺激信号或其频谱的信息，使得特征提取模块可以计算从刺激波形刺激至所接收的声波波形的传递函数，从传递函数中可以导出所需的特征参数。在后一种情况下，刺激信号还可以经由fft模块传递到特征提取模块。
基于认证结果，控制模块302可以实施一个或多个用户特定的回放设置，所述一个或多个用户特定的回放设置可从包括一个或多个这样的回放设置的存储模块330获取。例如，存储模块330可以包括针对被系统授权的一个或多个用户中的每个用户的对应音频回放设置。存储模块330可以另外包括一个或多个默认回放设置，用于当用户未被成功认证时使用。
系统300可以另外包括检测模块332，被配置为检测用户是否正在积极佩戴个人音频设备(即，至少扬声器306和麦克风308)，且向处理电路322提供输出以指示个人音频设备的当前状态(例如，被佩戴或未被佩戴)。多种机制都适合于此目的。例如，可以分析由麦克风308所检测的信号，以确定其是否具有小容积(即，耳道内部和/或耳机外壳内的容积)的特性。例如，个人音频设备中的光学机制可以检测光的存在，因此得出结论：个人音频设备已经从用户的头部移除。例如，个人音频设备中的加速度计可以检测与用户头部的运动不一致的运动。例如，压力传感器，例如压阻或压电传感器，可以检测在将受话器装配到耳道中时所施加的压力。例如，电容传感器可以检测耳朵与个人音频设备的接近度。例如，温度传感器可以检测耳道组织的温暖度或耳道腔中的空气的温暖度。
为了避免疑问，在此应注意，当系统300在手机(例如，智能电话、移动电话或蜂窝电话)或其他电子主机设备中实施时，扬声器306和麦克风308可以集成在手机本身内部，或集成在与手机相耦合的耳塞/耳机内。
图4是根据本公开内容的实施方案的方法的流程图。
该方法开始于步骤400，在该步骤400中，检测到个人音频设备被插入用户耳朵中(或更通常地，将个人音频设备施加至用户耳朵)。例如，检测模块332可以检测到个人音频设备(即，至少扬声器306和麦克风308)至用户耳朵上的这样的施加，且向控制模块302输出相应的指示。
在步骤402，使用耳朵生物测定认证系统尝试生物测定认证。因此，控制扬声器306以将声学刺激输出至用户耳朵(即，耳廓12a和/或耳道12b)，且麦克风308检测从用户耳朵所反射的信号。从反射信号中提取一个或多个特征(例如，在频域中)，且将其与针对授权用户所存储的一个或多个耳纹进行比较。如果所提取的特征与所存储的耳纹的特征相匹配(即，匹配至足够程度)，则可以认证用户；如果所提取的特征不匹配(即，未匹配至足够程度)，则可能无法认证用户。
除了耳朵生物测定认证之外，步骤402还可以考虑一种或多种另外认证机制(可以是生物测定的或非生物测定的)。例如，如果耳朵生物测定认证失败，则可以尝试一种或多种替代机制，例如语音生物测定认证；密码、通行码或个人识别号码认证、指纹认证等。可以将附加的认证结果与耳朵生物测定认证结果相组合，以确定整体认证结果。
可以响应于在步骤400中检测到将个人音频设备施加至用户耳朵而执行步骤402。
如果步骤402中的认证失败，则该方法行进至步骤404且结束。例如，一个或多个默认音频回放设置可以用于经由个人音频设备202向用户回放音频。替代地，可以完全防止经由个人音频设备202进行音频回放。
如果认证成功，则该方法行进至步骤406，在该步骤406中，检测到需要向用户回放音频的事件。
例如，控制模块302可能检测到用户已经请求经由主机电子设备206进行音频回放音乐或书面文本的文本至话音转换。例如，控制模块302可检测到需要通知用户的事件，例如接收到传入消息、电子邮件或电话等。
该方法行进至步骤408，在步骤408中，确定用户是否仍然被认证。例如，可以在步骤402中再次执行耳朵生物测定认证。替代地，可以确定自步骤402中的肯定认证之后个人音频设备未从用户耳朵移除(例如，使用检测模块322)而无需再次认证用户。如果自步骤402中的肯定认证之后已移除了个人音频设备，则在认为用户已被认证之前，可能需要使用个人音频设备进行另外的认证处理(例如，耳朵生物测定认证)。
如果在步骤408中用户未被认证，则该方法行进至步骤410且结束。例如，一个或多个默认音频回放设置可以用于经由个人音频设备202向用户回放音频。替代地，可以完全防止经由个人音频设备202进行音频回放。
如果在步骤408中对用户进行了认证，则该方法行进至步骤412，在步骤412中，实施针对在步骤402或步骤408(或这二者)中所执行的认证中经识别的用户的一个或多个音频回放设置。例如，处理电路可以考虑生物认证模块316的输出，可选地还考虑检测模块332的输出，以从模块330检索特定的回放设置。
一个或多个回放设置可以包括以下中的一项或多项：
-音频均衡(eq)设置。例如，这样的设置可以包括经由个人音频设备的音乐回放或其他音频回放的eq设置。
-可听的安全消息。例如，这样的设置可以包括仅当用户被认证时，来自所有发送者或来自所存储的一组发送者的消息或电子邮件才经由个人音频设备被可听地中继至用户的设置。否则，消息或电子邮件可能根本不会转发至用户，或者可能仅在主机电子设备上被通知或显示。
-安全的电话呼叫。例如，这样的设置可以包括仅当用户被认证时，才通过个人音频设备回放来自某些当事人或所有当事人的电话呼叫的设置。
-可听通知。例如，这样的设置可以包括仅当用户被认证时才为某些事件提供可听通知的设置。
-可听翻译。例如，这样的设置可以包括音频被翻译成的优选语言。
-文本至话音输出。例如，这样的设置可以包括文本被翻译成的优选语言，或者仅当用户被认证时才应当将文本转换至话音且通过个人音频设备中继至用户的设置。
-语音助手的隐私或安全设置。例如，在个人音频设备202和/或主机设备206内所实施的语音助手可以根据多种隐私或安全模式进行操作。一种这样的模式可以是默认模式，可以包括“公共”模式，在该“公共”模式中应用了相对高的隐私级别。例如，可以防止语音助手在这种模式下输出消息的内容或其他敏感的个人信息。另一种这样的模式可以是“隐私”模式，其中应用了低的隐私级别。例如，当以这种模式操作时，语音助手可以输出消息的内容或其他个人信息。例如，在接收到针对用户的消息时，操作在公共模式下的语音助手可以输出个性化信息被模糊或内容被保留的警报，例如“您已经从mary接收到消息”。在诸如指示靠近已授权耳朵的耳朵生物测定认证的生物测定认证之后，语音助手可以切换至隐私模式，在该隐私模式中，接收到相同的消息可以提示对警报进行定制以向用户提供更多的个人或隐私内容，例如，“您的妻子给您的消息是：请拿些牛奶”。语音助手可以根据步骤408中的认证而在多个隐私模式之间切换。例如，如果在步骤408中用户被认证，则可以应用隐私模式；如果在步骤408中用户未被认证，则可以应用公共模式。
图4所示的方法包括两个认证阶段：第一阶段是将个人音频设备202施加至用户耳朵时；第二认证阶段是当检测到需要向用户回放音频的事件时。在替代实施方案中，可能仅需要一个认证阶段。因此，仅在检测到需要音频回放的事件时，而不是在将个人音频设备施加至用户耳朵时，才可以认证用户(例如，使用耳朵生物测定认证系统，以及可选地，使用一个或多个附加认证机制)。
图5是根据本公开内容的另外的实施方案的方法的流程图，特别是用在包括第一扬声器和第二扬声器的个人音频设备中或与包括第一扬声器和第二扬声器的个人音频设备结合使用，第一扬声器和第二扬声器用于分别将音频回放至用户的耳朵，即，其中第一扬声器被布置为输出至用户的左耳，第二扬声器被布置为输出至用户的右耳，或者第一扬声器被布置为输出至用户的右耳，第二扬声器被布置为输出至用户的左耳。因此，该方法可以与图1a至图1d所示的任何个人音频设备一起使用，其中，相对于用户的另一只耳朵，示出的耳塞/耳机是完全一样的。
此外，该方法可以由以上关于图3所示出和描述的系统300执行。该系统仅示出了单个扬声器306和单个麦克风308；然而，本领域技术人员应理解，系统300可以很容易地被适配以考虑到第二扬声器和第二麦克风(即，与第二耳塞或耳机相关联)。可以为每个扬声器和麦克风的组合提供单独的信号处理路径(例如，fft模块、特征提取模块等)，或者可以在扬声器和麦克风组合之间共享单个处理路径。
该方法开始于步骤500，在该步骤中，检测到个人音频设备的扬声器中的一个(或两个)扬声器被插入至用户耳朵中(或更通常地，将扬声器中的一个施加至用户耳朵)。例如，检测模块332可以检测个人音频设备(即，至少扬声器306和麦克风308)至用户的一只耳朵上的这样的施加，且将相应的指示输出至控制模块302。本领域技术人员将理解，检测模块332可以为一个扬声器或两个扬声器执行入耳检测功能。
在步骤502中，使用耳朵生物测定认证系统尝试进行生物测定认证。因此，扬声器306被控制以将声学刺激输出至用户耳朵(即，耳廓12a和/或耳道12b)，且麦克风308检测从用户耳朵反射的信号。从反射信号中提取一个或多个特征(例如，在频域中)，且将其与所存储的用于授权用户的一个或多个耳纹进行比较。如果所提取的特征与所存储的耳纹的那些特征相匹配(即，匹配的程度足够)，则用户可以被认证；如果所提取的特征不匹配(即，匹配的程度足够)，则用户可能无法被认证。可以针对两只耳朵(即，两个扬声器/麦克风)重复该处理，或者仅针对一个扬声器执行该处理。
根据本公开内容的实施方案，系统300为用户的左耳和右耳中的每一只耳朵存储单独的耳纹，例如，存储在耳纹模块318中。可以预料到这些耳纹彼此不同，因此用户的左耳的声学响应将不同于用户的右耳的声学响应。可以在要求用户识别他或她的左耳和右耳的登记过程期间(例如，在针对每只耳朵的单独的登记过程中)获取单独的左耳耳纹和右耳耳纹。因此，在步骤502中所执行的生物测定认证包括将麦克风308所检测的声学响应(以及可选地还由第二麦克风所检测的声学响应)单独地与用户左耳的耳纹和右耳的耳纹进行比较。
可以响应于在步骤500中检测到个人音频设备被施加至用户耳朵而执行步骤502，尤其是使用被检测到已经施加至用户耳朵的扬声器来执行步骤502(在仅一个扬声器被施加至用户耳朵的情况下)。
如果步骤502中的认证失败(例如，对于一只或两只耳朵)，则该方法行进至步骤504且结束。例如，一个或多个默认音频回放设置可以用于经由个人音频设备202向用户回放音频。替代地，可以完全防止经由个人音频设备202进行音频回放。
如果认证成功，则该方法行进至步骤506，在步骤506中，识别用户的左耳和/或右耳，尤其识别第一扬声器和第二扬声器中的每一个与用户的左耳和右耳之间的关联。例如，如果麦克风308所检测的声学响应与用户左耳的耳纹匹配，则可以得出结论，扬声器306被施加至用户的左耳。因此，识别了扬声器306和用户左耳之间的关联。例如，生物测定模块316可以向控制模块302输出合适的控制信号，以识别扬声器306和用户的左耳或右耳之间的关联。
可以对第二扬声器重复该处理，或者替代地，可以假定第二扬声器与用户的另一只耳朵之间的关联。关于第二扬声器的单独的认证处理可以允许系统300识别何时在两个不同用户之间共享耳机，或者何时仅将单个耳机施加至耳朵。
在步骤508中，根据扬声器与左耳或右耳的关联来实施关于扬声器的特定的音频回放设置。例如，立体声音频声道(例如，左声道和右声道)可以根据它们与左耳或右耳的关联而被输出至扬声器，左声道被输出至与左耳关联的扬声器，右声道被输出至与右耳关联的扬声器。在其他实施例中，可以将不同的音量应用至第一扬声器和第二扬声器，例如以解决用户一只或另一只耳朵中听力差的问题。
因此，控制模块302可以获取存储在存储模块330中的针对左耳和右耳的单独的回放设置，且根据这些扬声器是与左耳相关联还是与右耳相关联来向第一扬声器和第二扬声器输出单独的信号。
因此，本公开内容提供了利用耳朵生物测定认证来确定谁正经由个人音频设备202收听(特别是他们是否被授权)的方法、装置和系统，且在将用户肯定认证为授权用户之后实施一个或多个用户特定的回放设置。进一步的实施方案识别特定用户的哪只耳朵与个人音频设备的哪个扬声器相关联，且根据该识别为每个扬声器实施一个或多个耳朵特定的回放设置。
多个实施方案可以在诸如智能电话、音频播放器、移动电话或蜂窝电话、手机的电子、便携式和/或电池供电的主机设备中实施。多个实施方案可以在这样的主机设备内所设置的一个或多个集成电路上实施。多个实施方案可以在可配置为向单个人提供音频回放的个人音频设备(例如，智能电话、移动电话或蜂窝电话、耳机、耳塞等)中实施。参见图1a至1e。同样，多个实施方案可以在这样的个人音频设备202内所设置的一个或多个集成电路上实现。在另外的替代方案中，多个实施方案可以在主机设备206和个人音频设备202的组合中实施。例如，多个实施方案可以在个人音频设备202内所设置的一个或多个集成电路中以及在主机设备206内所设置的一个或多个集成电路中实施。
应理解，尤其是受益于本公开内容的本领域普通技术人员应理解，本文所描述的多种操作，特别是结合附图所描述的多种操作，可以由其他电路或其他硬件部件来实施。可以改变执行给定方法的每个操作的顺序，且可以对本文中所例示的系统的多种元素进行添加、重新排序、组合、省略、修改等。本公开内容旨在包含所有这样的修改和改变，因此以上描述应被认为是例示性的而非限制性的。
类似地，尽管本公开内容参考特定实施方案，但是在不脱离本公开内容的范围和覆盖本公开内容的情况下，可以对这些实施方案做出某些修改和改变。此外，本文针对特定实施方案所描述的任何益处、优点或问题的解决方案均不旨在被解释为关键的、必需的或必要的特征或要素。
同样地，受益于本公开内容的另外的实施方案对于本领域普通技术人员将是显而易见的，且这样的实施方案应被认为包含在本文中。
技术人员将认识到，上述装置和方法的某些方面，例如发现和配置方法，可以被实施为处理器控制代码，例如在诸如磁盘、cd-rom或dvd-rom的非易失性载体介质上、在已编程的存储器(例如，只读存储器(固件))上或在数据载体(例如，光信号载体或电信号载体)上。对于许多应用，本发明的实施方案将在dsp(数字信号处理器)、asic(专用集成电路)或fpga(现场可编程门阵列)上实施。因此，该代码可以包括常规程序代码或微代码，或者例如包括用于设置或控制asic或fpga的代码。该代码还可以包括用于动态配置诸如可重新编程逻辑门阵列的可重新配置设备的代码。类似地，该代码可以包括用于诸如verilogtm或vhdl(超高速集成电路硬件描述语言)的硬件描述语言的代码。如本领域技术人员将理解的，代码可以在彼此通信的多个耦合部件之间分布。在适当的情况下，还可以使用在现场(可重新编程)模拟阵列或类似设备上运行的代码来实施多个实施方案，以便配置模拟硬件。
注意，如本文中所使用的，术语模块应被用于指代如下功能单元或块，所述功能单元或块可以至少部分地由诸如自定义电路的专用硬件组件来实施和/或至少部分地由一个或多个软件处理器或由在适当的通用处理器等上运行的适当代码来实施。模块本身可以包括另外模块或功能单元。一个模块可以由多个部件或子模块提供，这些部件或子模块不需要位于同一位置，且可以被设置在不同的集成电路上和/或在不同的处理器上运行。
应注意，上述实施方案例示而非限制本发明，且本领域技术人员将能够在不脱离所附权利要求或实施方案的范围的情况下设计许多替代实施方案。单词“包括”不排除权利要求或实施方案中所列举的元件或步骤之外的元件或步骤的存在，“一”或“一个”不排除多个，且单个特征或其他单元可以实现权利要求或实施方案中记载的若干单元的多个功能。权利要求或实施方案中的任何附图标记或标签均不应被解释为限制其范围。
尽管已经详细描述了本公开内容和某些代表性的优点，但是应理解，在不脱离由所附权利要求限定的本公开内容的精神和范围的情况下，可以进行多种改变、替换和变更。而且，本公开内容的范围不旨在限于处理、机器、制造、物质的成分、装置、方法或步骤的特定实施方案，可以利用大体执行相同功能或获得与本文对应实施方案大体相同的结果的当前存在的或以后要开发的实施方案。因此，所附权利要求旨在将这样的处理、机器、制造、物质的成分、装置、方法或步骤包括在它们的范围内。
技术特征：
1.一种电子系统中的方法，该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用所述个人音频设备对用户进行认证，该方法包括：
在基于所测量的响应利用所述认证系统对用户进行成功认证之后，实施针对已认证用户的一个或多个回放设置，以经由所述个人音频设备回放至已认证用户。
2.根据权利要求1所述的方法，还包括：
基于所测量的响应，尝试使用所述认证系统来认证用户。
3.根据权利要求2所述的方法，其中响应于检测到需要回放至用户的事件而执行尝试认证用户的步骤。
4.根据权利要求2或3所述的方法，其中在将所述个人音频设备施加至用户耳朵时，执行尝试认证用户的步骤。
5.根据前述权利要求中的任一项所述的方法，其中响应于检测到需要回放至用户的事件而执行实施针对已认证用户的一个或多个回放设置的步骤。
6.根据前述权利要求中的任一项所述的方法，其中响应于使用所述认证系统成功认证用户，执行实施针对已认证用户的一个或多个回放设置的步骤。
7.根据前述权利要求中的任一项所述的方法，其中响应于确定在成功认证用户之后所述个人音频设备保持持续地施加至用户耳朵，实施一个或多个针对用户的回放设置。
8.根据前述权利要求中的任一项所述的方法，其中成功认证包括利用所述认证系统和至少一种附加认证机制进行成功认证。
9.根据权利要求8所述的方法，其中所述至少一种附加认证机制包括下列中的一项或多项：个人识别号码认证；通行码或密码认证；以及语音认证。
10.根据前述权利要求中的任一项所述的方法，其中所述一个或多个回放设置包括下列中的一项或多项：音频均衡设置；可听安全消息；安全电话呼叫；可听通知；可听翻译；文本至话音输出；语音助手隐私模式。
11.根据前述权利要求中的任一项所述的方法，其中所述声学刺激包括音频回放信号。
12.根据权利要求1所述的方法，其中所述音频回放信号包括音乐。
13.根据前述权利要求中的任一项所述的方法，其中所述个人音频设备包括用于检测所测量的响应的麦克风，且其中所述麦克风还被用作有源噪声消除系统的一部分。
14.一种电子系统中的方法，该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用个人音频设备对用户进行认证，该方法包括：
使用认证系统，基于所测量的用户耳朵的响应，将用户认证为授权用户；以及
基于对用户的认证，实施针对授权用户的一个或多个回放设置，以经由所述个人音频设备向用户回放。
15.一种电子系统中的方法，该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用所述个人音频设备对用户进行认证，该方法包括：
响应于检测到需要音频回放的事件，使用所述认证系统，基于所测量的用户耳朵的响应将用户认证为授权用户；以及
基于对用户的认证，实施针对授权用户的一个或多个回放设置，以经由所述个人音频设备向用户回放音频。
16.一种电子系统中的方法，该电子系统包括：个人音频设备，用于回放至用户耳朵中；以及，认证系统，用于基于所测量的用户耳朵对声学刺激的响应，使用所述个人音频设备对用户进行认证，该方法包括：
使用所述认证系统，基于所测量的用户耳朵的响应，将该用户认证为授权用户；以及
当检测到需要音频回放的事件时，响应于确定自认证之后用户持续地佩戴所述个人音频设备，实施针对授权用户的一个或多个回放设置，用于经由个人音频设备向用户进行音频回放。
17.根据权利要求16所述的方法，还包括：
在检测到需要音频回放的事件时，响应于确定自认证之后用户未持续佩戴所述个人音频设备，使用所述认证系统尝试基于所测量的用户耳朵的响应将用户重新认证为授权用户。
18.一种用于控制电子系统中的回放设置的方法，该电子系统包括用于回放至用户耳朵中的个人音频设备，该方法包括：
向用户耳朵施加声学刺激；
测量用户耳朵对声学刺激的声学响应；
基于所测量的声学响应尝试对用户进行认证；以及
如果认证成功，则实施针对已认证用户的一个或多个回放设置，以控制通过所述个人音频设备向用户的回放。
19.根据权利要求18所述的方法，其中响应于检测到需要向用户回放的事件而执行尝试对用户进行认证的步骤。
20.根据权利要求18所述的方法，其中在检测到所述个人音频设备被施加至用户耳朵时，执行尝试对用户进行认证的步骤。
21.根据权利要求19或20所述的方法，其中实施一个或多个回放设置的步骤以检测到自成功认证之后所述个人音频设备持续施加至用户耳朵为条件。
22.根据权利要求21所述的方法，其中在检测到所述个人音频设备不再施加至用户耳朵时，所实施的回放设置恢复为默认设置。
23.根据权利要求18至22中的任一项所述的方法，其中成功认证包括通过所述认证系统和至少一种附加认证机制进行成功认证。
24.根据权利要求23所述的方法，其中所述至少一种附加认证机制包括下列中的一项或多项：个人识别号码认证；通行码或密码认证；以及，语音认证。
25.根据权利要求15至20中的任一项所述的方法，其中所述一个或多个回放设置包括下列中的一项或多项：音频均衡设置；可听安全消息；安全电话呼叫；可听通知；可听翻译；文本至话音输出。
26.根据权利要求18至22中的任一项所述的方法，其中成功认证包括基于所测量的声学响应且结合至少一种附加认证机制进行成功认证。
27.根据权利要求26所述的方法，其中所述至少一种附加认证机制包括下列中的一项或多项：个人识别号码认证；通行码或密码认证；以及，语音认证。
28.根据权利要求26或27所述的方法，其中所述一个或多个回放设置包括下列中的一项或多项：音频均衡设置；可听安全消息；安全电话呼叫；可听通知；可听翻译；文本至话音输出。
29.一种用于控制从电子系统至用户耳朵中的回放的方法，该方法包括：
应用针对特定用户的一个或多个回放设置，
其中应用设置以基于所测量的用户耳朵对声学刺激的声学响应将用户成功认证为特定用户为条件。
30.一种电子系统中的方法，该电子系统包括用于向用户回放音频信号的个人音频设备，该个人音频设备包括用于单独向用户的每只耳朵回放音频信号的第一扬声器和第二扬声器，其中音频信号包括用于向用户的左耳回放的左声道和用于向用户的右耳回放的右声道，该方法包括：
使用所述第一扬声器生成声学刺激；
测量用户的一只耳朵对声学刺激的响应；
将用户的该只耳朵标识为用户的左耳或右耳；以及
根据对用户的该只耳朵的标识，将左声道或右声道输出至所述第一扬声器。
31.根据权利要求30所述的方法，还包括：
将所述左声道和右声道中的另一个输出至所述第二扬声器。
32.根据权利要求30或31所述的方法，还包括：
使用所述第二扬声器生成第二声学刺激；
测量用户的一只耳朵对由所述第二扬声器生成的声学刺激的响应；
将用户的该只耳朵标识为用户的左耳或右耳。
33.根据权利要求30至32中的任一项所述的方法，其中响应于确定所述个人音频设备靠近耳朵而执行所述方法。
34.一种用于向用户提供音频回放的装置，该装置包括：
耳朵生物测定模块，被配置为获得用户的耳朵生物测定数据，且基于该耳朵测定特征数据来认证用户；以及
控制模块，被配置为在通过所述耳朵生物测定模块成功认证用户之后，实施针对已认证用户的一个或多个回放设置，以回放至已认证用户。
35.根据权利要求34所述的装置，其中所述耳朵生物测定模块被配置为从所测量的用户耳朵对声学刺激的响应提取一个或多个特征作为所述耳朵生物测定数据。
36.根据权利要求35所述的装置，其中所述生物测定电路被配置为基于所述声学刺激从所测量的响应提取一个或多个特征。
37.一种用于向用户提供音频回放的装置，该装置包括：
耳朵生物测定模块，被配置为获得用户的耳朵生物测定数据，且基于该耳朵生物测定数据尝试对用户进行认证；以及
控制模块，被配置为如果认证成功，则实施针对已认证用户的一个或多个回放设置，以控制经由个人音频设备向用户的音频回放。
38.一种电子装置，包括处理电路和存储指令的非暂时性机器可读介质，所述指令在由所述处理电路执行时使所述电子装置实施根据权利要求1至33中的任一项所述的方法。
39.根据权利要求38所述的电子装置，其中所述电子装置包括个人音频设备或主机电子设备。
40.根据权利要求38所述的电子装置，其中所述电子装置包括智能电话、音频播放器、耳机、耳塞和移动电话或蜂窝电话中的至少一个。
41.一种非暂时性机器可读介质，该非暂时性机器可读介质存储指令，所述指令在由处理电路执行时使电子装置实施根据权利要求1至33中的任一项所述的方法。
技术总结
本发明涉及在生物测定处理之后经由个人音频设备进行音频回放的方法、装置和系统。可以使用个人音频设备来获得耳朵模型数据，用于经由耳朵生物测定认证系统来认证用户。由于认证成功，电子设备被告知人正在收听来自该设备的音频回放。因此，该设备可以实施针对该授权用户的一个或多个回放设置。
技术研发人员：J·P·莱索;J·福赛斯
受保护的技术使用者：思睿逻辑国际半导体有限公司
技术研发日：.07.06
技术公布日：.02.21
