内蒙古快三近200期走势图|内蒙古快三开奖走势图

多語種混合語音識別關鍵技術研發與應用

云知聲(上海)智能科技有限公司    上海師范大學

云知聲(上海)智能科技有限公司(以下簡稱云知聲)是一家人工智能高新技術企業,專注于物聯網人工智能服務,是世界領先的智能語音識別AI技術企業之一。云知聲利用機器學習平臺,在語音技術、語言技術、知識計算、大數據分析等領域建立了領先的核心技術體系,這些技術共同構成了云知聲完整的人工智能技術知識圖譜。

云知聲連續兩年入選福布斯中國最快科技成長公司50強企業,是中國人工智能行業成長最快的創業公司之一,其在智慧家居、車載、醫療、安防、教育等方面的人工智能應用居于國內領先地位,已形成較好的“云端芯”生態閉環,如下圖所示。

圖1 云知聲“云端芯”生態

云知聲一直積極與高校、科研院所開展產學研合作,先后與上海師范大學、西北工業大學、中科院自動化研究所、中醫藥信息研究所建立了聯合實驗室,主要圍繞智能語音、知識、認知計算等核心技術研發、應用等方面開展深入合作,同時聯合培養高層次的AI人才,加速人工智能相關技術的產業化進程。

上海師范大學是上海市重點建設的綜合性大學,學科門類齊全,覆蓋面比較廣。在其“厚基礎、重實踐、國際化”的人才培養理念指導下,學校在教育、心理、語言、計算機科學等與人工智能緊密相關的學科領域具有自己優勢。

云知聲與上海師大信息與機電工程學院圍繞人工智能在人機交互技術、多學科融合以及產業化應用中的一些關鍵性、綜合性問題開展了產學研合作。“多語種混合語音識別關鍵技術研發與應用”是其中的一個項目。

一、產學研合作的主要做法

云知聲與上海師大信息與機電工程學院在產學研合作過程中,秉持誠信,在風險共擔、利益共享、平等互利的合作機制的基礎上,主要圍繞以下六個方面開展產學研合作。

1、企業為高校提供穩定的科研經費

在合作項目完成后,云知聲采用上海師大研發團隊提供的多語種混合語音識別關鍵技術,更新了其在人工智能領域中醫療、教育、家居、車載等各個語音識別平臺及線上服務的引擎,改善了其產品的用戶滿意度,為企業帶來了較好的經濟效益和社會效益。企業又將其利潤的一部分反哺到研發單位,雙方在該項目結題后,于2017年11月簽訂了繼續合作協議,每四年為一個合作周期,每年持續向高校提供穩定的科研經費(詳見附件——自然人機交互聯合實驗室合同)。比如2018-2019年,企業就為上海師范大學提供50萬科研經費。

2、企業邀請高校研發骨干參與企業研發計劃、方案的討論與制定

云知聲在與上海師范大學研發團隊前期合作基礎上,雙方建立了良好的信任關系。云知聲內部有專門負責人工智能核心技術研發的AI Labs部門。云知聲每一年都會邀請高校的研發團隊負責人龍艷花教授及團隊骨干參與到其AI Labs部門的研發計劃、研發方案及制度等的制定。

圖2 云知聲CTO在上師大做講座

3、企業與高校共建研發中心

2017年11月22日,上海師范大學與云知聲合作共建的“自然人機交互聯合實驗室”正式揭牌并簽約成立。該聯合實驗室的成立,是產學研協同發展謀求共贏的需求,是對國務院發布的人工智能國家戰略規劃的積極響應,也是對人工智能新浪潮中發展機會的主動把握。

雙方以該聯合實驗室作為持續合作的平臺,以工業界實際應用需求為導向,雙方結合自身優勢,企業在科研平臺建設、大數據資源共享、成果轉化及研發經費等方面給予支持,同時結合上海師范大學學科門類齊全的優勢,與教育、心理、語言等優勢學科開展深入持續的合作。共同研究人工智能領域中人機交互技術中的一些關鍵性、綜合性問題,研究人工智能多學科融合及產業應用等問題。校企雙方利用該平臺,共同為人工智能領域的科學研究與工程實踐培養高質量的人才(主要是碩士研究生、博士研究生的聯合培養)。

合作雙方在建立長期合作的基礎上,分別建立了“上海師范大學產學合作教育基地”(2016年成立),以及“上海師范大學-云知聲自然人機交互”聯合實驗室(2017年成立),雙方共同投資建設,通過內外部資源的整合,搭建協同育人新平臺。

更進一步地,云知聲擬在2019年成立云知聲(上海)人工智能研發中心,并計劃邀請合作單位骨干教師加入研發團隊(預計總規模人數約200人),共同圍繞相關的人工智能應用核心技術開展研發工作。

圖3 自然人機交互聯合實驗室掛牌儀式

4、企業為合作單位研發團隊提供實驗平臺和數據資源

學校可在語音語言學方面的前期積累資源,廉價的錄音場地和學生勞動力資源,以及海量的文獻資源方面等進行校企共享;而企業為高校研發團隊提供快速高效的高性能計算實驗平臺,如云知聲提供的“面向深度學習應用的大規模異構并行計算平臺Atlas和SGE”,研發團隊及其學生可以在這2個平臺上進行研究實驗。另外,企業方因為有海量的用戶,可從實際應用中收集到海量的實際應用場景下的語音數據,為新算法的成功研究及實驗驗證提供了強有力的支撐。特別是語音識別方面的實際數據,對于基于深度學習的人工智能算法的研究至關重要。因此,企業還會動態地給合作單位科研團隊提供海量的語音數據資源,加速合作研發單位的核心技術研發進程。

5、合作高校為企業培養科技人才,搭建協同育人新平臺,企業為學生提供實習機會

合作雙方在建立長期合作的基礎上,分別建立了“上海師范大學產學合作教育基地”(2016年成立),以及“上海師范大學-云知聲自然人機交互”聯合實驗室(2017年成立),雙方共同投資建設,通過內外部資源的整合,搭建協同育人新平臺。

依托聯合實驗室,一方面是開展以企業產品實際應用中遇到的問題為導向的科學研究工作,主要為智能語音信息處理相關方面的前沿基礎性算法研究;另一方面是高層次的科技人才培養工作。通過與企業的合作,能夠及時、準確、快速的從實際應用中發現的問題,提出創新性的解決問題的算法。這使高校的科學研究能真正用于指導工程實踐。通過實戰實練,使得學生能在解決實際問題的科學研究過程中,逐漸掌握跨專業知識,鍛煉出較強的工程實踐能力,具備參與較復雜工程項目的工作經驗。學生畢業后,可以在智能語音信息處理或人工智能相關領域的行業企業中,擔任重要的算法研究和技術開發工作。同時,這些共同培養的人才也為云知聲提供了科技人才儲備,為AI行業培養了高質量的科技人才。

6、創建良好的校企科技人員互訪機制

一方面,高校的科研團隊與云知聲的AI Labs研究團隊頻繁到對方單位做學術報告,交流學術思想、工程實踐中的技巧等。

另一方面,高校科研人員還定期到企業進行產學研踐習,提升師資隊伍的科研和工程實踐水平。如在學校的支持下,2016/6-2017/6期間,負責課題項目的高校負責人到云知聲進行了為期一年的產學研踐習。同時,通過這樣的校企合作,也提升了雙方核心技術在國際上學術界的影響力。

高校也定期邀請了企業的工程師或科技人員到高校實驗室為師生做學術講座或上課,并擔任學生畢業設計的企業導師,指導學生開展一些畢業設計工作。上海師范大學還邀請了云知聲的董事長兼CTO梁家恩博士擔任上海師范大學的國家級“新工科”研究與實踐項目《面向“人工智能+教育”的新工科復合型人才培養模式探索與實踐》的企業導師。

7、校企合作雙方合作完成技術成果的產業化

云知聲邀請學校團隊的科技人員參與技術成果轉化,共同解決其產業化過程中遇到的一些問題,并根據雙方協議,按貢獻的大小增加企業每一年對高校研發團隊的經費支持。

圖4 2018年聯盟計劃證書

二、產學研合作取得的主要成績

1、合作項目的技術較先進,具有較好可轉化性和實用性

多語種混合語音中的插入語中原用語引起的非母語口音現象,不同語種的語音在發音單元、詞典結構、發音風格和方式等各方面的差異,都給混合語音的識別增加了很大難度。

但隨著語音識別技術應用的不斷推進,很多應用場合對多語種混合語音識別的需求急劇增加,特別是在像新加坡這樣的多語種混合說話的國家,或者上海這樣的國際化大都市中,其應用需求更為迫切。比如,英語作為中國人的第一外語,已經被自然而然地穿插在以漢語普通話為主的日常交流中,由于其表達的便利性被越來越多的人認可,普通話夾雜英語單詞的混合語音識別也自然成為很多用戶的基本需求。因此,該項目的研發符合市場的需求,其成功研發能為企業帶來較好的經濟效益,也具備較好的社會效益。

上海師大項目組成功研發了三項原創的關鍵技術:①基于數據驅動的自動合并不同語種相似音子算法;②通用混合語音聲學模型自適應算法;③基于識別任務驅動的聲學和語言模型訓練方法。基于這三項技術搭建的普通話+英語混合的語音識別系統,從性能上看,相比較原有的單語種,即純普通話語音識別系統而言,在混合語音識別的任務上,混合語音識別系統性能遠超過純普通話語音識別系統。如果只識別英語語音,混合語音識別系統比純普通話的語音識別系統的優勢則是從無到有的,有了質的提升。除了漢語普通話+英語的混合語音識別之外,研發的算法還具有較好的可推廣性,如果要將其應用到其他混合語種的語音識別應用中,比如粵語+普通話的混合語音,只需要做一些較小的改動即可,比如替換發音詞典和模型訓練語料即可。

該項目研發的技術通過查新,查新報告中指出該項目具有新穎性,其綜合技術達到國內領先水平。

2、項目帶動了云知聲的技術進步,取得較好的經濟效益和社會效益

該合作項目解決了云知聲現有的語音識別服務引擎在多語種混合語音識別任務中,遇到的混合語言語音的識別率不能滿足用戶需求的難題。以漢語普通話與英語的混合語音識別任務(簡稱中英文)為例,在云知聲提供的實測混合語音識別測試集上,采用合作項目組研發的技術,其語音識別系統的詞錯誤率相對下降了30%。難題的解決很大程度上提升了用戶體驗的滿意度,提升了企業在語音識別引擎方面的技術等級。

該項目的成功研發提高了企業的經濟效益和社會效益。例如,為“云端芯”生態系統提供了更好的用戶人機交互接口,對于云知聲而言,其利潤或收益主要來源于為其他人工智能相關企業提供平臺解決方案,而語音識別是人機交互接口的源頭,其性能好壞對整個生態系統來說都至關重要。云知聲通過產學研合作,在較短時間內提升了自身的技術水平,且僅因為本項目,在項目結題的2017年就實現了超過2000萬元的服務產值。截至到目前,云知聲的合作伙伴數量已經超過2萬家,覆蓋用戶已經超過2億,日調用量2億次,其中語音云平臺覆蓋的城市超過647個,覆蓋設備超過1億臺。

在社會效益方面:該項目的研發充分且較全面地考慮了技術與實際應用的高效結合,同時也充分考慮了實際應用系統之間的差異,為不同語種的混合語音識別提供了較易拓展的整套技術解決方案,可根據不同的應用場景來進行設計,靈活地為客戶量身定制,這樣就大大拓展了現有人工智能產業中,與人機交互相關產品的實際應用范疇,更好地服務于人類的生產和生活。

3、云知聲提升技術等級取得的其他成果

科技創新成果獲獎:

1)上海市徐匯區創業夢之星優秀獎( 2018年12月)

2)上海市“科技型中小企業”企業稱號( 2018年04月)

科技創新獲基金資助情況:

1)上海市創新基金資助(2018年9月),金額:20萬元

2)上海市創新基金資助(2016年9月),金額: 20萬元

3)上海市人工智能創新發展基金資助(2017年10月),金額:450萬元

4)上海市徐匯區現代服務業引導資金資助(2018年9月),金額: 50萬元

發明專利授權及申請情況:

已授權:

1)通過噪音識別路面信息的系統及方法,專利號:ZL 201410828299.X

2)基于差分陣列的聲源方向定位方法,專利號:201611202139.X

申請中:

1)聲學模型自適應方法及系統,申請號:CN201610156697.0

2)一種基于位置信息的語音端點檢測方法,申請號:201710624269.0

4、促進上海師大教學科研所取得的成效

在該項目支撐下,上海師大研發項目組由剛開始的2位老師,現在已經發展成了一個真正的科研團隊,團隊中現有教授1名,副教授3名,碩士研究生每位老師6-9名。在合作企業方的支持下,該科研團隊現處于穩定發展階段,且后續會持續深入地在人工智能相關的智能語音、圖像等研究領域開展研究。其他依托本項目取得的成果如下:

1) 2016年建立 “上海師范大學產學合作教育基地”;

2) 2016年國際混合語音識別競賽(OC16 MixASR-CHEN Challenge),獲國際第二;

3) 2017年,成立“云知聲-上海師范大學自然人機交互”聯合實驗室,購置GPU超算實驗平臺(6臺DELL服務器,6塊GPU快速運算卡)及SGE集群一個, 集群可同時提交192個任務。

4) 2017年,獲得一項國家自然科學基金資助,項目名稱“中英文混合語音識別中聲學建模關鍵技術研究”,編號:61701306;

5) 2018年,合作另一個項目“自然人機交互中的防攻擊聲紋識別技術研發”獲得聯盟計劃資助;

6) 發表論文9篇,申請專利1項,軟件著作權3項(具體見附件——發表文章、知識產權列表);

7) 現在,安排聯合實驗室的優秀研究生到企業實習,將研究課題納入該項目。

綜上,通過校企產學研合作,達到了雙方合作共贏、風險共擔、利益共享、平等互利的目標,促進了人工智能語音領域的產業發展。依托“云知聲-上海師范大學自然人機交互”聯合實驗室,雙方已建立起長期合作,繼續在更深層次的項目合作和協同育人方面進行深入合作。

三、下一步深化產學研合作的打算

在與上海師大前期合作基礎上,依托雙方共建的自然人機交互聯合實驗室,云知聲打算圍繞聯合實驗室的主題——自然人機交互展開深入合作。

在科研項目合作方面:充分結合上海師大和云知聲的特色與優勢,采用人工智能的方法將科技、人文和教育進行緊密結合,研究和開發更自然的人機交互技術。擬研究課題包括:

  • 聲紋識別與用戶畫像技術
  • 語音場景辨識和內容識別技術
  • 人機語音交互的語言學、心理和認知模型研究
  • 音樂、口語和文化輔助教學與評估技術
  • 以上研究課題將機器學習、語言語音學、心理學、教育學、機器人學等各個交叉學科進行有效融合,解決自然人機交互中的關鍵問題,最終在人工智能領域形成一批基礎研究和集成創新成果。

    在人才聯合培養方面:云知聲依然積極配合上海師大開展協同育人,為學生創新活動創造條件,雙方協同組織智能語音處理等相關內容的學生競賽等活動。比如,在2018年6月—9月,校企雙方合作主辦的“云知聲杯第三屆芝麻開門智能語音處理競賽之AI語音魔方趣味作品設計大賽”,通過語音處理技術入門和進階的學術講座和競賽系列活動,為學生們揭開智能語音技術的神秘面紗,讓學生們在競賽中體會研究智能語音的樂趣,開發他們的學習興趣,培養他們的綜合技術開發能力。

    專家點評

    云知聲是中國人工智能行業成長最快的創業公司之一,其在智慧家居、車載、醫療、安防、教育等方面的人工智能應用居于國內領先地位,已形成較好的“云端芯”生態閉環。在國際化大趨勢下,單一語種的語音識別與合成技術已不能滿足應用需求,而多語種混合語音識別技術由于諸多技術難點,國內外的深入研究很少,技術難度很高。云知聲通過與上海師大的產學研合作所取得的多語種混合語音識別這一關鍵技術,已達到國內領先、國際先進水平。云知聲用這一成果更新其各個語音識別平臺及線上服務的引擎,改善了用戶滿意度,為企業帶來了很好的經濟效益。

    從雙方通過共建“上海師大—云知聲自然人機交互聯合實驗室”、成立“云知聲人工智能研發中心”、建立“上海師大產學合作教育基地”等一系列舉措,到企業邀請高校研發骨干參與企業研發計劃、方案的討論與制定,到企業為高校研發團隊提供實驗平臺和數據資源,再到合作高校為企業培養科技人才,搭建協同育人新平臺,企業為學生提供實習機會,這一個個環節都彰顯雙方已經相互支撐和認可,在產學研合作的各個層面上,雙向的參與度加深,因此必能長期合作下去。

    本案例中云知聲與上海師大的合作模式,無論是在科研項目的合作模式,還是協同育人、資源共享的方式,對于以人工智能為主要研究方向的企業、高校來說,都有一定的借鑒意義。

    内蒙古快三近200期走势图 天津十一选五走势图彩经网 4个人扎金花闷牌规律 25选5是什么彩票 快乐三分彩开奖结果 时时彩下载手机版2017 福彩30选7基本走势图齐鲁风采 彩票平台不给提现怎么办 二十一点游戏官网 推店竞彩app 7月25日美股走势