www.91av.cn_亚洲精品国产精品国自产_亚州av一区二区_欧美成人精品一区

夜間模式
  • 145023閱讀
  • 9回復

[活動]當人工智能遇上“之乎者也” [復制鏈接]

上一主題 下一主題
離線電丁丁
級別: 初來乍到
發帖
6
昆幣
84 枚
只看樓主 使用道具 電梯直達
樓主  發表于: 2022-10-12 , 來自:江蘇省0==
中國是全球擁有古籍最多的國家,國內現存漢文古籍300萬部,散居在海外的古籍超過40萬部。然而,紙質古籍損毀是不可逆轉的,雖然古籍原生性保護有很大改善,“紙”的脆弱卻依然無法改變,人們也并沒有太多機會接觸到艱澀難懂的古籍文本。


不過在數字時代,這種情況正在發生變化,古籍的“再生性”保護,逐漸向數字化、平臺化、智能化的方向發展。當人工智能遇上“之乎者也”,會擦出怎樣的火花?



━━━━━
人工智能改變古籍存續形式

“整理國故,再造文明”,胡適在一百年前說。國故也即是古籍,古代的書,一般指1911年之前歷朝寫本、刻本、稿本、拓本等。這些紙質文獻在悠悠歷史長河中其命運可謂顛沛流離。紙質古籍損毀是不可逆轉的。如明代《永樂大典》,永樂時期的原本已經完全湮滅不見,嘉靖重抄本11000冊現存不到5%。這樣的損失難以估量。

哲學家羅素曾說:“中華文明是唯一的歷史文化從未間斷的文明。”古籍作為中華文化的一支重要血脈,便是文明未斷的依據之一,今年,國家圖書館藏清宮“天祿琳瑯”歷時8年修復成功,在標準的存藏條件下,能保存200年。

盡管古籍原生性保護有很大改善,但依然改變不了“紙”的脆弱。2015年年初,位于莫斯科西南部的俄羅斯科學院社會科學信息研究所圖書館突發火災,約有200萬冊文獻資料遭到損毀。俄羅斯科學院院長稱“這是俄羅斯科學界的切爾諾貝利事件”。

在很多人的印象里,古籍文本往往艱澀難懂,而且接觸機會不多。但在數字時代,這種情況正在發生轉變,目前數字化、平臺化、智能化成為古籍“再生性”保護的方向。在國外,哈佛燕京圖書館和美國國會圖書館,已經將他們收藏的中華古籍掃描完成,并對外公開。但它們僅僅是圖片掃描版,并未利用智能技術實現文本化,無法復制粘貼,只能服務于少數研究者。

國內較為有名的古籍智能平臺,如“漢典重光”古籍平臺,讓一批珍藏于加州大學伯克利分校的中文古籍善本,以數字化的形式回歸,該平臺涵蓋的古籍數量為20萬頁。再如浙江大學的“古籍智慧平臺”,其利用OCR光學字符識別技術,將圖片中的文字換成文本格式,它的識別準確率在90%以上。

這些平臺有著各自的優勢,但也各有各的局限性,如網速慢、智能化程度低。比如“書同文古籍數據庫”收費較高,“中國哲學書”電子化計劃目前囊括了超過三萬部著作,用戶卻常常無法正常訪問。

今年3月,字節跳動與北京大學聯合成立“北大——字節數字人文開放實驗室”,雙方協作研發推出古籍數字化平臺——識典古籍。10月,識典古籍測試版已上線,目前,已整理上傳390本古籍經典(均為四部叢刊書目),3000卷,3000多萬字,預計在3年內將整理10000種古籍,基本覆蓋儒家、道家和佛家的經典書目,對用戶免費開放。

圖片

▲識典古籍平臺主頁面截圖


━━━━━
古籍是如何實現數字化的?

識典古籍有何技術特點?項目負責人介紹,識典古籍主要運用了三種技術,文字識別、自動標點、命名實體識別。

文字識別技術,即使用OCR技術對古籍的影印版文字進行單個切分、文字識別、順序識別。所謂文字切分,是指古籍掃描件中的單字檢測技術,能夠獲取每個字符的具體位置;文字識別,將切分的圖片送入文字識別模型,獲取每個文字的具體編碼;順序識別,結合文字內容和文字位置,獲取整張古籍掃描件的閱讀順序。

圖片

▲古籍數字化過程視頻截圖

OCR的應用流程,是用電子設備對紙本古籍進行掃描,內容轉錄到計算機中,并生成相應的數字文檔,效率與人工錄入不可同日而語。目前行業內OCR識別準確率平均為93%至94%,識典古籍的準確率為96%至97%。

自動標點技術,是通過序列標注的方式對古籍自動進行標點劃分,支持“,。?!、:;”七種常用標點。舉例來說,“學而時習之不亦說乎”,自動標點后的結果是“學而時習之,不亦說乎?”命名實體識別,則是通過序列標注識別古籍文本中的命名實體,支持識別人名、地名、書籍、時間、官職這五種類型的實體。

圖片

▲自動標點技術解析視頻截圖

人工智能識別的工作完成后,為了方便用戶閱讀,整理平臺要進一步對成型的文本進行整理。

首先,是對3%和4%錯誤率進行人工修改,分出段落和標題,然后再賦予不同的格式。而對于不同質量的古籍文獻,整理標準不一,人力承擔著不同的職能,大致流程為制定整理標準、人工整理、審核、上架,相關管理者是有古籍知識經驗的北大團隊。

其次,是對用戶訪問數據進行統計。然后是資源管理的功能,用戶可以更清晰地看到每本書的基礎信息,具體內容,以及當前所處的整理狀態。

最后,將古籍劃分等級,如經典書目、常讀書目、基礎書目,像《論語》這種經典書目,對正確率、標點和注釋的要求都較高。負責人介紹,目前這些功能有的已經成型,有的還需要進一步增強,古籍數字化并非易事。


━━━━━
古籍數字化的現實困境

中國是全球擁有古籍最多的國家,國內現存漢文古籍300萬部,散居在海外的古籍超過40萬部,它們依然面臨著衰朽,而已完成數字化的古籍為7.4萬部,數字化進程仍處于初步階段。

其中面臨幾大難點。首先是部分古籍在數字化之前要先完成修復,但古籍修復工序復雜,難以完全用科技手段,且培養古籍修復人員需要極高的時間成本。其次,花費高昂,有專家估算,如果將全國尚未數字化的古籍全部數字化,采集、組織、加工、存儲、管理等費用大約需要60億元。第三,技術難度高,現有的數字化很多是由縮微膠片轉換而成,呈黑白影像且分辨率較低,難以切實滿足讀者的需求。

過去,古籍內容轉化為數字文本主要依靠專家人工錄入,耗時費力。北京大學數字人文研究中心主任王軍算過一筆賬:我國現存古籍約有20萬種,從1949年到2019年,共修復整理出版了近38000種,要將現存古籍全部修復整理出來,可能需要三百年的時間。若利用人工智能技術輔助修復整理,大概二三十年就能完成。

相關負責人介紹說,目前古籍的使用人數眾多,一些高校斥資買古籍數據庫,但是訪問不是很方便。建立數字化平臺,各類學科的專業人士能更容易查看古籍文獻。一些潛在的古籍愛好者,數字化平臺可將這部分用戶迅速連接起來。

目前,識典古籍測試版的句讀錯誤率在3%到4%,文字識別也有一定的錯誤率存在,影響閱讀體驗。在人工智能機器學習一段時間后,準確率將會提升到98%左右。

圖片

▲古籍修復師在工作

作為北京大學-字節跳動數字人文開放實驗室的成員,王軍有著豐富的古籍數字化經驗,他曾研發過“《宋元學案》知識圖譜可視化系統”,對240萬字的《宋元學案》進行了文本處理和分析,將2000多位宋元理學學者、近100個學術流派所涉及的人物、時間、地點、著作等提取出來構造成知識圖譜。

據他介紹,對于識典古籍的開發和應用,北京大學主要從三方面入手,第一,聯絡國內的圖書館尋求公版資源,保障版本的正當性;第二,聯系北師大、復旦、南大、陜西師大等高校的學者和文獻專家,進行人工審核與校對,彌補人工智能有識別錯誤率的短板;第三,北大利用自有的學術平臺,鏈接學術界和高校的年輕用戶,對識典古籍進行推廣。


━━━━━
古籍保護的更多可能

字節跳動旗下有多個信息分發平臺,沉淀著大量關于內容平臺的經驗和技術,這些技術可以逐漸向古籍智能數字化的方向上遷移。過去半年,識典古籍技術開發團隊整合了包括字節跳動人工智能實驗室、今日頭條的設計團隊和抖音的開發、測試團隊成員加入,其中有不少是古文獻專業和文史哲專業的成員。

識典古籍在使用性上強調用戶體驗,網頁打開流暢。主頁有檢索欄,用戶可直接搜索書目;右上方是書庫,點進去可看到經、史、子、集四個欄目;下方是古籍書樣,如《周易》、《荀子》、《左傳》,主頁下方是“儒家經典”“道家經典”“文學經典”三個欄目。點開一本書,左邊是目錄,右邊是正文,上方有四個功能項,依次點擊可看到古籍原本的影像、注疏、繁簡字體切換以及書庫,且每部古籍都有精校和粗校的標簽提示。

圖片

▲“識典古籍”網頁截圖

目前識典古籍只有網頁版,相關技術負責人預測,今年11月份識典古籍將會推出移動端,到時會鏈接到抖音和今日頭條,活化更多的古籍內容。

在數字化之外,一年多來,字節跳動在古籍修復和活化上也有所進展。現在,字節跳動資助國家圖書館定向修復的珍貴古籍104冊件,現已完成50多冊件,包括一批稀有的樣式雷圖檔。在活化方面,抖音平臺推出“尋找古籍守護人”計劃,四大名著、二十四史、四書五經相關的視頻播放量超過600億次,涵蓋漫畫、影視、美食、音樂等多種內容體裁。

古籍承載著中華文明,它的傳播是需要大眾參與。未來,通過識典古籍,向全社會開放古籍閱讀檢索研究能力,還將實現全自動整理校對,更高效地實現存量古籍全部數字化。同時,鼓勵擁有文獻的學者自行上傳文獻,豐富平臺內容,用戶甚至可參與再創作和再闡釋,與平臺形成一種良性互動,助力古籍文化傳承和研究。

來源:新京報

爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
沙發  發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
板凳  發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
地板  發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
4樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
5樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
6樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
7樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90,
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
8樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,好
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
帥哥離線昆山小新秀
發帖
589
昆幣
982 枚
9樓 發表于: 2023-03-21 , 來自:江蘇省0==
親愛的昆山小新秀,我們非常高興地告訴你,你剛剛升到了昆山過客級別。你離下一級昆山新人級別還有90帖,四五個
爆料有獎!關注昆山論壇抖音號,抖音搜索“昆山論壇”,或搜索抖音號:ksbbs
 
快速回復
限76 字節
如果您提交過一次失敗了,可以用”恢復數據”來恢復帖子內容
 
上一個 下一個
      亚洲精品一区二| 欧美日中文字幕| 色偷偷综合网| 国产高清久久久| 91国偷自产一区二区使用方法| 日韩在线不卡视频| 久久综合久久久| 亚洲热在线视频| 日韩国产成人在线| 黄色激情视频网址| 第一av在线| 中文字幕日韩欧美精品高清在线| 99热精品国产| 欧美大黄免费观看| 91人成网站www| 日本a√在线观看| 波多野结衣视频网站| 免费网站看电影大片| 2001个疯子在线观看| 亚洲高清影视| 国产精品久线在线观看| 在线看福利67194| 欧美在线日韩精品| 成人午夜剧场视频网站| 高清1区2区| 黄色成人在线| 欧美69视频| 亚洲成人av一区二区| 欧美成人免费一级人片100| 中文字幕一区二区三区在线乱码| 女同久久另类69精品国产| 日韩色级片先锋影音| 欧美人与动牲性行为| 亚洲网站在线| 欧美日韩亚洲一区二区三区| 人九九综合九九宗合| 丰满少妇在线观看| 国产精品欧美激情在线| 天堂a中文在线| 久久99影视| 亚洲国产精品黑人久久久| 久久综合久久美利坚合众国| 中文字幕中文字幕99| 精品无码一区二区三区电影桃花| 天干天干啦夜天天天视频| 美女久久精品| 国产亚洲精品久| 欧美日本在线视频中文字字幕| 日韩伦理在线免费观看| 在线免费看av的网站| 噜噜噜噜噜在线视频| 一区二区三区毛片免费| 色综合天天综合在线视频| 91亚洲午夜在线| 真实乱视频国产免费观看 | av手机免费在线观看| 老**午夜毛片一区二区三区 | 最新亚洲一区| 91精品国产手机| 亚洲精品国产精品久久| 国产精品久久久久久久久久精爆| 日本一卡二卡四卡精品| 黄色工厂这里只有精品| 欧美一区二区成人6969| 在线不卡视频一区二区| www.av88| 日本一级理论片在线大全| 狠狠色丁香久久婷婷综合_中| 国产视频久久久久久久| 国产午夜福利在线播放| 日本韩国在线观看| 国产 日韩 欧美一区| 久久视频一区二区| 日本午夜精品理论片a级appf发布| 手机在线看片日韩| 免费成人看片| 欧美精品三区| 亚洲第一福利网| 国产免费毛卡片| 欧美一级欧美三级在线| 亚洲精品黑牛一区二区三区| 亚洲一区日韩精品中文字幕| 国产精品美女xx| av片免费观看| 牛牛精品一区二区| 国产日韩欧美综合在线| 国产日韩在线一区| 欧美日韩偷拍视频| 无遮挡的视频在线观看| 高清视频一区二区| 国产91对白在线播放| 国产精品久久久视频| 一级二级三级在线观看| 日韩成人一级片| 久久久久久午夜| wwwww黄色| 日本中文字幕伦在线观看| 波多野结衣精品在线| 国产一区欧美二区三区| 久久久久久久久久免费视频| 国产区美女在线| 亚洲欧美在线视频| 欧美一区二区三区成人久久片| 99精品视频免费看| 精品久久亚洲| 欧美日本韩国一区| 成人午夜激情av| 中文字幕www| 日韩国产高清影视| 69精品小视频| 九九九国产视频| 高潮一区二区| 精品人伦一区二区三区蜜桃免费| 日本福利视频在线观看| 国产不卡精品一区二区三区| 五月激情综合| 久久久国产精品x99av| 卡通动漫亚洲综合| 超碰91在线观看| 欧美日韩裸体免费视频| 缅甸午夜性猛交xxxx| av高清在线观看| 看国产成人h片视频| 国产日产久久高清欧美一区| 日本成人一级片| 91精品国产自产在线丝袜啪| 精品久久一区二区| 污污内射在线观看一区二区少妇 | 国内精品久久久久影院优 | 久久精品夜色噜噜亚洲a∨| 日本一区免费| 国产变态拳头交视频一区二区| 99国产精品自拍| 国产精品第三页| 99精品视频在线播放免费| 九九在线高清精品视频| 最近2019中文字幕一页二页| 欧美日韩大片在线观看| 欧美成人app| 精品久久久久久综合日本欧美| 爱爱的免费视频| а√在线中文网新版地址在线| 在线一区二区视频| 91精品人妻一区二区三区蜜桃2| 69久久夜色| 姬川优奈aav一区二区| 看看黄色一级片| 888av在线| 色婷婷综合五月| 2018国产精品| 国产在线拍揄自揄拍视频 | 久久国产日韩欧美精品| 久久99精品久久久久久秒播放器 | 色综合色狠狠天天综合色| 少妇性l交大片7724com| a黄色片在线观看| 欧美日韩免费一区二区三区| 六月婷婷七月丁香| 福利一区二区三区视频在线观看 | 国产三级精品在线| 农村妇女精品一二区| 国产高清视频在线| 狠狠躁夜夜躁人人爽超碰91| 亚洲熟女乱综合一区二区| 丁香花在线高清完整版视频| 欧美一级日韩一级| 青青操在线视频观看| 中文字幕久久精品一区二区| 久久中文字幕视频| 成人av手机在线| 香蕉久久夜色精品| 欧美伦理一区二区| 女人体1963| 亚洲欧美另类久久久精品2019| 一个色综合久久| 2020国产在线| 日韩国产欧美精品在线| 久久久久久少妇| 午夜精品偷拍| 另类欧美小说| 丝袜国产免费观看| 五月天欧美精品| 亚洲精品91在线| 日韩精品导航| 国产精品一区二区性色av| 色九视频91| 中文字幕一区二区三区精华液 | 午夜精品久久久久久久爽| 久热精品视频| 丰满人妻一区二区三区53号| p色视频免费在线观看| 欧美成人精品福利| 最新中文字幕在线观看视频| 久久成人精品| www.xxx麻豆| av影院在线免费观看| 日韩视频亚洲视频| 小说区乱图片区| 国产午夜精品在线观看| 性久久久久久久久久久|