Zenodo

2019年1月21日09:38:48Zenodo已關閉評論 231 views

Zenodo


OpenAIRE和CERN創建研究數據知識庫,支持50GB文件

一個多學科研究數據知識庫,支持各種內容,包括刊物、演示文稿、論文集、項目、圖像、軟件(包括與 GitHub 的集成)以及所有語言的數據,由歐洲核子研究組織 (European Organization for Nuclear Research, CERN) 維護。它對數據格式沒有任何限制,最多可以存儲 50GB 的數據。此儲存庫中數據可終身保存,可以采用封閉(只要未授權都無法訪問)、開放或禁止(禁止期內無法訪問)狀態儲存。

基本信息

網站名稱 Zenodo
學科類型 科研數據,數據知識庫
網站分類 科研數據
國家地區 ?歐洲
收錄時間 2019-01-21
網站地址 https://www.zenodo.org/

詳細介紹


ZenodoZenodo名稱來源于澤諾多托斯(Zenodotus,前280年)古希臘文學家,荷馬學者。亞歷山大圖書館第一任館長,也是第一次使用元數據的人。

Zenodo于2013年5月推出。

Zenodo構建并運行一項簡單而創新的服務,方便研究人員、科學家、歐盟項目和研究機構能夠共享和展示多學科研究成果(數據和出版物),這些成果不屬于研究團體現有的機構知識庫或基于主題的知識庫。

為研究人員、科學家、歐盟項目和機構帶來益處:

  • 輕松地分享各種格式的小型研究成果,包括文本、電子表格、音頻、視頻和所有科學領域的圖像。
  • 展示研究成果,并通過使研究結果得到認可并集成到資助機構(如歐洲委員會)的現有報告。
  • 輕松訪問和重用共享的研究結果。

功能特性

  • 研究、共享。

- 一站式研究

歡迎來自所有研究領域的所有研究成果! Zenodo接受任何文件格式以及正面和負面結果。選擇推廣同行評審的開放式研究,并且會在首頁上發布上傳內容。

  • 可引證,可發現。

- 被發現!

Zenodo為所有公開上傳的內容分配了一個數字對象標識符(DOI),使上傳變得容易且唯一可用。 Zenodo進一步支持通過OAI-PMH協議收集所有內容。

  • 社區

- 創建屬于自己的知識庫

Zenodo允許創建自己的收藏并接受或拒絕提交給它的上傳。為用戶下一個研討會或項目創造空間從未如此簡單。此外,一切都是可以被發現的!

  • 安全

- 不僅僅是一個投遞箱!

研究成果將安全地存儲在同一個云基礎設施中,作為來自CERN大型強子對撞機的研究數據,并使用CERN經過實戰考驗的存儲庫軟件Invenio,后者被世界上一些最大的存儲庫(如INSPIRE HEP和CERN Document Server)使用。

  • 報告

-?向資助機構匯報!

Zenodo被納入由歐盟委員會通過OpenAIRE資助的研究報告。只需將研究上傳到Zenodo,將為您處理報告。計劃在未來通過其他資助機構擴展此功能,敬請期待!

  • 靈活的許可

- 并非一切都在知識共享下

Zenodo鼓勵您盡可能公開地分享您的研究,以最大限度地利用和重復使用您的研究成果。但是,我們也承認一種尺寸并不適合所有尺寸。因此,我們允許在各種不同的許可和訪問級別下上傳。

*有責任尊重上傳文件的適用版權和許可條件。

開源代碼

Zenodo開源代碼,它建立是開源的Invenio數字知識庫的基礎之上。 GitHub中公開分享了正在進行的工作,公開的問題和路線圖,任何人都歡迎對任何方面的貢獻。所有元數據均在CC0許可下公開提供,所有開放內容均可通過開放API公開訪問。

資金來源

  • 歐盟委員會通過OpenAIRE項目支持
    • FP7:OpenAIRE(246686),OpenAIREplus(283595)
    • 地平線2020:OpenAIRE2020(643410),OpenAIRE-Connect(731011)和OpenAIRE-Advance(777541)。
  • CERN
  • Alfred P. Sloan基金會
  • 通過CERN和社會基金會進行捐款

運維和開發

?Zenodo按照收支平衡來進行開發和支持,現在托管在CERN的現有基礎設施和服務之上,以降低運營成本并依賴現有在高能物理研究方面的投入精力。 CERN擁有一批世界頂級專家,他們負責運行大規模研究數據基礎架構和數字知識庫。

Zenodo開發和支持由一個大的團隊負責,這個團隊由y Jose Benito Gonzalez Lope領導,他們運行?CERN Document Server,?CERN Open Data, CERN Analysis Preservation,這些系統都是基于Invenio數字庫框架進行開發的。

已參與國際組織

CERN是以下組織和國際組織的活動成員:

  • DataCite
  • ORCID
  • FORCE11(特別是數據引用原則和軟件引用原則)
  • Research Data Alliance(研究數據聯盟)
  • SCOAP3

多個歐盟委員會資助項目的合作伙伴,其中包括:

  • OpenAIRE
  • EUDAT

架構和管理

1、服務器管理

Zenodo服務器通過OpenStack和Puppet配置管理系統進行管理,確保服務器始終應用最新的安全補丁。服務器通過CERN基于Flume,Elasticsearch,Kibana和Hadoop的監控基礎架構進行監控。在本地部署的Sentry(錯誤日志跟蹤開源工具)實例中記錄和聚合應用程序錯誤。前端服務器負載均衡采用了DNS負載平衡和HAProxy組合,。

此外,還運行兩個獨立的系統:一個生產系統和一個質量保證系統。這可確保在應用于我們的生產系統之前,無論是在基礎架構級別還是源代碼級別,所有更改都可以在我們的質量保證系統上進行測試和驗證。

2、前端服務器

Zenodo前端服務器負責運行基于Python和Flask Web開發框架的Invenio存儲庫平臺應用程序。前端服務器在應用程序前運行nginx HTTP服務器和uwsgi應用程序服務器,nginx另外負責提供靜態內容。

3、數據存儲

上傳到Zenodo的所有文件都存儲在CERN的EOS服務中,存儲在18 PB的磁盤集群中。每個文件副本都有兩個位于不同磁盤服務器上的副本。

對于每個文件,存儲兩個獨立的MD5校驗和。 Invenio存儲一個校驗和,用于檢測從Invenio外部制作的文件的更改。其他校驗和由EOS存儲,用于自動檢測和恢復磁盤上的文件損壞。

根據未來的訪問模式,Zenodo可能會將存檔和在線副本移至CERN的離線長期磁帶存儲系統CASTOR,以最大限度地降低長期存儲成本。

EOS是來自大型強子對撞機(LHC)的物理數據的主要低延遲存儲基礎設施,CERN目前運行多個實例,總計150多PB的數據,預計每年增長30-50PB。 CERN的CASTOR系統目前管理著100多PB的LHC數據,這些數據經常被檢查數據損壞。Invenio在EOS之上提供了一個像文件管理層這樣的對象存儲器,負責例如EOS。版本更改為文件。

4、元數據存儲

Zenodo中的元數據和持久標識符存儲在CERN數據庫按需擴展的基礎架構上運行的PostgreSQL實例中,每周12小時備份周期,每周一次將一個備份發送到磁帶存儲。元數據還在Elasticsearch集群中編入索引,以實現快速而強大的搜索。元數據以JSON格式存儲在PostgreSQL中,由版本化的JSON Schemas描述。對Zenodo上的元數據記錄的所有更改都是版本化的,并且發生在數據庫事務中。

除了元數據和數據存儲之外,Zenodo依賴Redis進行緩存,RabbitMQ和python Celery用于分布式后臺作業。

Zenodo

Zenodo

Zenodo

Zenodo Zenodo

Zenodo

Zenodo Zenodo

Zenodo Zenodo

附加資料


 

參考資料


 

weinxin
掃碼,關注科塔學術公眾號
致力于成為國內領先的科研與學術資源導航平臺,讓科研工作更簡單、更有效率。內容專業,信息準確,更新及時。
avatar