深度学习方法在各生物医学数据的分析上取得了显著效果,但是要想训练深度学习模型通常需要了解硬件平台、数据、python 脚本等,对于没有编程经验的学者并非易事。
ImJoy (Ouyang W. et al., Nature Methods Correspondence, 2019) 是一个使用 Web 技术 + 插件系统 + Deep Learning 的软件提供各类图像分析功能。
ImJoy
技术选型
Web 网页
可以将网页使用 electron 技术打包,然后与本地服务器组合后以软件形式运行。文章号称使用了 WebGPU 技术,但我没有发现除了图标外的任何痕迹。文章的设计思路是将所有插件都放在 web 端跑,只有在浏览器端资源不足的情况下才翻到服务器跑
插件系统与 python 运行时
不同于 ilastik,ImJoy 选择的是微内核 + “奇怪”的插件系统,内核只提供了最小化的组件,包括插件管理器、窗口管理、通知系统。我认为这有点过度的通用化设计,徒增开发难度。
所谓插件系统的 “奇怪”,主要是因为插件多数使用 python 编写,通过 pyodide 项目将...
ilastik 论文分享
ilastik (Berg et al., Nature Methods, 2019) 是一个交互式的生物图像分析软件,主要使用机器学习方法,但其核心卖点却是无需机器学习经验。软件开发时间已经无从考证,最早发表在 2011 年 ISBI (CCF-C) 会议上,2016 年在 Springer 出版的书上发表了一篇教程。令人惊讶的是,到了 2019 年,尽管分割任务已经是机器学习的天下,本研究依然能够发表于 Nature Methods 上。
1. Sommer, C., Straehle, C., Kothe, U. & Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. in 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro 230–233 (IEEE, Chicago, IL, USA, 2011). doi:10.1109/ISBI.2011.5872394.
2. Haubold,...