文件系统和数据库系统的区别:文件系统和数据库之间的写入性能

关于文件系统和数据库系统的区别的问题,在fastest filesystem中经常遇到, 我有一个非常简单的数据采集程序,数据频繁出现(大约 5200 Hz),一条数据大约有 24 kB,因此大约为 122 MB / s。

我有一个非常简单的数据采集程序,数据频繁出现(大约 5200 Hz),一条数据大约有 24 kB,因此大约为 122 MB / s。

只有存储这些数据会更有效吗?将其保存在原始二进制文件中,还是使用数据库?如果数据库,那么哪个?SQLite,或者其他一些?

当然,数据库更诱人,因为当将其保存到文件中时,我必须用分隔符将它们分开(数据可以有不同的大小),处理数据也会更容易使用数据库。

[编辑] 我正在使用基于 Linux 的操作系统和 SSD 磁盘,支持写入高达 350 MB / s。数据将一直以这种频率获取(每天有一个小的服务中断将数据传输到另一台机器)

0

file system在查找特定文件时很有用,因为操作系统维护着某种索引。但是,the contents of a txt file won't be indexed是数据库的主要优点之一。

另一点是understanding the relational model,这意味着您如何设计数据库,以便数据不需要一遍又一遍地重复。

此外,understanding types也很重要。如果你有一个 txt 文件,你需要解析数字,日期等。

从性能的角度来看,我会说DB are slower to start(打开文件通常比打开到 db 的连接更快)。但是一旦它们打开,我可以保证 DB 比 XML 或您想要使用的任何文件更快。BTW 这是主要的purpose of a database: manage huge amount of data, filesystems are made for storing files

DB is that they usually can handle multi-threading and concurrency问题的最后一点,文件不能和最后但并非最不重要的in a database you cannot delete a file by mistake并丢失您的数据

所以我的选择将是一个 DB 和 anway 我希望为您提供一些信息,您可以决定什么是最适合您的

--更新--

既然你现在的需求更加具体,我试图深入挖掘:我发现了一些可能对你来说很有趣的解决方案,但是我没有任何经验可以为你提供关于他们的个人建议:

SharedHashFile:SharedHashFile 是一个轻量级的 NoSQL 键值存储 / 哈希表,一个零拷贝 IPC 队列,& amp;一个用 C for Linux 编写的多路复用 IPC 日志库。没有服务器进程。直接从 / 向共享内存或 SSD 读取和写入数据;在 SharedHashFile 和应用程序之间不使用套接字。用于 C,C ++ 和 & amp;nodejs 的 API 似乎不再是该项目

WhiteDB另一个声称非常快的 NoSql 数据库,请转到其网站的速度部分进行咨询

Symas一个速度非常快、内存效率高的数据库

只要看看他们,如果你曾经使用它们只是在这里为社区提供反馈

本站系公益性非盈利分享网址,本文来自用户投稿,不代表码文网立场,如若转载,请注明出处

(127)
Web文件预览:如何在Web应用程序中预览EML文件
上一篇
Bezos:BezosAPI授权如何影响数据库设计
下一篇

相关推荐

发表评论

登录 后才能评论

评论列表(42条)