热门搜索:
您现在的位置是：首页 > 文章详情

wfs 文件存储系统 v1.0.5 发布

日期：2024-04-22点击：203
前言：wfs 是高性能海量小文件存储系统 ，支持Linux，Windows，Macos，FreeBSD等系统， 可以高效地进行文件存储和读取。wfs 支持文件压缩归档，并提供简洁的数据读取方式和文件后台管理和 以及归档文件的碎片整理等。

WFS官网

在线测试（用户名admin 密码123）

WFS使用文档

海量小文件问题（LOSF）是一个在大规模数据存储与管理中广泛存在的挑战，尤其是在互联网、物联网、云计算、大数据等领域的应用场景中尤为突出:

  1. 系统调用开销：对每个小文件的操作（如打开、关闭、读写等）都需要单独的系统调用，这些调用的开销在小文件数量巨大时累积起来，成为性能瓶颈。
  2. 元数据管理：每个文件对应一份元数据（如文件名、大小、权限、位置等），海量小文件意味着需要管理大量的元数据。元数据索引、查询和更新的效率直接影响到文件的检索速度和存储系统的整体性能。
  3. 文件查询效率：在大量小文件中查找特定文件时，遍历和筛选的成本很高，尤其是在缺乏高效索引的情况下。
  4. 磁盘数据布局：小文件可能导致磁盘空间利用率低（由于文件系统块大小与小文件大小不匹配造成的内部碎片），以及写放大问题（尤其是在写密集型场景中）。
  5. CPU占用率：处理大量小文件请求时，CPU可能忙于处理I/O调度、元数据操作等，导致CPU资源消耗过大，影响整体系统性能。

wfs针对LOSF问题的实现：

  1. 高效存储布局与合并技术： WFS将多个小文件聚合成大文件存储，以减少元数据开销和提高存储利用率。同时，通过灵活的索引机制，确保每个小文件都能快速定位和提取。
  2. 元数据管理优化： 针对大量小文件元数据管理难题，wfs采用高效元数据索引和缓存策略，减少元数据查询时间，并采用层级目录结构或哈希索引等方法，降低元数据存储的复杂度。
  3. 缓存与预读策略： lru缓存机制，对访问频繁的数据进行缓存，降低I/O操作次数，提高读取速度。
  4. 数据去重与压缩技术： 实现数据去重和数据压缩，去除重复内容，减小存储空间占用，并通过多级压缩算法优化存储效率。

wfs 的应用场景

  1. 海量非结构化数据存储：适用于存储大量的非结构化数据，如图片、视频、日志文件、 备份数据、静态资源文件等。
  2. 高效文件数据读取：wfs存储引擎可以达到100万/每秒 以上的数据读取效率，特别适合文件读取密集型的业务。
  3. 多种图片处理需求：wfs内置图片基础处理，适合对图片处理多种要求的业务，如图片适应多个尺寸，自定义裁剪等。

WFS文件存储系统 V1.0.5 主要更新

  1. 优化管理后台
  2. 支持将Markdown类型的资源转为HTML文件

 

使用文档位置

 

支持将Markdown类型的资源转为HTML文件并输出，规则如下

        url  + ?md2html/<int>/<ContentType>/<charset>

说明：

    1. <int> 有两个值：0，1
      • 0 表示转为完整的 HTML(Head+Body) 文件，增加<head><body>等标签
      • 1 表示直接转换源文件为HTML标签文件
      • 默认 0
    2. <ContentType> 表示 文件类型，见 wfs文档 的 Content-Type使用说明 ，wfs内置支持多种类型，如：      
      • js , css,  md,   json, xml , xsl , wsdl, xsd , rss , doc , plain , text , txt , html , jpeg, png , gif , mpeg , tiff , webp , ogg ,  wav , mp3, flac , mp4, m4a, mov, qt ,webm, docx, mixed
    3. <charset> 表示 文件编码类型，如：        
      • utf8, utf-8, utf-16, gbk, gb18030, iso-8859-1, latin1, big5, windows-1251,windows-1252, shift_jis, euc-kr, us-ascii

示例

1. 原始文件链接：

        https://tlnet.top/statics/test/md2htmltest.md

2. 转换为html的链接  

         https://tlnet.top/statics/test/md2htmltest.md?md2html

3. 转换为html,并指定输出文件类型为文本：

        https://tlnet.top/statics/test/md2htmltest.md?md2html/0/text

4. 转换为html，并指定文件类型为文本，同时指定编码utf-8：

        https://tlnet.top/statics/test/md2htmltest.md?md2html/0/text/utf-8

原文链接：https://www.oschina.net/news/288821/wfs-go-1-0-5-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章