Articles in the Computing category

  1. 偷网指南和一些网络心得

    最近网络服务商comcast地下的线缆有问题导致上不了网。报修说the fix could be as quick as two months. 因为要申请许可,然后用工程机械在路面下面施工。只能自救了。做了很多尝试,折腾了很多东西,把心得记录一下。

    1. 在发现Starlink排队要排到下半年以后,我们尝试的第一个方案是手机tether。技术框架就是 手机 <--Wifi--> 电脑。这里发现各家运营商差异巨大,att在室内可以到8mbps,comcast mobile和tmobile就只能2mbps,会都开不了。但即使是att也不是很稳定,经常出现延时巨大甚至卡顿的情况。我们后来选择了tmobile的50刀100G的套餐,最便宜。下面主要就是改善信号。
    2. 第二个方案是LTE modem。技术框架是 LTE Modem <--网线--> 电脑。这里LTE Modem自己也是个路由器,带路由和DHCP功能。这里的问题是单纯的LTE modem在室内信号也不好,显示0-1格信号,网速和手机相差不大。但购入大约11db的外置定向天线以后,可以在室内把信号撑到3格,网速涨到5mbps。器材结构变成了 …
    Tagged as : Network
  2. 一些关于SSD RAID性能的实验

    今天做了关于硬盘性能的一系列实验。

    首先这是一个500G的硬盘的读写速度:

    500G HDD speed

    这是用了两个这样的硬盘组成的RAID 0,可以看到性能基本翻倍,软RAID的overhead可以忽略不计了。

    500G HDD RAID speed

    然后这是4T单盘的性能。好意外4T的盘性能只比500G的盘高这么一点点。说好的磁盘密度越大读写速度越快呢?是不是PMR的锅?

    4T HDD speed

    这是nvme ssd的性能... 雾... 草...

    nvme SSD speed

    两个结论:1)知乎上那帮叫嚣什么HDD + RAID 0战SSD的你可拉倒吧,给你30个HDD组RAID 0都被吊起来打。2)SATA SSD组RAID 0都没戏,因为接口速率才6Gb/s,理论值都干不过人家实测值。什么任务队列我都不拿出来欺负你了。。

    所以最终结论就是,有钱还是上nvme ssd吧... 我的主板m2接口不够了只好去组SATA SSD RAID 0了...

    ============我是可爱的分割线============

    SATA SSD RAID的实验出来了... 结果有点意外。这是SATA SSD单盘的速度:

    SATA SSD speed

    这是SSD+RAID 0的速度:

    SATA SSD RAID 0 speed

    几个观察:

    1. nvme还是爸爸。
    2. RAID 0对SSD的加速效果相当有限 …
    Tagged as : RAID Computer DIY
  3. 百万级别二次元角色识别数据集

    上一篇文章里,我们做了一个效果不错的动漫头像检测模型。这个模型本身并不复杂,但它可以帮助批量化处理数据,从而为更多彩的应用奠定基础。一个自然的问题就是,我们有没有可能做一个类似Amazon XRay的东西,你给我一张ACG图片,我告诉你这是哪部番里面的哪个角色?这样的模型本身并不复杂,现成的face detection - alignment - recognition的框架可以轻松搞定。但关键是训练数据很难找。这篇文章主要就是解决了这个问题,开源了一个百万级别的二次元角色识别数据集,方便各位丹友们炼丹。

    在我们之前对StyleGAN的调教中用到了Danbooru 2018数据集。这个数据集是一个同人画师数据集,很多画师在上传的时候都会选择这是什么角色。这天生就非常适合做角色识别。我们从2018年的630万张图出发,做了以下过滤和处理:

    • 首先我们根据每张图片的tag,根据tag的属性过滤其中的人物角色tag。如果一个图片没有任何角色tag,我们就直接丢弃这张图片。
    • 因为当一个图片有多个角色tag的时候我们不知道哪个脸对哪个tag,所以我们目前丢弃了所有有2个或以上角色tag的图片。
    • 接下来我们对剩下的图片用这个模型进行头像检测。对于检出多于一个头像的图片直接丢弃。
    • 注意这里我们没有进行人脸校准,主要是因为没找到适合的模型。也许未来会标注训练一个。

    最终得到一个97万张图,7万个角色的数据集。平均每个角色有13.85张图像。但和大多数数据集一样,每个角色有多少张图像是个非常长尾的分布。在7万个角色中,有2万个角色只有一张图片。如果我们把图像最多的100个角色画一个直方图的话,长这样:

    Stats of the anime head detection dataset

    其中图片最多的是初音未来 …

  4. 开箱即用的动漫头像检测包

    虽然人脸检测算法已经相当成熟了,但如果直接把这些人脸检测的包用到动漫数据上的话,基本是啥都检测不出来的。。我们当时在调校人工智障的时候就遇到了这个问题,当时用的是基于小波的传统算法,检测精度虽然高,但漏检的情况真的是惨不忍睹了。。最近终于有时间,标了200张数据,用深度学习训练了一把,效果意外地好,所以把模型和代码开源了。

    一个视频例子见这里。可以看到在不同的pose下检出率还是可以的。也可以看出这个模型做的其实不是人脸检测,而是头部检测。我们的训练数据就是在辉夜大小姐和小埋上面标的,但意外的是对于其他番,甚至黑白线描也可以检测:

    detection example

    对于人脸几乎不看见的背面的情况也可以搞定:

    detection example

    对于戴帽子的情况也可以,只是对于比较少见的表情+泳镜的情况就SB了:

    detection example

    代码和模型放在了github上:https://github.com/grapeot/AnimeHeadDetector

    使用非常简单:

    • 首先用git clone --recursive https://github.com/grapeot/AnimeHeadDetector把代码clone下来。注意这里必须要用--recursive,因为我们用了submodule来引用了其他repo。

    • 然后用pip install -r requirements.txt …

Page 1 / 9