Pipeline 可视化报告

讨论数据集9 dialogues 辣条4 dialogues

Query 1: 讨论数据集

命中对话数：9 / 原始 20（已去重：maximal）
Dialogue: 4505301654_1_1 fragments: 3 covered: 2
#28
user2
噢噢，我试一下。何老师打扰一下，我门上传到gitee的代码，是不是只要包含针对Dior数据集的配置就可以了，还有就是readme要包含哪些内容呢。
#29
user1
就类似modelzoo上原本的格式来填写就行。
#30
user2
嗯嗯 那结果也是写在dior上的结果吗。
#31
user1
数据集配置先都上传上去，我先看一下。
#32
user2
好的。
命中 ID（5）: 28, 29, 30, 31, 32
Dialogue: 4504660431 fragments: 2 covered: 0
#0
user1
师弟，从fair1m数据集里面找100张图，这100张图里面要包含faie1m里面的五个大类，只需要找出来图片就行。数据下载地址：https://blog.csdn.net/Harry_Jack/article/details/120673622。争取周末放假前整理完给我。
#1
user1
#2
user1
截图里面是五个大类别，你找出来的这100张图包含这五个大类别就行。
#3
user2
收到，是这周六之前吗。
#4
user1
对的师弟。
#5
user2
好。师兄，是总共找100张图片，每张图片都要包括这五个大类。具体是五大类内部的哪个类没关系嘛。
#6
user1
不用每张图片，100张图里面总共包含5大类就行，内部的小类先不用管。
#7
user2
哦。好滴。师兄，这个是我整理好的图片和对应的label。相应的类别还有每个类别的计数我都保存在excel里了。
#8
user1
好的师弟，辛苦。
#9
user2
客气了 应该的。
命中 ID（10）: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9
Dialogue: 4524436736_1_1 fragments: 3 covered: 2
#79
user2
我们现在是已经下载了一批垃圾堆数据集（图像+目标框xml），都是网上公开了标签的，我们想再做一批新的测试集，用于开展即将举办的一个青少年比赛。在网上下载图像的方法已经想了，但是需要花很多钱，因为一张大图上可能只有一点点的垃圾堆。
#80
user2
#81
user2
就这样，一景大图，只有标×那里一点垃圾堆。所以我们就想着能不能直接用生成模型生成一些垃圾堆图像，我们可以再去标注。
命中 ID（3）: 79, 80, 81
Dialogue: 4523674212_1 fragments: 3 covered: 1
#44
user2
这个数据集有4万个。
#53
user2
10-30是一个。这个数据集是香港天文台发的。统计的09-15年的有下雨天的数据。
#54
user1
三千多个小时。
#55
user2
挺多的 这个数据集是最大的了。
#56
user1
有公开的数据那还挺好的。
#57
user2
不公开。申请的。
#58
user1
，好吧。
#59
user2
等这个数据集等了一个多月。
#60
user1
那发论文他们也得挂名吧。
#61
user2
不用。
#62
user1
那致谢就可以了。
命中 ID（11）: 44, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62
Dialogue: 4523674212_1_1 fragments: 2 covered: 1
#22
user1
真打算了，网络框架chatGPT都帮我写好了。不过，从我仿真的数据集，和真实数据预处理后，人眼都看不出来sample和label之间的关系，不知道机器能不能学出来。
#27
user2
和你的sample。
#31
user1
命中 ID（3）: 22, 27, 31
Dialogue: 4517902939_1 fragments: 1 covered: 0
#10
user1
后面可以实验直接使用coco的那个faster rcnn权重加载进去训练dota数据集，做几组实验看看。你的数据集样本有多少？尺寸是多大呢？
#11
user2
就是咱们第一次测试的时候您发的那个权重是吧。
#12
user1
对，就是那个评估37.几的。
#13
user2
#14
user2
不到3000张图。
#15
user1
尺寸这个比较重要，是和coco数据有比较大的差异的地方。图片样本也很少。
#16
user2
对 coco单卡一个epoch得一个半小时。
#17
user1
那确实需要使用coco数据集的faster-rcnn的权重来训练了。
#18
user2
这个就5分钟。
#19
user1
主要是你的数据量小了很多。coco数据集应该有19万的样本吧。不对，9万多好像。我也记不清了。
#20
user2
但是这个数据。它目标不见得会少。有40多万个目标。It contains 403,318 instances in total。
#21
user1
目标不少，但样本的辨识度太低了，学习难度就比较高。
#22
user2
是的。
#23
user1
里面有20000尺寸的，最好统计一下各个尺寸范围的比例，分析一下数据，设置一个比较好的resize 尺寸。
#24
user2
我看看它论文里给了没。
#25
user1
也可以参考参考之前开源代码里对dota数据集的超参设置。应该有不少人调过这个数据集。
#26
user2
#27
user2
还差挺多的。
#28
user2
#29
user2
#30
user2
这个好像是我们实验室啊。
#31
user1
，不慌，我们这才是实验性的跑起来，后面优化的地方还多。
#32
user2
老师 那个旋转框是不是先不着急加。
#33
user1
那还不请教请教你的师兄师姐。
#34
user2
嗯嗯嗯 我得问问老师是谁做的。
#35
user1
旋转框那个可以下个月上，这个月主要要把vit和swin的有效果出来。
#36
user2
嗯嗯 那我最近就先着重优化这个框架。
#37
user1
是的，先把基础框架打牢。
#38
user2
好。正好下个月我就考完试了。
#39
user1
那肯定考试更重要的。
#40
user2
#41
user2
老师 和您汇报下目前的情况。换swin的同学说刚开始跑的时候也是没有输出，然后改了改参数有了一点点精度。
#42
user2
#43
user1
不过现在差距还是有些大，这样吧，裸训的话把轮数加大，训24epoch看下精度。
#44
user2
我现在都是训60个。
#45
user1
之前你实验室那个打榜数据要相关的参数介绍没呢？
#46
user2
打榜的那个没要到，王老师给了一个旋转框的。是基于metection框架的。然后image scale设的是512*512。其他的就有一个numgts不一样 我正在实验呢。
#47
user1
没有非旋转框的嘛？
#48
user2
王老师就帮忙找到一个旋转框的。发现上升好慢 又给调回来了。因为基本上都是。50来个epoch才到最高的结果。
#49
user1
主要是要确定一下faster-rcnn模型对这个数据集的性能目前最高能做到什么地步，算法本身肯定也存在瓶颈。
#50
user2
我在博客里倒是找到一个。他的mAP@0.5也是30多。。不过博客可能参考性没那么大。
#51
user1
王老师发给你的旋转框配置是基于faster rcnn吗？
#52
user2
嗯嗯对。
#53
user1
他的baseline map是多少呢？
#54
user2
她就发了一个配置文件。然后说这个精度差的有点多。
#55
user1
，确实差的有些多。
#56
user2
我问她精度多少她给忽略了。大概60可能差不多？我看了一下dota的论文。
#57
user1
我觉得70应该差不多，毕竟sota都79了。
#58
user2
没有没有。论文上也用faster rcnn 测了。这个模型是当时最高的。也就60。
#59
user1
那差一半啊，参数配置论文上有说吗？
#60
user2
#61
user2
咱现在38，他是60。emmm给了个代码。他说是基于这个代码改的。https://github.com/msracver/Deformable-ConvNets。
#62
user1
backbone用的应该不是resnet50。
#63
user2
他用的101貌似是。
#64
user1
-H？hrnet？那我们也用101跑一个看看。
#65
user2
他还用了一个小技巧。就是说这个图不是太大吗。然后就全都裁成1024*1024的。检测完了之后。再把结果拼起来。合在原图里。
#66
user1
，骚操作。
#67
user2
#68
user2
裁还行 我感觉这玩意拼不好拼呢。
#69
user1
大图变小图来检测，可以提高小目标的检测性能，应该是不太好拼接，比较麻烦。
#70
user2
对。其他的就没啥信息量了。
#71
user1
那我们暂时目标调到接近60就行了。换res101来训练。
#72
user2
那我用101试试。嗯嗯。
#73
user1
101的实现你参考vision里面的，直接拿过来应该可以用。
#74
user2
好的。
#75
user1
swin那个他之前找过我，它有加载swin的权重进去没呢？还是说直接裸训的。
#76
user2
裸训的。
#77
user2
#78
user1
那看来swin网络挺稳定的，速度咋样呢？
#79
user2
速度不知道，我问问。8分钟一个epoch。
#80
user1
嗯嗯，让他实验一下加载swin权重（方便后面使用mae预训练的）和 finetune的优化器和学习策略尝试一下mae里面配置的，transformer网络里通常都是用adamweightdecay优化器和cosine学习策略。胡雷毅那边反馈说swin网络跑起来太慢了，你们数据量应该也是比较小的。
#81
user2
嗯嗯 这个相当小了相比coco。我说错了老师 这个图的结果，他说是加载了预训练模型的。。
#82
user1
后面swin网络性能上还需要进一步优化一下。，我说呢，我记得他之前和我讲裸训一直爆炸。
#83
user2
#84
user1
我让他加载官网的swin权重进去试试。
#85
user2
嗯嗯。
#86
user1
他意思是加载了之后网络实际上还是有问题的呀？后面权重都是0的话。
#87
user2
说是到一半这样的。而且他加载的就是官网的那个模型。
#88
user1
那还行，按理说用swin应该比resnet50效果要好一点儿，让他坐后面说的实验吧，换优化器和学习策略。
#89
user2
老师他换优化器遇到点问题，我也不懂，让他找您了哈。
#90
user1
好，明天再找我看一下吧。
命中 ID（81）: 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90
Dialogue: 4525591374 fragments: 1 covered: 0
#0
user2
老师 我从这几个方面查了数据集，都没有问题。我们昨天打印出来的catToImages出现重复的image_id是因为每遇到一个属于这个图片的框，这个图片的id就被加进去一次，这里没有问题。而且我跟踪了一下代码，这里用到的是coco工具的getcatsid 和 imageid,没用到这个属性。但是我好像知道它为啥总是预测类别11（small vehicle）了，数据分布是这样的（每个类别对应框的数量）。
#1
user2
#2
user2
目标样本分布也太不均衡了。
#3
user1
那意思是训练不充分是吧，pytorch上有人用faster-rcnn做过这个数据集的实验没呢？
#4
user2
就是有的类别四万多张，有的才14张，嗯嗯，训练不充分不平衡。
#5
user1
resnet这个backbone权重你有加载进去吗？
#6
user2
加不加载差不多。都试了。
#7
user1
那感觉效果也太差了，我看loss降的挺低的啊。那看来是要解决loss震荡的问题。
#8
user2
#9
user2
预测结果。全都去预测11了，别的训练样本加起来都没它多。
#10
user1
这个数据集按理说应该也有人用faster-rcnn跑过。看下有没有可以参考的调参或者数据处理经验。你师兄师姐他们有跑过这个数据集吗？
#11
user2
我去问问王老师。昨天另一个同学在nwpu上跑了。
#12
user2
#13
user1
效果咋样？
#14
user2
能降到这个程度。他还没有eval。
#15
user1
为啥第一个loss这么大啊。
#16
user2
有没有可能它加载了backbone的预训练模型。然后那个模型是在传统图像数据集里训得。所以特征差距有点大。
#17
user1
不应该的，都是rgb图像，按理说不会有这么大差距。loss过于异常了，精度估计也不咋地。
#18
user2
嗯嗯 也是震荡。
#19
user1
这样吧，还是跑一下coco的数据集，确保这个开源的网络可以复现coco的结果。
#20
user2
老师 有没有什么快捷的，可以上传数据集的方式。
#21
user1
如果数据集没问题，网络不知道是不是后面被更新的有问题了。
#22
user2
我不想百度网盘了。
#23
user1
我同步一份数据集上传到obs上，你利用obsutil工具再同步到你的服务器上。
#24
user2
好嘞 谢谢老师。
#25
user1
obs://linbert/data/coco/。我在往这个路径里上传。obsutil你会用吧？
#26
user2
我听您讲过。我再去翻翻讲义。
#27
user1
计算中心平台培训的PPT上有介绍和下载链接。
#28
user2
好的。
#29
user1
https://gitee.com/foundation-models/aircas-project/blob/master/docs/%E6%A8%A1%E5%9E%8B%E8%BF%81%E7%A7%BB%E8%A7%84%E8%8C%83/%E6%A8%A1%E5%9E%8B%E5%B7%A5%E7%A8%8B%E6%9E%B6%E6%9E%84%E6%A0%B7%E4%BE%8B/mae%EF%BC%88%E6%A8%A1%E5%9E%8B%E5%90%8D%E7%A7%B0%EF%BC%89/obssync.sh。直接参考这个文件。
#30
user2
嗯嗯好。
#31
user1
我直接上传mindrecord的数据集和json文件，原始图片是不是不需要了？
#32
user2
嗯嗯对 就可以直接训练了。
#33
user1
那就行，还有3min就能传完了。
#34
user2
#35
user1
#36
user2
这个链接不让我访问。哦哦。好的。
#37
user1
#38
user2
好 老师 我想起来了。我查的是val的分布。只能说明数据处理过程没问题。这个结果不一定是数据不均衡造成的了。
#39
user2
#40
user2
老师我执行了这个命令。
#41
user2
#42
user2
还报这个错误呢。
#43
user1
是不是安装错了系统的。你这个是不是Ubuntu的系统。https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html。
#44
user2
是咱们的168.170.180.62服务器。哦在传了 它是ubuntu但是是x86的架构。
#45
user1
咋样，传成功没呢？
#46
user2
嗯嗯 传完啦。
#47
user2
#48
user1
嗯嗯，你不要改网络部分，按照官网的配置跑一下看。
#49
user2
好的。何老师打扰一下 我跑完了coco数据集，loss没有下降的趋势，测试的时候也没有有效的框输出。卢致聪跑了NWPU数据集，也是一样的情况。
#50
user2
#51
user2
就是根据官网的配置做的。没有改动。对呀。啥也没改。。
#52
user1
那就是model zoo代码本身有问题了。
#53
user2
应该是了 nwpu数据集训出来的也没有输出。
#54
user1
评估那一部分的代码要好好检查检查，看算法实现上是不是有问题。
#55
user2
有没有可能从训练就出问题了。
#56
user1
coco的loss降的和官网上差不多吧？
#57
user2
那倒是 不过官网上还是有下降趋势的。
#58
user1
还是重点检查评估部分的代码，从数据集输入到网络输出再到后处理过程，这个网络在coco数据集是经过很多次验证了，网络部分肯定是没啥问题的。
#59
user2
好的收到。
#60
user1
你评估的时候是单卡评估是吧。
#61
user2
对 用的单卡。
#62
user1
我下午再发你一份我以前的评估代码。
#63
user2
好的好的。
#64
user1
你代码在哪台服务器上？我看一下。
#65
user2
服务器：ssh root@168.170.180.62 密码：Ascend@hpi4。/home/gfzshiwai/fasterrcnn。
#66
user1
这个事吧。
#67
user1
#68
user2
对。结果在scripts/train1里。
#69
user1
eval的执行命令发我看下，还有默认的配置文件是哪个？
#70
user2
faster_rcnn/default_config.yaml。bash run_eval_ascend.sh /home/gfzshiwai/obs_coco/annotations/instances_val2017.json /home/gfzshiwai/faster_rcnn/scripts/train/ckpt_0/faster_rcnn-11_58633.ckpt resnet_v1.5_50 /home/gfzshiwai/obs_coco。
#71
user1
。https://download.mindspore.cn/model_zoo/r1.3/fasterrcnnresnetv150_ascend_v130_coco2017_official_cv_bs2_acc60.6/。把这个ckpt下载下来。评估一下看看。
#72
user2
这是整个模型的参数吧。
#73
user1
对。训练好的。
#74
user2
#75
user1
，咋还加载不了。
#76
user2
这好像是一个80类一个81类 的 回归参数。这个权重文件里为什么对background还有一组回归参数呢。。
#77
user1
320是啥的维度？
#78
user2
80 x 4。
#79
user1
那把类别直接改一下试试把。
#80
user2
嗯嗯 我试试。在跑了。。
#81
user2
#82
user2
有了。但是老师我有点不懂 为什么还要预测背景的回归参数。
#83
user1
网络要学习除目标以外的背景信息，让网络可以分辨图片背景，用此区分正负样本。
#84
user2
这说明推理的代码也没问题。那就是 把这个参数加上重新训试试？看来回归的时候也要加。
#85
user1
对，我测试了一下，网络直接输出来的，都是无效框，全是空值。后面处理应该没问题。
#86
user2
没想到加不加背景框的回归效果会差这么多。
#87
user1
他网络本身就没加吗？
#88
user2
#89
user2
对 网络本身没加。这是我刚才改的。就是RCNN类的初始化。
#90
user1
#91
user1
，真无语，mindspore的人合代码之前都没检查一下。
#92
user2
新版本画蛇添足了属于是。老师 那这个官方modelzoo里的代码不得改一下吗。不然大家下下来还得debug。
#93
user1
有时间提个issue给他吧。
#94
user2
嗯嗯行。谢谢老师 要是我自己估计先找不着是这的问题。。
命中 ID（95）: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94
Dialogue: 4524863919_1 fragments: 2 covered: 0
#1
user2
羊子。你给我发个vlm做分类的json呢。我看看
#2
user1
好的好的，发给你了。
#3
user2
input里面的预定类别不是这个数据集的所有类别吧。这是为啥这样设置捏。
#4
user1
我看geochat也是这样做的。
命中 ID（4）: 1, 2, 3, 4
Dialogue: 4502841701 fragments: 1 covered: 0
#79
user2
input里面的预定类别不是这个数据集的所有类别吧。这是为啥这样设置捏。
#80
user1
我看geochat也是这样做的。
#81
user2
这个评价指标用的是啥。
#82
user1
#83
user1
就是预测的精度。正确数目/总数。
#84
user2
判断是否正确，比的是输出的字符是否是“airplane”。这种么。完全匹配则是预测正确？
#85
user1
对。
命中 ID（7）: 79, 80, 81, 82, 83, 84, 85

Query 2: 辣条

命中对话数：4 / 原始 9（已去重：maximal）
Dialogue: 4496860679 fragments: 1 covered: 0
#12
user2
#14
user1
#15
user1
感觉很香。
#16
user2
牛逼哈哈。蕃茄味的？
#17
user1
酸辣味的。挺好吃的。
#18
user2
可以。我之前吃的原味。没味儿。别吃。
命中 ID（6）: 12, 14, 15, 16, 17, 18
Dialogue: 4498002041 fragments: 1 covered: 0
#18
user1
#20
user1
买了十包辣条。飞旺最好吃。
#23
user1
命中 ID（3）: 18, 20, 23
Dialogue: 4489116092_1 fragments: 1 covered: 0
#30
user2
#31
user2
这个辣椒真不错。我先睡了。你早点休息。
命中 ID（2）: 30, 31
Dialogue: 4517514626 fragments: 1 covered: 0
#0
user2
#1
user1
吃这么好。
#2
user2
又多了三个凉菜。
#3
user2
#4
user2
命中 ID（5）: 0, 1, 2, 3, 4