Skip to content

Submission History

Jump to bottom
limiao edited this page Dec 11, 2017 · 17 revisions

B 集提交历史

  • 使用随机预测多次的方式进行 voting，每个模型使用的 voting 票数如下
NO model 手动调权 自动调权
1 Visual Attention RL 1080k 20 14
2 Visual Attention RL 840k 20 6
3 Visual-Semantic Attention 16 14
4 Stacked Visual Attention MC-RL 20 20
5 Stacked Visual Attention RL 20 0
6 Stacked Visual Attention 16 4
7 Localized Visual Attention 8 4
8 Semantic Attention 8 2

第一次提交： 手工调权 20 20 16 20 20 16 8 8
第二次提交： 自动调权 14 6 14 20 0 4 4 2

  • 开发集结果
NO model BLEU_4 CIDEr METEOR ROUGE_L
1 手工调权 voting 0.60829 1.95772 0.41610 0.70414
2 自动调权 voting 0.60836 1.96232 0.41654 0.70383
  • B 集结果
NO model score BLEU_4 CIDEr METEOR ROUGE_L
1 最终结果 5.68515 0.72666 2.00006 0.41685 0.70614

A 集提交历史

NO model step score BLEU_4 CIDEr METEOR ROUGE_L
1 show_and_tell 230000 6.54236 0.73105 1.23151 0.35082 0.60045
2 show_and_tell 529346 6.57050 0.73298 1.24599 0.35132 0.60499
3 show_and_tell finetune 615359 6.49749 0.73934 1.28029 0.35515 0.61231
4 show_and_tell finetune* 840000 6.57731 0.59671 1.37921 0.36678 0.62941
5 show_and_tell finetune** 840000 6.52121 0.61224 1.44411 0.37362 0.63947
6 show_and_tell advanced*** (Visual Attention, finetune with decay) 580699 6.14249 0.68483 1.79038 0.40753 0.6829
7 show_and_tell advanced_da*** (Visual Attention, finetune with decay, data augmentation) 640713 6.67553 0.69240 1.83234 0.41117 0.68795
8 show_and_tell advanced_da_rl**** (Visual Attention, finetune with decay, data augmentation, RL training) 840423 6.53832 0.70151 1.88851 0.4071 0.69014

* 这是 ShowAndTellInGraphModel 的结果，finetune 时学习率调大到 0.001
** 这是 ShowAndTellInGraphModel 的结果，finetune 时学习率接续训练时的学习率开始 decay
*** 从 105000 开始 finetune, 学习率接续训练时学习率继续 decay, initlr=1.0, decay=0.6
**** 基于上次提交最好的结果，使用RL训练，使用Adam优化，开始学习率为5e-5，每3个epoch decay一次，decay=0.8

Clone this wiki locally