今天第一天接触鼎鼎大名的Transformer ---【脑子里想明白和动手能搞定是两件事】

之前说了过去一年都在学习机器学习和深度学习相关的知识,所以最近都在和另一名博士开始搞基于BiGAN的特征提取,也算是扑进了图形图像处理的大坑,主要还是想给自己攒点动手能力,顺便可以发一篇关于图形处理的论文就更好了。最近由于实验室的两个研究员离开,之前关于自然语言处理方面的干活的人一下子跟不上了,和同事闲聊的过程中得知说离开的两个研究员之前做剩下的一半工作如果坚持做完,应该可以发一篇论文,但现在就是没人做。

上午简单的讨论了一下剩下的工作应该怎么做,往哪个方向做,我自己也感觉应该是可行的,多亏了过去这一年的机器学习方面的学习,感觉理论知识已经都能明白是怎么回事了,但心里也知道,只要真正动起手了,那问题肯定是一个接一个得就冒出来了,毕竟这么多年的经历,回想起来,就没有一篇论文是一帆风顺的从头做到尾的。

中午请同事去学校外面吃了个简餐,算是感谢他介绍这个活,虽然现在也不知道最后能不能有一篇论文,但毕竟愿意分享一个idea,而且还做了一半的活,还是应该好好谢谢了。

PXL_20210504_110226245.jpg


回到办公室开始看之前的研究员留下的代码,尝试在服务器上跑一跑,熟悉一下流程。。。可一跑起来,内心瞬间崩溃,怎么那两个研究员git上的代码会都是bug,根本跑不起来。。。

在谷歌上一顿搜索,fix一个个bug,一直搞到凌晨算是终于跑起来了!一下午我脑子都是懵的,发现代码里藏着这么多Transformer的细节,看算法和结构的时候,觉得还挺好理解的,真开始看代码的时候,发现还是有那么多地方根本不知道是怎么回事。明天继续,希望能有一篇关于Transformer的论文,也算是给自己攒点经验。

Join the conversion now