苏风拎着大包小包回到家,把东西往沙发上一扔,整个人直接瘫了进去。
他靠在沙发上歇了会儿,掏出手机翻了翻。
屏幕上有几条消息,最上面是赵明远发来的。
“苏总,注册材料我这边已经提交了,特拉华州那边效率很高,大概一周左右能下来。
办公室我看了几处,曼哈顿中城有个共享办公空间,环境不错,前期够用了。
另外招聘的事我也在推进,量化研究员和交易员各发了几份offer,等你下次来美利坚的时候应该就能见着了。”
苏风回了一条:“辛苦了,资金这周内到位。”
赵明远秒回:“收到。”
苏风靠在沙发上,脑子里过了一遍接下来的时间线。
三月份中旬国家集训队报到,六月份IMO,中间还有几个月的时间。
除了这些杂七杂八的事,还有两件更大的事在等着他。
第一件事是2016年3月,AlphaGo对战李世石。
这场人机大战会把整个人工智能行业彻底点燃,资本、人才、关注度会像潮水一样涌进来。
当然这都是后话。
眼下最重要的,是先把Transformer的专利和论文搞定。
Transformer这东西,说复杂也复杂,说简单也简单。
核心就那几个东西,自注意力机制、多头注意力、位置编码、残差连接、层归一化。
难的不是原理,难的是在2016年这个时间节点,全世界没有人想到可以这么干。
现在的自然语言处理圈子,还是RNN和LSTM的天下。
序列模型嘛,一个字一个字地处理,就跟人说话似的,一个词接一个词往下顺。
这思路听着合理,但有个致命的毛病,太慢了。
你不能并行计算,后面的字得等前面的字算完才能开始。
而且长句子跑到后面,前面的信息就丢得差不多了,跟金鱼一样记忆力只有七秒。
但是自注意力机制不一样。
苏风现在要做的先申请专利,再写一个简单Transformer框架,以及最后发表论文。
先说专利,这是最关键的一点。
前世,谷歌2017年6月才把Transformer论文丢上arXiv。
他们的专利更是拖到2019年才在美国授权,而且写得窄,只保护原版编码器-解码器那一整套架构。
结果呢?
后来OpenA