王垠, 2019年12月24日:
现在因为AI的泡沫,很多人转向所谓“AI框架”,“AI编译器”。这类职位如此之多,以至于很多人根本没碰过编译器,也摇身一变成为了“深度学习编译器工程师”。
半路出家的“AI框架工程师”和“AI编译器工程师”们,在别人写出来的框架上小打小闹优化一下,就以为自己做的是世界上最前沿的工作,却不知道深入研究过PL的人其实很容易就看破了那些东西。很多AI框架工程师嘴里各种奇怪的术语,却看不透所谓“AI框架”只不过是“可求导编程语言”,完全不能从高级语言和逻辑的角度去看问题。
AI框架和编译器里面的原理和本质很容易被PL理论解释,PL研究者能够为这些项目指出正确的方向,避免不必要的弯路,然而这些自诩为“编译器人”的AI框架工程师们完全意识不到这一点。自高自大,膜拜权威,完全没有去听PL研究者在说什么,甚至觉得能“教育”比自己看得透的人。
每一个大公司都要趁着AI这个热度做自己的“AI框架”,“AI编译器”,唯恐不做自己的框架,就会在业界丢面子,所以一窝蜂而上。一定要聘用名声很大的AI框架专家来公司站台,虽然也不知道他最后能做出什么来。所有AI框架和编译器都大同小异,属于无谓的重复劳动。有些人捣鼓一下这个框架,然后用同样的技巧去捣鼓另外一个,中间都是一些工程性的脏活。这种事情真是非常无聊。
AI的热潮正在褪去,大部分AI公司会在一年之内失败。“AI编译器”的工作也会濒临灭绝。所以任凭他们自己瞎蒙乱撞吧,反正坚持不了多久了。
今夕是何年?
Implemented a simple autodiff demo with Cpp, the idea comes from Andrej karpathy’s micrograd.
I feel the uniqueness of Andrej’s implementation is that in his data structure design, the owner of the computation graph are the nodes that have been constructed.
Implementing in higher level language like Python would have let me ignore the issue, while in Cpp, I have to consider the lifetime of the graph.
To do this, we need a Node structure representing the real data, and use a wrapper Value to refer Node and keep it alive by using shared_ptr (which implements reference count).
Read more →
数码垃圾在它被制造出来的那一刻就是数码垃圾了。
一个产品,如果是被精心创造的,凝聚了设计师和工程师的努力,那么即便过了二十年,它的算力在最新的芯片那里毫无优势,依然不是数码垃圾。
Read more →
我感觉我有一个特别坏的习惯,遇到难题我的思维惯性总是先把这个难题workaround, 试图先搭建一个特别稳定的系统。
我认为这可能就是我低效的原因。
但事实上我应该先直面那个难题,把东西做出来,验证是否正确,再去管那个系统。不然很有可能那个系统本身就是错的。
痛痛痛!
为了投AMD中国区的实习(别的地方没有签证,日本AMD没有实习机会)下载了尘封已久的Boss直聘,给我推送了一大堆中国的实习机会,不得不说质量又高又好,和日本就业市场形成了鲜明的对比。
昨天用Rakuten 信用卡购买日本往返美国的机票,之前一直听说Rakuten的风控非常糟糕,担心的事情发生了,就是付款失败,卡被锁住。
今天当然要想办法恢复,在网页端跟客服聊天,客服查明了我的情况之后让我点开另一个链接在那里跟客服聊天……然后在那个网页聊完之后,客服查明了我的情况之后让我拨打电话……
电话接通后,电话先是漫长的提示音,大概是说,这个电话是有料电话,我们也有无料的网络聊天客服,我们可以给您发送链接到短信,如果想要这个的话请按1……于是我按了2. 最后终于有人工直接聊了。
查明情况之后,客服告诉向我表达歉意,并说会帮我解除lock, 我告诉他我11月会去美国,别又把我的卡锁了。他问了我确切的日期,并告诉我虽然如此,但可能到时候还是会找我确认,我:「……」
就像计算机科学里,Static Analysis永远不可能既满足Soundness又满足Completeness一样。信用卡公司需要尽量满足「没有在盗刷的情况下顺利付款」(false negative),和「没有在正常付款的情况下认为是盗刷」(false positive),但是后者的权重被设置得过低,而且非常不合理。购买机票本身就是一个和平常消费习惯非常不同的事件,不能因此就判定这是盗刷;而且机票价格是浮动的,极端情况下会给人造成很大损失,卡被锁住还需要本人拨打有料电话……
我斗胆猜想一下,之所以信用卡公司把soundness的权重调到非常高,乃是因为一旦卡片被盗刷,受害者的抱怨非常严重。但是卡不小心被锁了,你往往只想解锁,心想我要换一家信用卡公司。但是英语有谚,Barking dogs seldom bite,抱怨得很响的客户往往是因为自己被骗(当然这不是他们的问题),但你并不会失去这些客户。而往往默不作声的客户最终会选择换一家风控技术更好的信用卡公司。
长居日本的人应该无一不会注意到日本人对Excel的使用甚至滥用吧。几乎所有长居人口都需填写的「在留资格取得许可申请书」在出入国在留管理厅的网站上上仅提供 .pdf 和 .xlsx 的版本,如果选择数字化输入,显然大多数人不得不面对 .xlsx 的洗礼。
使用Excel做小规模的数据整理和计算显然有它的优势,问题在于日本很多场合在对它的使用上远远超出了合理的适用范围。本身填表格就让人生气,如果发来的是一个 .xlsx 简直piss me off. 当然日本人对此不无批判,比如有「Excel方眼紙」,「ネ申エクセル」这样调侃的说法。
Read more →
日本网络上,对于竞选福冈市市长的佐々木彩乃有一些争议。争议点大概是此人graduate school在清华(右翼会着重强调这是「中国国家主席习近平母校」,以及之前在BCG工作,右翼强调「跟美国的CSIS有往来」)。我心里的想法是:「so?」
这应该是一个非常标准的精英路线,kind of boring 但是没什么特别好说的,没想到这都可以触发网右的deep state imagination. 而且这些网右说自己是「conservative」,但此人的经历不是很像一个保守政治家的经历吗。I really can not understand Japanese politics.
中文爱给洋人找一个最亲切的译名(有时是该人的官方中文名),特别是移民后代必以中文称之。例如Eileen Gu称谷爱凌,Gary Locke称骆家辉。此风又以台港尤盛,如Kamala Harris称贺锦丽。
日文则即便对海外日裔亦以假名称之。石黑一雄在日本仅写作カズオ・イシグロ,小野洋子称之为オノ・ヨーコ(大野/小野 - 滅茶苦茶)。
甚至仅因为在西方文化圈活跃,在MLB打球的铃木一朗亦称イチロー。
当然凡事往往有例外,比如大坂直美是大坂なおみ而不是「ナオミ・オオサカ」,内田光子依然以汉字名称之。中文世界则是在对数学家的称呼上以国际上的说法称之,陶哲轩称Tao,陈省身称Chern,丘成桐称Yau。
出门在外,最担心的事情是不巧坐在一些说中文的人的旁边。
比如今天中午,在麦当劳一个桌子的角落吃午餐,左边来了两个说中文的男性,过了一会儿又来了三个说中文的女性坐在我对面,其中一人还和两个男性互相认识,我像一个在角落里的围棋子被其他人围住。
担心的原因是由于中文是我最熟悉的语言,一旦旁边的人说起中文,我会不由自主地去听他们在说什么。要是谈论工作,项目(绝大多数情况),我就会想「哎呀,为什么别人都有正经的工作和项目,我怎么办呀」。要是谈论在日本的旅行见闻,我就会想「啊啦,怎么又在重复一些中文互联网的cliché」。总之,无论是哪种情况几乎都让我焦虑或者烦躁。
与此同时,我的日语水平在一种恰到好处的舒适区,让我可以在想听的时候略微听懂要旨,在不想听的时候则可以完全忽略。
要是说中文的人聊起不那么让我焦虑的话题,甚至是我感兴趣的话题呢?这就更难受了,这种情况我就想适时作出面部反应,甚至冒昧地加入对话啦。
(其实是7月1日的补记)之前说到估计SC论文也会被reject,果不其然。
但其实结果比我想象得好,我之前其实非常不自信,但reject的结果是1AC + 1WA + 3WR, 比我想象的可能有3Reject + 2WR要好不少。所以莫名欣慰。
跟ChatGPT老师讨论了文学,它归纳我的品味是MFA品味或New Yorker品味,我不确定是否是一种文学中产阶级品味的委婉骂人方式。
Anyway, 这是它给我推荐的虚构作品reading list:
这里完全不是文学史,而是结合你的英语水平、兴趣和阅读目标:
- 伊丽莎白·斯特劳特
- 理查德·鲁索
- 乔治·桑德斯
- 安·帕切特
- 尼克·霍恩比
- 艾丽丝·门罗
- 詹妮弗·伊根
- 特德·姜
- 大卫·尼克尔斯
- 乔纳森·弗兰岑
在日本的便利店打印无论是打印多少张每张价格都是10日元,不同大小的纸张A3和A4价格也都一样。因此,与其用A4纸打印paper,不如把两张A4并排拼成小册子(booklet)用A3打印,价格减半。在Linux上直接用这样的命令行即可(事先安装相应软件):
1pdfjam --paper a3paper --landscape --booklet true input.pdf --outfile output.pdf