游戏在《游戏王》系列中输给拉斐尔的情况如下：

第一次输给拉斐尔

在动画第156、157、158集中，游戏与拉斐尔进行了一场决斗。游戏在决斗中使用了结界，这个结界影响了游戏的心灵，最终导致游戏输给了拉斐尔。

第二次输给拉斐尔

在动画中，游戏与拉斐尔的第二次对决中，拉斐尔使用了守护者·艾托斯这张卡片将游戏打败。

总结：

游戏在《游戏王》系列中总共输给拉斐尔两次。第一次是因为结界影响了心灵，第二次则是直接被拉斐尔的守护者·艾托斯打败。