1954年国际奥委会雅典年会中以23:21的票数承认了中华全国体育总会为中国奥委会，但同时却保留了台湾的所谓“中华民国奥委会”，开了在一个国家中承认两个国家奥委会的先例。国际奥委会后来又作出允许这两个奥委会同时参加第16届奥运会的决定，并规定两个代表团使用的名称一个是“台湾中国”，一个是“北京中国”。

中国忠于奥林匹克理想，并积极参与奥林匹克大家庭的各项活动，但是决不丧失自己的尊严。为参加本届奥运会，中国很早就开始了认真的準备。不仅在广州的二沙头建立了封闭式训练基地，以集训优秀运动员，而且还向台湾方面发表了公开信，邀请台湾运动员到北京参加选拔赛，但台湾没有接受。1956年10月21日，準备参加第16届奥运会的中国体育代表团终于组成。这是从来自全国的1400多名运动员中，经过层层选拔出来的，共有92人，分别代表举重、游泳、体操、田径、篮球、足球、射击等7个项目。

为了抢先一着，中国体育代表团副团长黄中和国际奥委会中国委员董守义被作为先遣人员，预先派往了墨尔本。因为根据情况分析，如果我们先出现在墨尔本，台湾就有可能放弃这次奥运会。但非常遗憾的是，由于交通的不便，我们派出的先遣人员直到1956年11月4日才到达墨尔本。而此时台湾方面不但在奥运村里升了青天白日旗，还以“福摩萨（葡语台湾）中国”的名义在组委会注了册。

新中国奥委会始终坚持一个中国的政治立场，坚决反对国际奥委会搞“两个中国”的阴谋。因此，1956年11月6日，中华全国体育总会在北京发表声明：由于国际奥委会违反了奥林匹克宪章，坚持邀请台湾单独派遣运动员参加第16届奥运会，中国运动员在这一问题没有得到合理解决之前，不能参加本届奥运会。接着在国际奥委会第52届全会上，中国委员董守义再次申明中国奥委会的立场，再次抗议图谋製造“两个中国”的阴谋。

但国际奥委会在布伦戴奇的把持下，仍然坚持其错误立场。在反覆抗议无效的情况下，我国决定宣布不参加墨尔本奥运会。先期到达的中国体育代表团成员黄中和董守义，也于第16届奥运会开幕的当天，即11月22日，愤然离开墨尔本回国，本已集结在广州的参赛运动员全部奉命解散。