林育南被捕的第三天，巡捕房将他移交给国民党上海市公安局。关押期间，国民党江苏省高等法院第二法院将林育南作为“首犯”进行了审讯，但一无所获，之后，敌人又将他押送到龙华淞沪警备司令部看守所。
中共中央政治局得知林育南、何孟雄等人被捕的消息时，曾避着王明指示中央特科进行营救。中央特科马上组织数名精干的便衣武装人员，准备在龙华警备司令部与租界处劫车，但因敌人已有防备而未能成功。
林育南一行被押到龙华时，正好被先入狱的柴云堂看见。柴在回忆材料中写道： 他们一行从东到西，站成一排队形。狱中的小和尚轻声对我说：“西边前排的第六人是林育南。”我一看，见他不过30岁的模样，头上着青黑色呢子礼帽，身穿青灰色长袍，中等身材，两眼闪闪发光，像射出怒火似的。一对眉毛像扇子一样掀着…… 36个“犯人”，被敌人戴上20斤重的铁镣后，分别关押在一、二、三号牢房里。
国民党对林育南的情况已知道得一清二楚。他们认为，捉住林育南就是抓了一个特大政治犯。因此，对他的看管、监视极其严密。林育南虽然身陷囹圄，对生死却置之度外。他心里想的，仍然是党的事业。为了将自己被捕的经过和情况告诉组织，他和李求实联名向中共中央写了一份报告，通过秘密渠道转给了中央。
1931年1月底，他用暗语向同乡陆若冰写了一封信：17日被累，23日转龙华司令部，现在生活平安，请勿念。戚妹如要见他，可于星期三12点至下午3点，以亲戚名义到龙华司令部看守所要求会晤湖北黄陂人李少堂(广告商人)即可。如第一次不允见，送来之物(他要小说书)定可交到，且第二次必要接见也。案关政治，女戚接见较便，请戚友放心可也，知注特闻。
陆若冰将这封信转给了中共中央。与此同时，中央对林育南等人也极为关心，除经常派人以“李少堂”家属的名义探监外，还指示“互济会”给他们送去一些衣服、药品和钱。中央的慰问和关怀，鼓舞了林育南的斗志，也更坚定了他为共产主义事业奋斗的决心。他在狱中的墙壁上画了一面红旗，然后将自己的名字写在上面，其他难友也一一效法，以此表达誓死不屈的信念。
国民党抓到了林育南，总想在他身上捞一点什么。尽管几次审讯未获任何结果，他们仍不死心。蒋介石指示国民党中央党部秘书长、组织部部长陈立夫出面对林育南进行“劝降”，然后登报宣传。
2月初的一天晚上，林育南被押解到南京国民党中央党部。他被带进一间又宽又大的办公室。一特务对他说：“你在这里坐一会儿，陈部长马上要来与你谈话。” 他坐了一会儿，陈立夫带着几名高级党工进来了。过去，林育南未与陈立夫见过面，只在报纸上看到过他的文章和照片。陈立夫走到林育南身边坐下，然后自我介绍说：“我叫陈立夫。” 林育南瞅了陈立夫一眼，没有作声。陈立夫笑了笑又说：“秘书长先生，你受委屈了。”“我不存在受什么委屈!”“秘书长先生，”陈立夫接着说，“你们共产党已不行了吧?”“谁说不行?”“嘿嘿，”陈立夫从沙发上站起来，走了几步又回过头说，“你们的党内讧外离，分崩离析，已到了一蹶不振之时。这一点，你比我清楚得多。尽管你们在东方旅社集会，想有所作为，实际上很难挽救这不振之势。本党为了爱护有所作为的青年人才，想方设法挽救你，并愿给你较好的出路。” 林育南鄙视地盯着陈立夫说：“我不同意你这种说法!” 陈立夫说：“你谈谈不同意的理由吧。”“很简单嘛，”林育南说，“你通过某人或某渠道，可能了解到共产党内的一些情况，但并不了解我们共产党人!” 陈立夫边摇头边说：“以秘书长先生的才华，本可为党国做大事，不知道你为什么迷上了一个完全是空想，又没有任何希望的共产党?” 林育南听到这里，气愤地站起来说：“陈立夫先生，我不允许你诬蔑、诽谤我们的党。中国共产党是用马列主义指导的革命政党，它代表广大人民的利益，其宗旨是为人民谋翻身、谋福利。我们共产党人握有一种特殊武器——批评与自我批评。这种武器能推动历史前进并能取得革命的胜利;我们还能用这种武器加强党内的团结，打倒国内的敌人。我们党担负着为人民翻身求解放的重任，这是一个既伟大，又崇高的事业。这样一场艰巨而重大的革命，能不发生一点缺点和错误吗?能一点争论也没有吗?你把我们的正常争论说成是内讧、分裂，那是大错特错了!老实讲，我们在党内虽有争论，但对你们却是一致的。要推翻旧社会，建立新中国的目标也是一致的。目前，我们的党虽然还很弱小，还没有执政，它却是一个有强大生命力，又很有希望、很有前途的党。”“秘书长先生，”陈立夫边摇头边说，“你们那几个人，在穷乡僻壤、山沟树林里，凭那几条破枪、几把锈刀能打倒我们国民党吗?”“能够打倒!”“你们的红军在荒无人烟、草茂林密的山上如同乞丐，还能打胜仗?我就不信你们共产党人有那么大的本事!” 林育南马上反击道：“目前，我们的红军由于你们的封锁、追击、围剿，生活的确很艰苦。但这种苦，我们能够克服，能够解决。同时，我们共产党人，包括党所领导的红军官兵对苦已有了准备，并把这种苦认为是革命胜利的必经阶段。我们以苦为乐，以苦为荣。苦过去了必是甘甜。将来苦的，必是你们国民党!”陈立夫轻蔑地一笑：“陈胜、吴广胜利了吗?李自成、张献忠胜利了吗?洪秀全从苦难走向欢乐了吗?你们共产党人想得很美，喊得很动听，那不过是痴人呓语罢了!”“我们不是陈胜，不是李自成、张献忠，也不是洪秀全!”“他们造反，你们也造反，怎么不是?”“部长先生，”林育南理直气壮地反驳道，“我们是共产党!我们共产党有马克思列宁主义作指导，有纲领、宗旨，有严密的组织和钢铁般的纪律，还有革命根据地。更重要的是，我们代表民众，有民众的支持和拥护。我们有这些历代农民起义没有的东西，所以我们能取得最后的胜利!” 陈立夫连连摇头道：“你们共产党人的言行，真是不可理解。” 林育南不愿再论战下去，对陈立夫说：“你们用专机将我弄到南京来，而且又有你这么大的官向我劝降，可谓费尽心机、用心良苦。为了不多浪费时间，我实话告诉你吧，你们花这么大的力气对我劝降，真是太天真了。你们要我放弃中华全国总工会和全国苏维埃中央准备委员会的工作，作为对我安全的交换条件，那是根本不可能的。我从加入共产党的那一天起，就已向我们敬爱的党宣誓，要保守秘密，永不叛党，为共产主义事业奋斗终身。我现在虽然被你们关在狱中，但在狱外，有无数优秀共产党人还在英勇奋斗。可以肯定地说，要不了多久，共产主义之火必在960万平方公里的土地上燃烧起来，烧得你们无处躲避。胜利必属无产阶级，天下必属伟大的中国共产党!” 林育南大义凛然，陈立夫尴尬无言。但他仍不甘心，又将手往上一扬说：“秘书长先生，你很年轻，只要与我们合作，你前途无量。来，合作吧!”林育南拒不伸手，并对陈立夫说：“我们信仰不一，道也不同，不存在合作的问题。”“秘书长先生，”陈立夫缩回手，又说，“你要知道，人来到这个世界上，生命只有一次。你是个聪明绝顶的人，不要六月天戴风帽——不识时务。你怎么不珍惜自己宝贵的生命呢?”“这我已想过了。俗话说，落在鬼手里，不怕见阎王。我的生命属于人民，属于我们的党。我想，只要我是为党而死，为人民失去生命，我就心满意足了。而且，我比那些只知道为自己私利苟活的人要高尚得多。”
在国民党内，陈立夫的理论知识是出类拔萃的。他原来以为，凭他的地位、资历、学识，劝林育南归顺国民党不成问题。没有料到，劝降一开始，林育南却攻得他舌笨口拙。更令他难堪的是，国民党原准备用握手的照片做政治宣传，林育南的手不伸出来，使在场的国民党记者举着照相机按不下快门。陈立夫感到受了奇耻大辱。特务押走林育南后，他在会客室余气未消：“对这样的共党首领分子，只有用子弹对付!”
当天晚上，国民党又用专机将林育南送回上海。林育南回到狱中时，已是晚上12点。难友知道他去了南京后，纷纷向他打听在南京的情况。林育南不顾疲劳，连夜向难友们讲述了在南京与陈立夫舌战的经过。大家听后，拍手称快。
