我国刑法中适用非法证据排除规则。但是依据你的问题来推测应当是在民事诉讼案件中适用的录音录像。你所说的非法是否意为非正当手段获取的比如说在对方不知情的情况下录制，或者非常规渠道获取？那么在民事诉讼中法官并非会一概排除上述有关证据的真实性及合法性。结合其他有效证据形成证据链以及合理的背景。那么是可以被法院采纳的。
民事证据规则中该证据在你认可其真实性或者鉴定程序认可其真实性的情况下是可以作为有效证据的。在无法确认其真实性的前提下其证明力则非常有限。但这并不是你所谓的非法证据。
以上回答系基于比较通俗的判断回答，不排除特殊情况也不包括各种不同适应环境。
在其不知情的情况下，用某些方法录下他一整天的对话，并从中截取出对自己有利的部分。这样算不算非法。