选项A错误，在起诉被告不履行法定职责的案件中，原告应当提供其向被告提出申请的证据。
选项C错误，在诉讼过程中，被告及其诉讼代理人不得自行向原告、第三人和证人收集证据。
选项D错误，原告可以提供证明行政行为违法的证据。故选B。