fs/ext4/page-io.c

56 struct ext4_io_end_vec *ext4_alloc_io_end_vec(ext4_io_end_t *io_end)
64 	list_add_tail(&io_end_vec->list, &io_end->list_vec);
68 static void ext4_free_io_end_vec(ext4_io_end_t *io_end)
72 	if (list_empty(&io_end->list_vec))
74 	list_for_each_entry_safe(io_end_vec, tmp, &io_end->list_vec, list) {
80 struct ext4_io_end_vec *ext4_last_io_end_vec(ext4_io_end_t *io_end)
82 	BUG_ON(list_empty(&io_end->list_vec));
83 	return list_last_entry(&io_end->list_vec, struct ext4_io_end_vec, list);
150 static void ext4_release_io_end(ext4_io_end_t *io_end)
154 	BUG_ON(!list_empty(&io_end->list));
155 	BUG_ON(io_end->flag & EXT4_IO_END_UNWRITTEN);
156 	WARN_ON(io_end->handle);
158 	for (bio = io_end->bio; bio; bio = next_bio) {
163 	ext4_free_io_end_vec(io_end);
164 	kmem_cache_free(io_end_cachep, io_end);
175 static int ext4_end_io_end(ext4_io_end_t *io_end)
177 	struct inode *inode = io_end->inode;
178 	handle_t *handle = io_end->handle;
181 	ext4_debug("ext4_end_io_nolock: io_end 0x%p from inode %lu,list->next 0x%p,"
183 		   io_end, inode->i_ino, io_end->list.next, io_end->list.prev);
185 	io_end->handle = NULL;	/* Following call will use up the handle */
186 	ret = ext4_convert_unwritten_io_end_vec(handle, io_end);
193 	ext4_clear_io_unwritten_flag(io_end);
194 	ext4_release_io_end(io_end);
202 	ext4_io_end_t *io_end, *io_end0, *io_end1;
208 	list_for_each_entry(io_end, head, list) {
209 		cur = &io_end->list;
216 			    io_end, inode->i_ino, io_end0, io_end1);
221 /* Add the io_end to per-inode completed end_io list. */
222 static void ext4_add_complete_io(ext4_io_end_t *io_end)
224 	struct ext4_inode_info *ei = EXT4_I(io_end->inode);
225 	struct ext4_sb_info *sbi = EXT4_SB(io_end->inode->i_sb);
230 	WARN_ON(!(io_end->flag & EXT4_IO_END_UNWRITTEN));
231 	WARN_ON(!io_end->handle && sbi->s_journal);
236 	list_add_tail(&io_end->list, &ei->i_rsv_conversion_list);
243 	ext4_io_end_t *io_end;
255 		io_end = list_entry(unwritten.next, ext4_io_end_t, list);
256 		BUG_ON(!(io_end->flag & EXT4_IO_END_UNWRITTEN));
257 		list_del_init(&io_end->list);
259 		err = ext4_end_io_end(io_end);
278 	ext4_io_end_t *io_end = kmem_cache_zalloc(io_end_cachep, flags);
280 	if (io_end) {
281 		io_end->inode = inode;
282 		INIT_LIST_HEAD(&io_end->list);
283 		INIT_LIST_HEAD(&io_end->list_vec);
284 		refcount_set(&io_end->count, 1);
286 	return io_end;
289 void ext4_put_io_end_defer(ext4_io_end_t *io_end)
291 	if (refcount_dec_and_test(&io_end->count)) {
292 		if (!(io_end->flag & EXT4_IO_END_UNWRITTEN) ||
293 				list_empty(&io_end->list_vec)) {
294 			ext4_release_io_end(io_end);
297 		ext4_add_complete_io(io_end);
301 int ext4_put_io_end(ext4_io_end_t *io_end)
305 	if (refcount_dec_and_test(&io_end->count)) {
306 		if (io_end->flag & EXT4_IO_END_UNWRITTEN) {
307 			err = ext4_convert_unwritten_io_end_vec(io_end->handle,
308 								io_end);
309 			io_end->handle = NULL;
310 			ext4_clear_io_unwritten_flag(io_end);
312 		ext4_release_io_end(io_end);
317 ext4_io_end_t *ext4_get_io_end(ext4_io_end_t *io_end)
319 	refcount_inc(&io_end->count);
320 	return io_end;
326 	ext4_io_end_t *io_end = bio->bi_private;
329 	if (WARN_ONCE(!io_end, "io_end is NULL: %pg: sector %Lu len %u err %d\n",
341 		struct inode *inode = io_end->inode;
352 	if (io_end->flag & EXT4_IO_END_UNWRITTEN) {
354 		 * Link bio into list hanging from io_end. We have to do it
358 		bio->bi_private = xchg(&io_end->bio, bio);
359 		ext4_put_io_end_defer(io_end);
362 		 * Drop io_end reference early. Inode can get freed once
365 		ext4_put_io_end_defer(io_end);
388 	io->io_end = NULL;
404 	bio->bi_private = ext4_get_io_end(io->io_end);