bsd/kern/kern_aio.c

123 	TAILQ_HEAD(, aio_workq_entry) 	aioq_entries;
172 static void		aio_proc_move_done_locked(proc_t procp, aio_workq_entry *entryp);
173 static void		aio_proc_remove_done_locked(proc_t procp, aio_workq_entry *entryp);
178 static boolean_t	should_cancel(aio_workq_entry *entryp, user_addr_t aiocbp, int fd);
180 static void		aio_entry_lock(aio_workq_entry *entryp);
181 static void		aio_entry_lock_spin(aio_workq_entry *entryp);
182 static aio_workq_t	aio_entry_workq(aio_workq_entry *entryp);
183 static lck_mtx_t*	aio_entry_mutex(__unused aio_workq_entry *entryp);
184 static void		aio_workq_remove_entry_locked(aio_workq_t queue, aio_workq_entry *entryp);
185 static void		aio_workq_add_entry_locked(aio_workq_t queue, aio_workq_entry *entryp);
186 static void		aio_entry_ref_locked(aio_workq_entry *entryp);
187 static void		aio_entry_unref_locked(aio_workq_entry *entryp);
188 static void		aio_entry_ref(aio_workq_entry *entryp);
189 static void		aio_entry_unref(aio_workq_entry *entryp);
190 static void		aio_entry_update_for_cancel(aio_workq_entry *entryp, boolean_t cancelled,
192 static int		aio_entry_try_workq_remove(aio_workq_entry *entryp);
193 static boolean_t	aio_delay_fsync_request( aio_workq_entry *entryp );
194 static int		aio_free_request(aio_workq_entry *entryp);
202 static aio_workq_entry *aio_get_some_work( void );
206 static int		aio_validate( aio_workq_entry *entryp );
211 static void		do_aio_completion( aio_workq_entry *entryp );
212 static int		do_aio_fsync( aio_workq_entry *entryp );
213 static int		do_aio_read( aio_workq_entry *entryp );
214 static int		do_aio_write( aio_workq_entry *entryp );
220 					 aio_workq_entry **entrypp );
221 static aio_workq_entry *aio_create_queue_entry(proc_t procp,
227 static void 		aio_enqueue_work( proc_t procp, aio_workq_entry *entryp, int proc_locked);
270 aio_entry_lock(__unused aio_workq_entry *entryp)
276 aio_entry_lock_spin(__unused aio_workq_entry *entryp)
282 aio_entry_unlock(__unused aio_workq_entry *entryp)
289 aio_entry_workq(__unused aio_workq_entry *entryp)
295 aio_entry_mutex(__unused aio_workq_entry *entryp)
314 aio_workq_remove_entry_locked(aio_workq_t queue, aio_workq_entry *entryp)
332 aio_workq_add_entry_locked(aio_workq_t queue, aio_workq_entry *entryp)
356 aio_proc_move_done_locked(proc_t procp, aio_workq_entry *entryp)
367 aio_proc_remove_done_locked(proc_t procp, aio_workq_entry *entryp)
388 aio_entry_ref_locked(aio_workq_entry *entryp)
401 aio_entry_unref_locked(aio_workq_entry *entryp)
412 aio_entry_ref(aio_workq_entry *entryp)
419 aio_entry_unref(aio_workq_entry *entryp)
435 aio_entry_update_for_cancel(aio_workq_entry *entryp, boolean_t cancelled, int wait_for_completion, boolean_t disable_notification)
457 aio_entry_try_workq_remove(aio_workq_entry *entryp)
634 	aio_workq_entry		 		*entryp;
763 	aio_workq_entry		 		*entryp;
871 	aio_workq_entry 		*entryp;
916 		aio_workq_entry		 	*next_entryp;
953 should_cancel(aio_workq_entry *entryp, user_addr_t aiocbp, int fd)
986 	aio_workq_entry		 	*entryp;
995 		aio_workq_entry		 	*next_entryp;
1110 	aio_workq_entry 	*entryp;
1376 aio_enqueue_work( proc_t procp, aio_workq_entry *entryp, int proc_locked)
1379 	aio_workq_entry	*my_entryp;	/* used for insertion sort */
1462 	aio_workq_entry			**entryp_listp;
1487 	 * allocate a list of aio_workq_entry pointers that we will use
1490 	MALLOC( entryp_listp, void *, (uap->nent * sizeof(aio_workq_entry *)), M_TEMP, M_WAITOK );
1531 		aio_workq_entry		 		*entryp;
1659 	aio_workq_entry		 	*entryp;
1756 static aio_workq_entry *
1759 	aio_workq_entry		 		*entryp = NULL;
1842 aio_delay_fsync_request( aio_workq_entry *entryp )
1851 static aio_workq_entry *
1854 	aio_workq_entry	*entryp;
1857 	entryp = (aio_workq_entry *) zalloc( aio_workq_zonep );
1865 	/* fill in the rest of the aio_workq_entry */
1919 	aio_workq_entry	*entryp;
1980  * Allocate an aio_workq_entry and fill it in.  If all goes well return 0
1981  * and pass the aio_workq_entry pointer back to our caller.
1988  *					address of the created aio_workq_entry
2007 		aio_workq_entry **entrypp )
2009 	aio_workq_entry	*entryp;
2020 	 * not really an error, but we need to free our aio_workq_entry.
2052 aio_free_request(aio_workq_entry *entryp)
2074 aio_validate( aio_workq_entry *entryp )
2200 do_aio_completion( aio_workq_entry *entryp )
2342 do_aio_read( aio_workq_entry *entryp )
2378 do_aio_write( aio_workq_entry *entryp )
2437 	aio_workq_entry *entryp;
2453 do_aio_fsync( aio_workq_entry *entryp )
2515 	aio_workq_entry		 	*entryp;
2582 	i = sizeof( aio_workq_entry );